지미뉴트론 개발일기

Efficient Estimation of Word Representations in Vector Space 저자 : Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean 외 학회 : International Conference on Learning Representations (ICLR) 연도 : 2013년 실험 목적 apple, orange, dog -> 컴퓨터가 학습할 수 없는 형태(단어) [1, 2], [1.5, 3.2], [2.2, 0] -> 컴퓨터가 학습할 수 있는 형태(벡터) 단어 -> 벡터로 표현해보자! 기존 시도 통계 기반 모델링도 이전에 자연어 연구에서 시도되었고(N-gram 등) 단어를 벡터로 표현하려는 시도는 처음은 아니었음(LDA, LSA 등..

Supervised Contrastive Learning 저자 : Prannay Khosla, Piotr Teterwak, Chen Wang, Aaron Sarna, Yonglong Tian, Phillip Isola, Aaron Maschinot, Ce Liu, Dilip Krishnan 외 학회 : Neural Information Processing Systems(NIPS) 연도 : 2020년 논문 링크 : https://arxiv.org/abs/2004.11362 실험 목적 Contrastive Learning : 가까운 대상은 가깝게, 먼 대상은 멀게 가상의 공간 내에 Mapping하는 모델을 학습 ex) 자연어 처리 -> Word2Vec, 비전 분야에서도 활발히 연구 비전 분야에서 기존 Con..

FaceNet: A Unified Embedding for Face Recognition and Clustering 저자 : Florian Schroff, Dmitry Kalenichenko, James Philbin 외(구글 팀) 학회 : Computer Vision and Pattern Recognition(CVPR) 연도 : 2015년 논문 링크 : https://arxiv.org/abs/1503.03832 실험에서 구현하려고 한 것은? A사람 앞 모습 A사람 옆 모습 : 거리 0.9로 인식 A사람 앞 모습 B사람 앞 모습 : 거리 1.2로 인식 => 1~1.1 이정도를 기준으로 삼으면? : 같은 사람 / 다른 사람 구분 가능! 학습 방법(Triplet Loss) Input 1 세트의 구성(같은 사..