NLP RETRO Paper Review 2022년 구글 딥마인드에서 공개된 RETRO 논문의 핵심 내용들을 요약해보도록 하겠습니다. 논문의 제목은 "Improving language models by retrieving from trillions of tokens"입니다. 실험 배경 기존의 GPT-3 등의 대규모 언어 모델(LLM)들은 지속적으로 파라미터의 수와 데이터셋의 크기를 증가시키는 방향으로 성능 향상을 도모해왔습니다. 그러나 외부의 Knowledge base(KB)의 도움을 받게된다면 비교적 적은 수의 파라미터로도 언어 모델의 성능을 크게 향상시킬 수 있다는 발상을 했었으며, RETRO에서는 7B 정도의 파라미터로도 100B 이상의 LLM에 맞먹는 성능을 기록했었습니다. 위 Figure 1의 ..
