지미뉴트론 개발일기

UnitedQA Paper Review generative reader와 extractive reader 구조의 앙상블을 통하여 Open Domain Question Answering(ODQA) task에서의 성능을 크게 향상시킨 UnitedQA 논문의 주요 내용에 대한 요약을 진행해보도록 하겠습니다. 논문의 제목은 "UnitedQA: A Hybrid Approach for Open Domain Question Answering"이며, ACL 2021에 등재된 paper입니다. 실험 배경 ODQA task에서 질문의 답변을 문단 내에서 찾을 때, 답변의 start, end position을 예측하는 방식인 extractive reader가 이전의 주요 대세였고, RAG, FiD와 같이 답변 문장을 직접 ..

NLP DPR Paper Review 이번 글에선 Open Domain Question Answering(ODQA) 분야에서 관련 문서 Retriever로 현재까지도 강력한 성능을 자랑하며 사용되고 있는 DPR 프레임워크에 대하여 발표했던 논문의 주요 내용들을 요약해보도록 하겠습니다. 논문의 제목은 "Dense Passage Retrieval for Open-Domain Question Answering"이며, EMNLP 2020에 등재된 paper입니다. 실험 배경 ODQA 분야에서 질문과 관련이 깊은 후보 문서 탐색(Retrieval) 후 해당 문서들 내에서 답변의 위치를 찾는 과정(Reader)으로 구성된 프레임워크가 좋은 성능을 보이고 있음이 나타났고, 이전의 Retriever 모델 구조로는 TF..

NLP RAG Paper Review 이번 글에서는 Open Domain Question Answering(ODQA) 분야에 Generative Reader를 도입하여 성능 향상의 큰 획을 그은 RAG 논문에 대한 요약을 진행해보도록 하겠습니다. 논문의 제목은 "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks"이며, NeurIPS 2020에 등재된 paper입니다. 실험 배경 Extractive Reader vs Generative Reader 이전까지의 Retrieval-Reader 기반 ODQA 프레임워크에서 Reader의 구조로는 문단 내에서 답변의 시작과 끝 위치를 맞추는 Extractive Reader 구조를 택해왔었습니다. 여..

REALM Paper Review 이번 글에서는 Open-Domain QA(ODQA) 분야에 한 획을 그었던 REALM 논문에서 설명했던 기법을 간략하게 요약하여 다루어보도록 하겠습니다. 참고로, 해당 논문의 제목은 "REALM: Retrieval-Augmented Language Model Pre-Training"이며, ICML 2020 학회에 등재되었던 paper입니다. 실험 배경 트랜스포머 기반 언어 모델의 pre-train 과정은 성능에 있어 매우 중요하다는 것이 밝혀졌으며, 이 pre-train하는 과정에서는 지식들이 implicit한 방식으로 파라미터 내에 저장됩니다. 그러나 만일 언어 모델이 explicit하게 관련된 지식들을 먼저 찾을 수 있게 학습한 뒤, 해당 관련 지식을 참조하여 최종 ..

Fusion-in-Decoder Paper Review 이번 글에서는 Open Domain QA 분야에서 강력한 성능을 보이는 Reader 구조인 Fusion-in-Decoder(FiD) 모델에 대한 논문의 내용을 요약해보도록 하겠습니다. 논문의 제목은 Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering이며, EACL 2021 학회에 등재된 페이퍼입니다. 실험 배경 수 많은 문단 중 질문과 관련된 문단을 먼저 탐색하고, 여기서 답변을 찾아야 하는 Open Domain QA(ODQA) 분야에서 문단 탐색(Retrieval)-찾은 문단에서 답변 탐색(Reader) 의 2단계 구조로 이루어진 모델 들이 강력..