지미뉴트론 개발일기

안녕하세요.Python에서 chatbot을 만들 때 매우 유용하게 활용 가능한라마 인덱스 라이브러리에 대하여 기본적인 사용 예제와대략적인 장점에 대하여 정리해보도록 하겠습니다.  라이브러리 설치 및 API Key 세팅우선, Llama Index를 설치해주어야 하는데요. 다음 명령어로 쉽게 설치가 가능합니다.!pip install llama-index 라마 인덱스 사용을 위해서는 OpenAI에서 발급받은 API 키가 필요합니다.다음과 같이 OPENAI_API_KEY 환경 변수로 지정해줍니다.import osos.environ["OPENAI_API_KEY"] = "sk-xxx"  문서 가져오기다음은 문서를 가져오는 단계인데요.라마 인덱스에서는 txt, pdf, csv, docx, hwp 등 매우 다양한 종류..

NLP RAG Paper Review 이번 글에서는 Open Domain Question Answering(ODQA) 분야에 Generative Reader를 도입하여 성능 향상의 큰 획을 그은 RAG 논문에 대한 요약을 진행해보도록 하겠습니다. 논문의 제목은 "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks"이며, NeurIPS 2020에 등재된 paper입니다. 실험 배경 Extractive Reader vs Generative Reader 이전까지의 Retrieval-Reader 기반 ODQA 프레임워크에서 Reader의 구조로는 문단 내에서 답변의 시작과 끝 위치를 맞추는 Extractive Reader 구조를 택해왔었습니다. 여..