지미뉴트론 개발일기

안녕하세요.이번 글에서는 LangChain에서 챗봇의 기본이 되는 RAG 시스템을 구현하는기초적인 예제를 다루어보면서 방법을 이해해보도록 하겠습니다.  Step 1. LangChain 및 Pinecone 벡터 DB 세팅먼저, LangChain 모듈 활용을 위한 준비가 되어있어야 합니다.모듈 설치가 되어있지 않다면 다음과 같은 명령어로 설치를 진행해줍니다.$pip install langchain$pip install langchain-openai$pip install langchain-community$pip install langchain-pinecone 참고로, 이 글의 예제에서는 LLM은 openai의 GPT 모델을,벡터 DB로는 Pinecone을 사용할 예정인데다른 조합 사용을 원하신다면 이에 맞는..

안녕하세요.Python에서 chatbot을 만들 때 매우 유용하게 활용 가능한라마 인덱스 라이브러리에 대하여 기본적인 사용 예제와대략적인 장점에 대하여 정리해보도록 하겠습니다.  라이브러리 설치 및 API Key 세팅우선, Llama Index를 설치해주어야 하는데요. 다음 명령어로 쉽게 설치가 가능합니다.!pip install llama-index 라마 인덱스 사용을 위해서는 OpenAI에서 발급받은 API 키가 필요합니다.다음과 같이 OPENAI_API_KEY 환경 변수로 지정해줍니다.import osos.environ["OPENAI_API_KEY"] = "sk-xxx"  문서 가져오기다음은 문서를 가져오는 단계인데요.라마 인덱스에서는 txt, pdf, csv, docx, hwp 등 매우 다양한 종류..

NLP RAG Paper Review 이번 글에서는 Open Domain Question Answering(ODQA) 분야에 Generative Reader를 도입하여 성능 향상의 큰 획을 그은 RAG 논문에 대한 요약을 진행해보도록 하겠습니다. 논문의 제목은 "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks"이며, NeurIPS 2020에 등재된 paper입니다. 실험 배경 Extractive Reader vs Generative Reader 이전까지의 Retrieval-Reader 기반 ODQA 프레임워크에서 Reader의 구조로는 문단 내에서 답변의 시작과 끝 위치를 맞추는 Extractive Reader 구조를 택해왔었습니다. 여..