지미뉴트론 개발일기

안녕하세요.이번 글에서는 Python에서 제공되는 언어 감지 모듈인Lingua에 대해서 간략하게 소개를 해보고 코드 예제를 다루어보도록 하겠습니다. 해당 모듈에 대한 공식 github 페이지는 다음과 같으며,이 포스팅도 해당 글의 내용을 토대로 작성하였습니다. GitHub - pemistahl/lingua-py: The most accurate natural language detection library for Python, suitable for short text and mixedThe most accurate natural language detection library for Python, suitable for short text and mixed-language text - pemistahl..

안녕하세요.이번 포스팅에서는 Docker에서 image를 파일로 저장하고 불러오는 명령어를간략하게 정리해보도록 하겠습니다.  도커 이미지 저장도커 이미지를 tar 파일로 save하는 명령어는 다음과 같습니다.docker save -o myimage.tar myimage:latest myimage.tar는 저장을 원하는 tar 파일의 이름 및 경로이며,myimage:latest는 저장을 원하는 이미지의 태그를 포함한 정보입니다.  도커 이미지 불러오기위에서 저장한 tar 파일을 도커 이미지로 load하는 명령어는 다음과 같습니다.docker load -i myimage.tar  도커 이미지 save / load 활용 예시예를 들어, A 컴퓨터에서 저장한 docker image 파일을 B 컴퓨터로 옮기고,해..

안녕하세요.이번 시간에는 FastAPI의 문서(docs 및 redoc)에오류 명세 등을 상세히 적기 위하여 response model을 부여하는 방법을간략하게 정리해보도록 하겠습니다. 다음과 같은 간단한 FastAPI 서버가 있다고 가정해보도록 하겠습니다.from fastapi import FastAPIapp = FastAPI()@app.get("/")def my_func(): pass  오류 명세 json 양식여기서 response model의 정의는 json으로 진행되는데요.다음과 같은 포맷으로 오류에 대한 명세를 작성해주시면 됩니다.에러번호(integer) : { "description": "에러의 제목", "content": { "applicati..

안녕하세요.오늘은 LangChain으로 LLM에서 원하는 종류의 output을 얻기 위하여추론 및 적절한 도구를 호출하는 과정을 반복하는 ReAct 알고리즘을 구현하는간략한 예제를 다루어보도록 하겠습니다.  Step 1. LangChain 세팅LangChain 모듈 활용을 위한 설치가 필요합니다.설치가 되어있지 않은 경우 다음 명령어를 통해 설치를 진행해주시면 됩니다.$pip install langchain$pip install langchain-openai 이 예제에서는 openai 모델을 활용할 예정이므로, API 키 값이 필요합니다.OPENAI_API_KEY 환경 변수에 해당 값을 매칭시키기 위하여.env 파일 정의를 권장합니다.OPENAI_API_KEY="openai에서 발급받은 API Key" ..

안녕하세요.이번 글에서는 LangChain에서 챗봇의 기본이 되는 RAG 시스템을 구현하는기초적인 예제를 다루어보면서 방법을 이해해보도록 하겠습니다.  Step 1. LangChain 및 Pinecone 벡터 DB 세팅먼저, LangChain 모듈 활용을 위한 준비가 되어있어야 합니다.모듈 설치가 되어있지 않다면 다음과 같은 명령어로 설치를 진행해줍니다.$pip install langchain$pip install langchain-openai$pip install langchain-community$pip install langchain-pinecone 참고로, 이 글의 예제에서는 LLM은 openai의 GPT 모델을,벡터 DB로는 Pinecone을 사용할 예정인데다른 조합 사용을 원하신다면 이에 맞는..

안녕하세요.이번 글에서는 LLM 활용을 간편하게 도와주는 LangChain 모듈에 대한 소개를 해보고설치 과정과 함께 시작해볼 수 있는 간단한 예시 코드 스니펫을 정리해보도록 하겠습니다.  LangChain이란? / 장점LangChain은 LLM과의 상호작용을 보다 쉽게 만들어주는 파이썬 라이브러리인데요.예를 들어, GPT-4o, LLAMA, Claude, Gemini와 같은 다양한 종류의 LLM을 활용해자연어 처리 혹은 대화형 애플리케이션을 개발할 때, 모델에 대한 프롬프트를효율적으로 구성하고 그 결과값을 다루는 과정을 간편화해 줍니다. LLM들을 수동으로 연결하고, 프롬프트도 수동으로 관리하고 기록 로깅도 수동으로모두 구현을 하려면 할 수는 있겠지만 이 과정들을 애플리케이션마다 일일이설정하고 관리하는..

안녕하세요.Python에서 chatbot을 만들 때 매우 유용하게 활용 가능한라마 인덱스 라이브러리에 대하여 기본적인 사용 예제와대략적인 장점에 대하여 정리해보도록 하겠습니다.  라이브러리 설치 및 API Key 세팅우선, Llama Index를 설치해주어야 하는데요. 다음 명령어로 쉽게 설치가 가능합니다.!pip install llama-index 라마 인덱스 사용을 위해서는 OpenAI에서 발급받은 API 키가 필요합니다.다음과 같이 OPENAI_API_KEY 환경 변수로 지정해줍니다.import osos.environ["OPENAI_API_KEY"] = "sk-xxx"  문서 가져오기다음은 문서를 가져오는 단계인데요.라마 인덱스에서는 txt, pdf, csv, docx, hwp 등 매우 다양한 종류..

안녕하세요.이번 글에서는 AWS에서 Lambda와 EventBridge 조합으로주기적으로 원하는 함수를 실행할 수 있는 방법을 정리해보도록 하겠습니다.  Lambda 함수 설정1. AWS의 Lambda 함수 생성 페이지에 들어갑니다. 2. 아래와 같이 함수 이름 / 런타임 등을 골라주시고, 함수 생성을 진행합니다. 3. 이제 실행을 원하는 코드를 적어주시면 됩니다.결과 양식은 딕셔너리 형태로 key로 statusCode와 body를 가집니다.statusCode는 성공 시 200, 실패 시는 500 등으로 설정해주시고,body에는 출력을 원하는 메시지를 적어주시면 됩니다. 예를 들어, 특정 url의 상태를 검사하는 코드 스니펫은 다음과 같습니다.import jsonimport requestsdef lamb..

안녕하세요.google colab 환경에서 셀레니움 모듈로 크롤링을 할 수 있는 환경을세팅하는 방법에 대하여 간략하고 명료하게 정리해보도록 하겠습니다. 이 방법은 코랩과 유사한 리눅스 환경에도 적용이 가능하니 참고하세요.  1. Chrome 설치selenium을 활용하기 위해서는먼저, 코랩 환경 내에 크롬 브라우저를 설치해야 합니다. 다음 명령어를 코드에 입력하여 설치를 진행해주시면 됩니다.!wget -q -O - https://dl.google.com/linux/linux_signing_key.pub | apt-key add - && \ sh -c 'echo "deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main" >> /etc/..

안녕하세요.FastAPI로 서버를 실행할 때, http가 아닌 보안이 추가된 https 프로토콜로서버를 실행할 수 있는 방법을 간략하게 정리해보도록 하겠습니다.  1. SSL 인증서 발급먼저, https로 서버를 실행하기 위해서는 ssl 인증서가 필요합니다.ssl 인증서는 openssl, mkcert, certbot, AWS Certificate Manager 등다양한 방법으로 발급받을 수 있는데요.이 중 어떤 방법으로 발급받던 HTTPS 프로토콜 적용은 가능합니다. 다만, 보안 및 원활한 실행을 위하여 self-signed 인증서보다는도메인 주소와 연결된 ssl 인증서를 발급받기를 권장드립니다. 여기서는 mkcert를 통해서 인증서를 발급받는 명령어의 예시를 다뤄보도록 하겠습니다.이렇게 발급 받은 인증..