지미뉴트론 개발일기

안녕하세요.OpenAI에서 제공하는 GPT 모델에 원하는 데이터를 직접 학습시키는 과정이 가능한데요.Python으로 간단하게 파인튜닝을 진행하는 예제 코드를 살펴보도록 하겠습니다. 참고로, 해당 과정에 대한 상세한 내용은 아래의 OpenAI 공식 document를 참고하세요.https://platform.openai.com/docs/guides/fine-tuning 이 글에서는 전반적인 감만 잡을 수 있는 매우 간단한 코드 스니펫 예시를 다룰 예정입니다.  데이터 준비우선, 데이터는 각 줄마다 하나의 대화로 구성된 jsonl 파일로 준비되어야 합니다.예시 파일의 포맷은 다음과 같습니다.{"messages": [{"role": "system", "content": "당신은 나라 이름을 대면 수도를 알려주는..

안녕하세요.때로는 ChatGPT API를 사용하는 과정에서 원하는 response를포맷이 고정된 json 구조(structured output)로 받고 싶은 경우가 있습니다. 이런 경우를 위하여 pydantic의 type 지정 기능을 활용하여응답의 포맷을 고정하도록 주문하는 방법들이 있는데요. 이를 활용하는 예시 코드들을 간략하게 살펴보면서기능 사용법에 대한 이해를 해보도록 하겠습니다.  코드 예시방법 1먼저, OpenAI Client를 선언합니다.from openai import OpenAIOPENAI_API_KEY = "sk-xxxx" # 사용할 OpenAI API Keyclient = OpenAI(api_key=OPENAI_API_KEY) 이후, 원하는 포맷의 json 양식을 pydantic 모델로..

자바스크립트에서 GPT 등의 openai 모델에 대한 API를 호출하는 방법을 간략한 코드 예제로 쉽게 정리해보도록 하겠습니다. 1. 프롬프트 준비 우선, 프롬프트 목록에 대한 리스트를 아래와 같은 양식으로 준비해 줍시다. const messages = [ { role: 'system', content: "답변은 항상 한국어로 해주세요."} { role: 'user', content: "Who is the first president of USA?"} ] 2. GPT 호출 파라미터 준비 이후, openai api 호출을 위한 json input 양식을 준비해줍시다. 예시는 다음과 같습니다.(위에서 정의한 messages 변수를 사용합니다.) const gptInput = { model: 'gpt-3.5-..

Python으로 OPENAI에서 제공하는 text embedding 모델을 활용하여 텍스트의 임베딩 벡터를 구해보고, 문서 간 코사인 유사도를 구하는 예제를 간략하게 다루어보도록 하겠습니다. OPENAI 텍스트 임베딩 모델 사용 코드 예시 현재 비교적 최신 모델인 text-embedding-3-small, text-embedding-3-large와 기존 모델인 text-embedding-ada-002에 대한 임베딩 API를 OPENAI에서 제공 중입니다. (모델 상세 정보는 해당 링크의 openai 공식 document 페이지를 참고해주세요.) 우선, 문자열 1개에 대한 텍스트 임베딩 벡터를 구하는 파이썬 코드 예시는 다음과 같습니다. from openai import OpenAI # !pip insta..