지미뉴트론 개발일기

새로운 코퍼스에 대하여 커스터마이징된 Tokenizer를 파이썬으로 학습시키는 방법을 간략하게 정리해보도록 하겠습니다. 예시로, 제가 corpus txt 파일 여러 개를 다음과 같은 디렉토리 구조로 가지고 있다고 가정해보도록 하겠습니다. 위의 많은 코퍼스 파일들을 통하여 토크나이저를 직접 학습시켜 보겠습니다. Step 1. 디렉토리명 가져오기 먼저, 위의 텍스트 파일들을 불러오기 위하여 디렉토리 목록을 가져와야 합니다. 이 과정을 os 모듈을 활용하여 진행한 예시 코드는 아래와 같습니다. import os dir_name = 'my_corpus' paths = os.listdir(dir_name) # ['corpus_15.txt', 'corpus_02.txt', 'corpus_09.txt', 'corpu..

Python에서 requests 모듈로 get, post 등의 요청을 진행하는 경우가 종종 있는데요. 이번 글에서는 이러한 종류의 요청을 aiohttp 모듈을 통하여 async로 처리하는 방법을 간략하게 정리해보도록 하겠습니다. 일반적인 requests 사용 방법 예시 먼저, 일반적으로 GET 메소드를 requests 모듈로 실행하는 방법은 대략적으로 아래 코드처럼 정리가 가능합니다. import requests response = requests.get('요청 url') if response.status_code == 200: # 요청 성공 print('결과:', response.text) else: # 요청 실패 print('실패 상태 코드:', response.status_code) POST 메소드..

문제 개요 onnx 파일로 저장된 모델을 사용하기 위하여 onnxruntime 모듈을 활용할 때, 아래 코드와 같이 CUDA GPU를 사용하도록 지정하였음에도 GPU 인식이 안되어 강제로 CPU만 사용되는 경우가 나타날 수 있습니다. import onnxruntime onnx_session = onnxruntime.InferenceSession("model.onnx", providers=['CUDAExecutionProvider']) 이런 경우에는 GPU 사용이 불가능한 경우를 안내하기 위하여 다음과 같은 warning 메시지가 출력되기도 합니다. UserWarning: Specified provider 'CUDAExecutionProvider' is not in available provider nam..

파이토치 모델 변환의 대표적인 3가지 포맷인 체크포인트, 토치스크립트 그리고 onnx 방식에 대하여 inference 과정의 속도를 비교해보는 간단한 실험을 진행해 보겠습니다.(동일한 GPU를 사용하는 환경을 가정해 보겠습니다.) 모델 정의 및 변환 코드 예시 우선, 아래와 같이 파라미터 수가 아주 많은 신경망 모델이 하나 있다고 가정해 보겠습니다. import torch import torch.nn as nn class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.fc1 = nn.Linear(50000, 20000) self.fc2 = nn.Linear(20000, 2000) self.fc3 = nn.Linear(2000, ..

파이토치에서 전체 데이터셋의 크기가 너무 크거나 다양한 경로에 나눠져 있는 경우 real-time으로 파일을 불러오는 방식의 데이터셋을 구현할 필요가 있습니다. 이 글에서는 실시간으로 파일을 불러오는 데이터셋의 형태를 구현하는 예제를 간략하게 정리해보도록 하겠습니다. 상황 가정 이해를 돕기 위하여 아래와 같이 images 디렉토리 내에 여러 이미지 파일이 저장된 상황을 가정해보도록 하겠습니다. 지금은 이미지 파일이 4개뿐이지만, 아주 많은 수의 이미지가 있는 경우 모든 데이터를 메모리에 동시에 올리는 것이 어려울 수 있습니다. 이런 문제를 해결하기 위하여 real-time 방식의 데이터셋 및 데이터로더를 정의하게 되면 메모리 부족 문제도 해결되면서 iteration 마다 다른 Data Augmentati..

Ubuntu에서 쿠다 설치를 확인하기 위해서 nvcc -V나 nvcc --version을 입력했을 때, Command 'nvcc' not found, but can be installed with : 으로 시작하는 메시지가 등장하면서 정상적으로 실행이 되지 않는 경우가 있습니다. 이 문제의 가장 주요 원인은 두 가지 정도인데, 정리하면 아래와 같습니다. 1. CUDA가 설치되지 않은 경우 2. 현재 그래픽카드와 CUDA 버전이 일치하지 않는 경우(단, 파이토치에서 GPU 사용은 정상적으로 가능할 수도 있음) 여기서는 1번 원인으로 파이토치 등에서 GPU 사용이 안되는 경우 해결법을 다루어 보겠습니다. 이 문제 해결에는 아래의 두 단계가 필요합니다. 1. NVIDIA DRIVER 설치 2. NVIDIA C..

브라우저에 설정된 언어로 웹페이지의 초기 언어를 지정할 수 있다면 유저 입장에서는 매우 편리할 것입니다. 이번 글에서는 간단한 예제를 바탕으로 초기 언어를 유연하게 설정하는 내용을 정리해보도록 하겠습니다. 지난 포스팅에서 다루었던 간단한 웹페이지를 예시로 들어보겠습니다. 웹사이트 언어 설정 메뉴 만들기 방법(다국어 사이트 생성 예제) 웹사이트에서 다국어를 지원하고 싶은 경우가 많은데요. 언어 설정 메뉴를 만들고 언어가 자동으로 변경되는 과정을 간단한 예제를 통하여 알아보도록 하겠습니다. 이번에 다뤄볼 웹 페이지의 jimmy-ai.tistory.com 브라우저 언어 감지 방법 익스플로러, 크롬, 파이어폭스 등에서 브라우저마다 설정된 언어를 가져오는 방법은 조금씩 다를 수 있는데요. 아래의 코드로 가져오면 ..

웹사이트에서 다국어를 지원하고 싶은 경우가 많은데요. 언어 설정 메뉴를 만들고 언어가 자동으로 변경되는 과정을 간단한 예제를 통하여 알아보도록 하겠습니다. 이번에 다뤄볼 웹 페이지의 HTML은 다음과 같이 정의해 보겠습니다. 제목 파이썬 자바스크립트 위의 HTML로 웹 페이지를 띄우면 다음과 같이 내용이 등장합니다. 언어 설정 메뉴 만들기 이제 위의 HTML 내에 언어 설정 코드를 만드는 방법을 간단히 살펴볼 것 인데요. HTML 파일 내에 아래의 내용처럼 추가해보고 결과를 확인해 보겠습니다. 여기서 기본 언어는 한국어로 설정되도록 하였습니다. 제목 파이썬 자바스크립트 Language: English 한국어 브라우저 설정에 따라 위치는 다르게 나타날 수 있는데, 픽셀 값을 조정하여 원하는 위치로 이동시켜..

안녕하세요. 지미뉴트론 개발일기 저자입니다. 그간 지미뉴트론 개발일기 2에 글을 작성하다가 오랜만에 다시 인사를 드리게 되었습니다. 리뉴얼과 새출발의 느낌으로 블로그를 분리했었지만 한 블로그에서 통합되어 운영하는 것이 더 이점이 많다고 생각되어 현재 블로그로 통합해서 다시 하나로 운영을 하는 것을 결정하게 되었습니다. 그간 글 작성에 비교적 소홀하였는데 이번 통합을 계기로 다시 블로그 운영을 본격적으로 시작해 볼 예정입니다. 기존 2번째 블로그에 작성했던 글들은 하나씩 천천히 해당 블로그로 리뉴얼하여 옮길 계획입니다. 제 블로그를 잘 봐주시는 분들께 항상 감사드리며 더 좋은 컨텐츠로 찾아뵐 수 있도록 하겠습니다. 감사합니다.

Python Map Visualization : Pygmt 파이썬에서 실제 지도에 시각화를 진행할 수 있는 유용한 모듈인 Pygmt에 대하여 설치 및 간단한 사용법에 관한 예제를 다루어보도록 하겠습니다. 참고로, 해당 포스팅은 아래 링크의 Pygmt 튜토리얼을 참조하여 작성했습니다. Anatomy of a PyGMT figure — Crafting beautiful maps with PyGMT .ipynb .pdf to have style consistency --> www.generic-mapping-tools.org Pygmt 설치 방법 Pygmt 모듈은 단순히 pip으로 설치 시에는 경로 관련 오류가 발생할 수 있어, 아래의 명령어로 conda 가상환경을 만든 이후에 import를 해주셔야 합니다...