지미뉴트론 개발일기

파이썬 f string 사용법, 소수점 포맷팅 방법 안녕하세요. 이번 글에서는 f-string을 이용한 문자열 포맷팅의 기본 방법과 소수점 출력 형식을 지정하는 방법에 관한 예제를 살펴보겠습니다. f-string 기본 사용법 f string 포맷팅은 f + 따옴표로 시작하며, 따옴표로 마무리되는 형식으로 사용합니다. 문자열 내 {}에 원하는 변수를 넣어 바로 출력이 가능하며, 리스트, 딕셔너리 등 자료형도 그대로 출력이 가능하다는 장점이 있습니다. day = '수' hour = 5 minute = 30 print(f'오늘은 {day}요일이며, 현재 시각은 {hour}시 {minute}분 입니다.') # 오늘은 수요일이며, 현재 시각은 5시 30분 입니다. list_ex = [1, 2, 3] dict_ex..

Transformers T5, GPT2 등 Model Parallelism Transformers 라이브러리 내 T5, GPT-2 등 파라미터 사이즈가 큰 일부 모델에 대하여 모델 파라미터 병렬처리를 간단하게 할 수 있는 parallelize 함수와 device map의 사용 방법에 대해서 다루어보도록 하겠습니다. 이 글은 HuggingFace의 공식 document 내용을 바탕으로 작성되었습니다. T5 모델 병렬처리 예시 Transformers에서 제공하는 T5 모델 크기의 attention module의 개수에 따라 아래처럼 device마다 할당할 module의 번호를 지정해주시면 됩니다. t5-small은 6개, t5-base는 12개, t5-large, t5-3b 및 t5-11b는 24개의 att..

transformers apex 연동 오류 디버깅 transformers 라이브러리의 T5 모델을 불러오는 과정에서 아래와 같은 에러가 발생하였습니다. import transformers model = transformers.T5ForConditionalGeneration.from_pretrained("t5-base") Warning 메시지 : 'fused_weight_gradient_mlp_cuda' module not found. gradient accumulation fusion with weight gradient computation disabled. Error 메시지 : ModuleNotFoundError: No module named 'fused_layer_norm_cuda' 오류 원인 T5..

파이썬 사이킷런 K Fold cross validation 방법 안녕하세요. 이번 글에서는 파이썬에서 k fold 교차 검증을 진행하는 방법을 scikit-learn의 KFold 및 StratifiedKFold 함수의 사용법 예제를 통하여 살펴보도록 하겠습니다. 데이터셋 로드 여기서는 사이킷런에서 제공하는 iris 데이터셋을 불러와보도록 하겠으며, 랜덤 포레스트를 통한 분류 모델에서 k-fold 교차 검증을 적용해보겠습니다. from sklearn.datasets import load_iris import pandas as pd import numpy as np # 데이터셋 로드 iris = load_iris() df = pd.DataFrame(data= np.c_[iris.data, iris.targe..

파이썬 소수점 포맷팅 자릿수 지정, 공백 채움, 0 채움 예제 이번 글에서는 파이썬에서 소수점을 출력할 때, 원하는 자릿수까지 지정하는 방법과 칸 수를 지정하여 남은 앞 칸들에 공백 혹은 0을 채우는 방법에 대해서 정리해보겠습니다. 기본 소수점 출력 자릿수 지정 : %.2f 형식 실수 자료형을 포맷팅하는 경우, n번째 자릿수까지 반올림한 값을 출력하고 싶다면 %.nf 형태로 출력 형식을 지정해주시면 됩니다. 단, 전체 자릿수보다 더 많은 숫자를 지정하게 되면 남은 공간은 뒤에 0을 채우면서 출력합니다. pi = 3.1416 print('소수점 1자리 출력 : %.1f'%pi) print('소수점 2자리 출력 : %.2f'%pi) print('소수점 3자리 출력 : %.3f'%pi) print('소수점 4..

pip3 install jupyter SSLError 해결 방법 이번 글에서는 pip(혹은 pip3)를 이용한 설치 과정 중 발생할 수 있는 SSLError의 디버깅 방법을 말씀드려보도록 하겠습니다. 명령 프롬프트에서 pip을 통하여 주피터노트북을 설치하는 과정에서 아래와 같은 오류 메시지가 발생하며 설치 진행에 실패하였습니다. C:\Users\>pip3 install jupyter WARNING: pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available. WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect..

파이썬 format 사용 문자열 포맷팅 방법 이번 시간에는 파이썬의 format 기능을 통하여 순서, 소수점 포맷팅 양식, 정렬 형태 지정 등의 문자열 형식을 지정하는 예제에 대하여 다루어보도록 하겠습니다. format 기본 사용법 기본적인 format 함수를 이용한 포맷팅 방법은 중괄호 {} 를 이용하여 원하는 문자열이 들어갈 자리를 지정해주시고, 이후 문자열.format(들어갈 문자를 순서대로 작성)로 지정해주는 형태입니다. a = '오늘은 {}년 {}월 {}일입니다.'.format(2022, '3', '17') print(a) # 오늘은 2022년 3월 17일입니다. 기본적으로, 숫자는 숫자형(정수, 실수) 혹은 문자열 형식으로 모두 포맷팅이 가능합니다. 아래와 같이 변수로 지정된 값을 format..

텐서플로우 import 오류 디버깅 tensorflow 내 keras 등 내부 라이브러리를 호출하려할 때, 아래와 같은 에러메시지가 등장하는 경우가 있습니다. import tensorflow as tf from tf.keras.layers import Dense # 텐서플로우 내부 라이브러리 호출 시도 # 오류 메시지 예시 ModuleNotFoundError Traceback (most recent call last) in () 1 import tensorflow as tf ----> 2 from tf.keras.layers import Dense ModuleNotFoundError: No module named 'tf' 오류 원인, 해결 방법 가장 첫 줄의 코드에서 tf라는 별칭으로 텐서플로우 라이브러..

Google Colab 이미지 업로드 과정 이번 시간에는 구글 코랩 환경에서 이미지를 업로드하고 삽입한 이미지의 크기를 조절하는 방법에 대해서 살펴보도록 하겠습니다. 1. 구글 드라이브 사진 파일 업로드 먼저, 구글 드라이브에 코랩에서 넣기를 원하는 이미지 파일을 업로드해줍니다. 2. 링크 생성 메뉴 클릭 드라이브 내 해당 이미지 파일에서 마우스 우 클릭 후 링크 생성 메뉴를 클릭해줍니다. 3. 링크 복사 링크 생성 과정에서 등장한 창에서 링크 복사를 진행해줍니다. 4. 코랩에서 텍스트 셀 생성 Google Colab 파일을 열고, 텍스트 셀을 생성해줍니다. 5. 링크 변경 복사된 링크를 아래 양식대로 변경해줍니다. # 변경 전 양식(링크 복사 직후) https://drive.google.com/file..

파이썬 globals() 활용 동적 변수 생성 이번 시간에는 파이썬에서 비슷한 변수명을 가진 여러개의 변수들을 for문 등을 통해서 쉽게 만들 수 있는 globals()를 사용한 동적 변수 생성법을 알아보도록 하겠습니다. for문에서 변수 여러개 동시에 만들기 예제 보통 변수명은 문자열과는 다르게 취급되어 다른 이름을 가진 변수들을 동시에 할당하려는 상황에서 난관을 겪을 수 있습니다. 그러나, 이 상황에서 globals()[원하는 변수 이름] = 변수에 할당할 값 형태로 동적 변수를 할당하게되면 이 문제를 쉽게 해결할 수 있습니다. 예를 들어, var0, var1, var2, var3, var4라는 변수들을 동시에 선언하고 싶은 경우, 아래와 같이 간단한 for문으로 코드를 작성해볼 수 있습니다. # v..