지미뉴트론 개발일기

torch model save, load 예제 이번 글에서는 파이토치에서 학습된 모델을 저장하고, 저장된 모델을 다시 불러오는 방법을 파라미터만 저장하는 방법과 모델 전체를 save하는 방법으로 나누어서 설명해보겠습니다. 참고로, 이 글은 파이토치 공식 문서를 기반으로 작성되었습니다. model save 방법 1 : 파라미터만 저장 state.dict() 메소드를 불러와 모델의 파라미터만 골라서 저장이 가능합니다. 이 방법은 모델의 클래스 종류와 argument를 아는 경우 용량을 절약할 수 있어 권장드립니다. 저장될 파일은 pt 확장자로 지정해주시면 됩니다. # torch.save(모델이 저장된 변수 이름.state_dict(), 모델이 저장될 디렉토리) torch.save(model.state_dic..

판다스 데이터프레임 NaN 값 포함 위치 제거 방법(pd.dropna) 안녕하세요. 지난 글에서 다루었던 데이터프레임 내 결측값의 위치를 찾는 방법에 이어, 이번 글에서는 결측치를 포함하고 있는 행이나 열을 제거하는 방법을 dropna 함수의 사용법을 기반으로 하여 다루어보도록 하겠습니다. 결측값의 위치와 개수를 확인하는 방법에 관한 내용은 아래 링크의 지난 글을 참고해주세요. [Pandas] 파이썬 결측치 확인 방법 : isnull, notnull 판다스 데이터프레임 NaN 값 위치, 개수 확인 안녕하세요. 이번 시간에는 파이썬 판다스 라이브러리에서 데이터프레임 내의 결측값 행을 확인하고, 각 열 별로 결측치의 개수를 세는 방법을 isnull jimmy-ai.tistory.com 참고로 이 글은 pan..

판다스 데이터프레임 NaN 값 위치, 개수 확인 안녕하세요. 이번 시간에는 파이썬 판다스 라이브러리에서 데이터프레임 내의 결측값 행을 확인하고, 각 열 별로 결측치의 개수를 세는 방법을 isnull, notnull 함수의 사용법을 기준으로 간략하게 설명해보도록 하겠습니다. 결측치 행 확인 : isnull 이해를 돕기 위하여, 아래와 같은 결측값을 일부 포함하는 간단한 데이터프레임이 있다고 가정해보도록 하겠습니다. import pandas as pd import numpy as np a = {'A' : [np.nan, 2, 3, 4, 5, np.nan], 'B' : ['a', 'a', np.nan, 'b', 'b', 'b'], 'C' : [np.nan, 1.5, -0.3, np.nan, 4.2, np.na..

파이썬 filter 함수 사용법 경우의 수 파이썬 기본 내장 함수 중 하나인 filter 함수의 기본적인 구조는 다음과 같습니다. filter(필터링 조건 함수(lambda 또는 def 정의), 필터링을 적용할 리스트 혹은 튜플 등 자료형) filter 함수의 원리는 순회가능한 원소 각각에 필터링 조건을 검사하여 조건을 만족하는 원소들만 모아 결과를 반환하는 것입니다. 예제를 살펴보며 더 자세한 사용 방법을 익혀보도록 하겠습니다. filter 함수 예제 1 : lambda를 이용한 필터링 가장 기본적인 람다 조건을 이용한 필터링의 경우를 살펴보겠습니다. 예를 들어, 정수로 구성된 리스트 원소들 중 4의 배수만을 골라서 반환하고 싶은 경우는 아래 예시 코드처럼 작성해주시면 됩니다. # filter(람다 조..

apex 라이브러리 설치 중 metadata egg_info 오류 디버깅 nvidia github 사이트에서 apex 패키지를 설치하는 과정 중 아래와 같은 오류가 발생했습니다. egg_info가 성공적으로 실행되지 않았다고 나오면서, 앞 부분에는 error : subprocess-exited-with-error 오류와 같이 note : This error is originates from a subprocess, and is likely not a problem with pip. 으로 pip 문제가 아니라는 메시지가 출력되고, 아래쪽에서는 error : metadata-generation-failed 오류와 함께 note : This is an issue with the package mentioned..

파이토치 DataLoader RuntimeError 디버깅 이번에 겪었던 오류 메시지는 다음과 같았습니다. Traceback (most recent call last): ~~~ RuntimeError: Caught RuntimeError in DataLoader worker process 0. Original Traceback (most recent call last): ~~~ RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the 'spawn' start method 오류 원인 아주 세밀한 원인까지는 파악하지 못했으나, torch의 dataloader 객체에..

np.random.binomial 함수 사용법과 중심 극한 정리 예시 파이썬 넘파이 라이브러리에서 이항분포를 따르는 표본을 추출하고, 반복 시행 표본의 결과가 정규분포와 가까워지는 것을 시각화해보는 예시를 살펴보겠습니다. 넘파이 이항분포 표본 추출 방법 이항분포의 특징은 동전 던지기 혹은 강화 성공/실패 등의 상황을 생각하시면 이해가 쉽습니다. 20번 동전 던지기에서 앞면이 나오는 횟수를 샘플링한다고 가정해보겠습니다. 이 경우 횟수 n = 20, 성공률 p = 0.5 입니다. 파이썬 이항분포는 np.random.binomial 함수로 표본 추출이 가능합니다. 추출을 원하는 n, p 조건 값과 시행할 횟수인 size를 순서대로 input으로 넣어주시면 됩니다. import numpy as np n = 20..

파이썬 판다스 datetime 자료형 변환 및 시간 형식 포맷팅 파이썬에서 데이터프레임을 열게되면 시간 정보를 담은 열은 기본적으로 아래와 같이 object 문자열 형태로 자료형이 지정되어 다루는 과정에서 어려움을 겪기도 합니다. 따라서, 이번 시간에는 해당 column의 자료형을 datetime 자료형으로 바꿔보고, 시간 정보 추출 및 날짜 형식 포맷팅을 진행하는 방법에 대해서 다루어보도록 하겠습니다. 참고로, 이 글은 캐글의 자전거 대여 예측 데이터셋의 datetime 열을 기준으로 작성되었습니다. string에서 datetime 자료형으로 전환 : pd.to_datetime() pd.to_datetime() 함수를 사용하여 시간 형식의 object 자료형 column을 datetime 형식으로 손쉽..

판다스 set_index 함수 사용법(데이터프레임 인덱스 지정) 안녕하세요. 이번 시간에는 파이썬 판다스 라이브러리에서 데이터프레임의 인덱스를 지정할 수 있는 set_index 함수의 경우의 수에 대하여 정리를 해보며 사용 방법을 익혀보도록 하겠습니다. 참고로, 이 글은 pandas 공식 document의 set_index 설명 글을 기반으로 작성되었습니다. 이해를 돕기 위하여, 아래와 같은 간단한 데이터프레임을 예시로 인덱스를 설정해보겠습니다. import pandas as pd df = pd.DataFrame({'id' : [101, 102, 103, 104], 'name' : ['aaa', 'bbb', 'ccc', 'ddd'], 'math' : [100, 85, 93, 87], 'english' :..

파이썬 T-test 예제 안녕하세요. 이번 시간에는 파이썬 Scipy 라이브러리를 활용하여 단일, 독립 및 대응표본의 각 경우에 대해서 t 검정을 진행하는 방법을 다루어보도록 하겠습니다. 단일표본 t 검정 : stats.ttest_1samp 먼저, 1개의 표본의 모평균을 검정하는 단일표본 T-test의 예시를 살펴보겠습니다. 아래와 같이 0~1의 균일분포에서 랜덤 추출한 값에 100을 곱한 100개의 데이터가 있다고 가정해보고, 이 집단의 모평균을 검정해보도록 하겠습니다. import numpy as np a = np.random.random(100) * 100 # 앞의 5개 값 예시 a[:5] # array([70.20398434, 44.41203954, 85.43068622, 29.52316572, ..