지미뉴트론 개발일기

허깅페이스 BERT 영화 리뷰 감정 분류 튜토리얼 파이썬에서 transformers 라이브러리를 활용하여 BERT 구조 모델을 감성 분석 classification 과정에서 이용하는 예제에 대하여 다루어보도록 하겠습니다. (데이터셋으로는 IMDB 영화 감성 분석 데이터셋을 사용하겠습니다.) 참고로, 이 글은 아래 링크의 허깅페이스 공식 사이트 글의 내용을 기반으로 작성되었으며, 여기서는 해당 공식 글의 해설을 위주로 글을 전개하도록 하겠습니다. Text classification To fine-tune a model in TensorFlow, start by converting your datasets to the tf.data.Dataset format with to_tf_dataset. Specify..

Python 넘파이 다항 회귀 예제 : np.polyfit 함수 파이썬에서 numpy 모듈의 polyfit 메소드를 활용하여 1차, 2차 및 n차 다항 회귀식을 구해보고, 결과를 시각화해보는 예시를 다루어보겠습니다. 1차 회귀식 구하기 및 결과 시각화 예시 먼저, 다음과 같은 x와 y에 대한 데이터가 있다고 가정해보겠습니다. x = [1, 2, 3, 4, 5, 6] y = [1, 3, 6, 8, 11, 19] polyfit 함수의 사용법은 polyfit(x, y, 차수) 형태로 매우 간단하게 이용이 가능합니다. 예를 들어, 1차식으로 회귀를 진행한 결과는 아래와 같습니다. import numpy as np print(np.polyfit(x, y, 1)) # [ 3.31428571 -3.6 ] -> y =..

텐서플로우 케라스 SimpleRNN, LSTM, GRU layer 쌓기 예시 파이썬의 텐서플로우 2.x 버전에서 keras 모듈을 활용하여 RNN 시리즈 모델들의 layer를 양방향, 다중층 등으로 쌓는 방법들을 다루어보도록 하겠습니다. (데이터셋은 tensorflow에서 제공하는 IMDB 감정 분류 데이터셋을 활용하였습니다.) 데이터셋 로드, 전처리 tensorflow의 데이터셋 모듈에서 제공하는 IMDB 데이터셋을 불러오고 RNN 모델 적용을 위한 간단한 전처리를 진행해보겠습니다. 해당 과정의 코드는 아래 링크의 텐서플로우 공식 사이트 글을 참조하였습니다. RNN을 사용한 텍스트 분류 | TensorFlow Core Google I/O는 끝입니다! TensorFlow 세션 확인하기 세션 보기 RNN을..

텐서플로우 케라스로 CNN 모델 코드 구현하기 파이썬에서 Tensorflow 2.x 버전의 케라스 모듈을 활용하여 CNN 모델 구조를 구현하여 MNIST 이미지 분류를 진행하는 예제를 다루어보겠습니다. 데이터셋 로드 먼저, keras에서 자체적으로 제공하는 MNIST 데이터셋을 가져오고, shape를 확인해보겠습니다. import tensorflow as tf mnist = tf.keras.datasets.mnist (X_train, y_train), (X_test, y_test) = mnist.load_data() # 0 ~ 255 사이 정수 -> 0 ~ 1 사이 실수로 변환 X_train, X_test = X_train / 255.0, X_test / 255.0 print("X_train shape ..

파이썬 판다스 KeyError: 0 오류 디버깅 파이썬의 pandas 모듈에서 인덱싱 과정에서 발생하기 쉬운 KeyError 종류에 대하여 예상 원인과 이에 대한 해결법을 다루어보도록 하겠습니다. Case 1 : 열 이름 위치에 인덱스 번호를 대신 입력하는 경우 -> loc 함수 사용 아래와 같은 데이터프레임 df에 대하여 0번 인덱스 행을 가져오는 상황을 가정하겠습니다. 여기서 다음과 같이 인덱싱을 시도하면 KeyError: 0이 발생하게 됩니다. df[0] # KeyError: 0 발생 # 가능한 경우(열 이름만 가능) df['A'] df['B'] 이는 컬럼 이름이 들어가야할 자리에 인덱스 번호가 대신 들어간 상태이고, 0이라는 이름을 가진 열은 존재하지 않기에 해당 에러가 발생한 것입니다. 여기서는..

Python 사이킷런 나이브 베이즈(NB) 분류 모델 학습하기 파이썬에서 scikit-learn의 기능을 활용하여 나이브 베이즈 분류기 학습 진행의 과정을 구현해보는 예제를 다루어보겠습니다. 데이터셋 불러오기 먼저, 이번 글에서 사용할 붓꽃 데이터셋을 불러오도록 하겠습니다. from sklearn.datasets import load_iris import pandas as pd # 데이터셋 로드 iris = load_iris() df = pd.DataFrame(data= iris.data , columns= ['sepal length', 'sepal width', 'petal length', 'petal width']) df['target'] = iris.target df 0, 1, 2로 표시된 3가지 ..

파이썬 판다스 max/min 위치 index, row 찾기 파이썬의 데이터프레임 내에서 최대 혹은 최소값을 가지는 행의 위치에 대한 인덱스나 행 전체를 가져오는 방법에 대하여 idxmax, idxmin 함수의 사용법을 토대로 간단하게 정리해보겠습니다. 용이한 설명을 위하여, 아래와 같은 간단한 데이터프레임 df를 예시로 들어보겠습니다. import pandas as pd a = {"이름" : ['AAA', 'BBB', 'CCC', 'DDD'], "국어" : [80, 100, 90, 70], "수학" : [100, 90, 100, 80]} df = pd.DataFrame(a) df = df.set_index("이름") df 여기서는 참고로 "이름" 열이 인덱스로 지정되어 있습니다. 데이터프레임 전체 각 컬..

Python 넘파이 삼각/역삼각함수 사용법 예제 파이썬의 numpy 모듈에서 sin, cos, tan의 삼각함수를 나타내는 메소드와 arcsin, arccos, arctan의 역삼각함수를 나타내는 메소드에 대하여 다루어보고, math 라이브러리의 삼각/역삼각함수 메소드와 간단한 비교를 진행해보겠습니다. 삼각함수 메소드 : np.sin, np.cos, np.tan 넘파이 라이브러리에서는 기본적으로 사인, 코사인 및 탄젠트 함수에 대한 메소드만을 지원하며, 각도 단위가 아닌 라디안 단위로 input을 넣어주셔야 합니다. (삼각함수의 역수인 cosec, sec, cot에 대한 직접적인 메소드는 지원하지 않고 직접 sin, cos, tan에 역수를 취해서 사용해주셔야 합니다.) 우선, 각도 숫자 1개에 대한 삼..

Python 판다스 distinct : unique, nunique 사용법 예제 파이썬의 데이터프레임에서 각 컬럼에 등장하는 유일한 값들의 목록과 개수를 추출하는 방법을 판다스의 unique와 nunique 함수의 사용법을 중심으로 살펴보도록 하겠습니다. 여기서는 열 1개와 여러 개에 대한 예제를 모두 다루어보겠습니다. 이해를 돕기 위하여 아래와 같이 매우 간단한 데이터프레임 df를 가정해보도록 하겠습니다. import pandas as pd a = {'A' : [1, 1, 1, 2, 2, 2], 'B' : ['가', '가', '나', '나', '다', '다']} df = pd.DataFrame(a) df unique 함수 예제 1 : column 1개 내에서 고유값 목록 추출 열 1개 내에서 등장한 값..

파이썬 판다스 특정 값/조건 개수 조회 방법 정리 파이썬의 데이터프레임에서 판다스 모듈을 통해 특정 값의 개수나 조건을 만족하는 행의 개수를 세는 방법을 간략하게 정리해보도록 하겠습니다. 이해를 돕기 위하여 아래와 같은 간단한 데이터프레임 df를 예시로 가정해보겠습니다. import pandas as pd a = {"A" : [10, 10, 10, 100, 100, 100], "B" : ['aaa', 'aaa', 'bbb', 'bbb', 'ccc', 'ccc'], "C" : [10, 20, 30, 40, 50, 60]} df = pd.DataFrame(a) df 특정 값 개수 조회 방법 1 : len + loc (또는 loc + shape[0]) 이용 첫 번째로 특정 값을 카운팅하는 방법은 df.loc[..