지미뉴트론 개발일기

파이썬 help 사용법, 함수 문서화 방법 이번 글에서는 파이썬에서 특정 함수 및 클래스에 대한 도움말 및 사용법을 확인하고 싶은 경우 유용하게 활용이 가능한 help 메소드에 대한 개요를 다루어보고, 이와 관련되어 직접 정의한 함수 혹은 클래스에 대한 설명서를 작성하는 '함수의 문서화'라는 개념에 대해서도 살펴보도록 하겠습니다. help로 클래스 및 함수에 대한 설명을 확인하는 방법 help(클래스 이름) 혹은 help(함수 이름)의 형태로 파이썬에서 클래스나 함수에 대한 도움말을 쉽게 볼 수 있습니다. 파이썬 내장 함수 중 하나인 range는 사실 클래스로 구현이 되어있는데, 클래스 설명글에 대한 예시로 이 range class에 대한 설명 글을 살펴보도록 하겠습니다. 실제로는 위 사진에서 잘린 내용..

파이썬 넘파이 append 함수 사용 예제 Numpy 라이브러리에서 배열들을 이어 붙인 결과를 손쉽게 얻어낼 수 있는 append 함수의 사용법에 대해서 경우의 수를 중심으로 이해해보도록 하겠습니다. Numpy append 함수 기본 사용 방법 리스트 두 개를 이어 붙일 때는 + 연산으로 쉽게 진행이 가능합니다. 그러나, numpy array 자료형은 + 연산으로 원소 간 덧셈이 대신 진행되며 이어 붙이기를 원하는 상황에서는 다른 방법이 필요하게 됩니다. 넘파이 배열을 붙이는 방법은 여러 가지가 있지만 append 메소드를 사용하여 np.append(a, b)처럼 작성해주시면 두 배열을 이어 붙인 결과를 쉽게 반환받을 수 있습니다. 가장 간단한 예시로 1차원 배열끼리 붙이는 코드는 아래와 같습니다. im..

파이썬 ipynb 환경 내 파일 업로드 과정 구축 파이썬의 Colab 및 Jupyter Notebook 환경 하에서 사용자에게 파일을 업로드할 수 있는 항목을 만들어주고, 두 환경에서 각각 사용자가 올린 파일을 읽어올 수 있는 방법에 대하여 다루어보도록 하겠습니다. 방법 1 : ipywidgets의 FileUpload 사용 ipynb 파일 환경의 첫 번째 upload 항목 생성 방법은 ipywidgets을 활용한 방법입니다. 이 방법은 주피터 노트북, 코랩 환경 모두에서 적용이 가능합니다. 아래와 같은 간단한 텍스트 파일인 example.txt 파일을 업로드하는 상황을 가정해보겠습니다. 아래와 같이 FileUpload 함수 및 display를 이용하여 Upload 칸을 출력해줍시다. from ipywid..

다양한 형태의 파이썬 로그 표현 함수들 사용 예제 파이썬에서 여러 형태의 로그(log)를 나타낼 수 있는 방법에 대하여 math 및 numpy 라이브러리의 다양한 log 메소드의 비교를 기준으로 다루어보겠습니다. 기본적으로 math와 넘파이 패키지에서 제공하는 로그 표현 메소드의 종류는 밑이 2인 로그를 나타내는 log2, 밑이 10인 상용로그를 나타내는 log10, 자연로그를 표현할 수 있는 log 그리고 log(1+n) 형태를 의미하는 log1p 함수로 나뉩니다. 위 함수들의 사용 예제를 바탕으로 두 라이브러리의 log 메소드의 차이를 비교해보겠습니다. math.log 함수 예제 math 라이브러리 내 log 메소드는 밑이 n인 log_n m 형태의 수를 log(m, n)처럼 input으로 숫자 2개..

glob.glob 사용법, 예제 정리 이번 글에서는 파이썬에서 디렉토리 내의 파일과 폴더의 이름들을 리스트로 모아서 반환받을 수 있는 glob.glob의 사용법에 대해서 살펴보겠습니다. 이해를 돕기 위하여 현재 디렉토리가 my_folder 내이고, 저장된 폴더 및 파일의 목록이 아래와 같다고 가정해보겠습니다. 현재 디렉토리 내 전체 파일, 하위 폴더 이름 모아서 반환 가장 기본적인 예제로, 별표 1개(*)로 input을 지정하여 현재 폴더 내 모든 파일/하위 폴더의 목록을 전부 가져올 수 있습니다. import glob glob.glob('*') # ['111.png', 'aaa.txt', '222.png', 'bbb.txt', 'example'] 특정 이름이나 확장자를 가진 파일(폴더)만 검색하여 반환..

Transformers 라이브러리 BERT corpus pre-train 실습 BERT 모델을 사전 학습하는 방법인 MLM(Masked Language Modeling) 기법을 적용하여 원하는 corpus로 학습된 pre-trained BERT를 생성하는 파이썬 코드 예시를 살펴보겠습니다. Transformers 라이브러리의 기능을 사용하여 진행한 예제이며, random word 토큰 선별 과정을 제외하고는 아래 사이트의 코드를 참조하였습니다. Masked-Language Modelling With BERT Transformer models like BERT are incredibly powerful when fine-tuned for specific tasks using masked-language m..

파이썬 판다스 텍스트 파일을 DataFrame으로 변환 예제 파이썬에서 텍스트 파일을 데이터프레임으로 바꾸는 방법을 text 파싱을 이용한 예시와 read_csv 함수를 이용하여 간단하게 여는 예시로 나누어서 설명해보도록 하겠습니다. 예제로 아래와 같은 간단한 텍스트 파일이 student.txt로 저장되어 있다고 가정해보겠습니다. 데이터 간 구분자는 공백을 가정합니다. txt file to DataFrame 방법 1 : 텍스트 파싱 후 변환 다소 복잡할 수 있는 방법으로 txt 파일을 연 뒤, 데이터 파싱 과정을 거쳐 데이터프레임으로 변환하는 방법을 먼저 다루어보겠습니다. 이 방법은 구분자가 불규칙한 상황 등에서 유용할 수 있습니다. 만일, 구분자가 규칙적이라면 방법 2의 read_csv 함수를 이용한 ..

파이썬 판다스 json to DataFrame 및 DataFrame to json 파이썬에서 pandas 라이브러리의 to_json 및 read_json 함수를 이용하여 각각 데이터프레임을 json 파일로 바꾸고, json 파일을 데이터프레임으로 변환하는 예제에 대하여 다루어보도록 하겠습니다. 데이터프레임을 json 파일로 변환 : to_json() 예시로, 아래와 같은 간단한 데이터프레임이 있다고 가정해보겠습니다. import pandas as pd a = {'A' : [1, 2, 3, 4], 'B' : ['a', 'b', 'c', 'd'], 'C' : ['A', 'B', 'C', 'D']} df = pd.DataFrame(a) df to_json 함수에서는 여러가지 양식의 json 파일 변환을 제공하..

파이썬 object is not subscriptable 오류에 대하여 지난 글에서 [] 괄호와 () 괄호의 역할을 구분하며 [] 괄호를 이용한 인덱싱 대신 () 괄호를 사용한 호출을 진행하면 발생하는 object is not callable 종류의 오류를 살펴보았습니다. TypeError: 'list' object is not callable 원인과 해결법 파이썬 object is not callable 에러 디버깅 리스트 인덱싱 등 과정에서 자주 등장할 수 있는 오류 종류인 '~~ object is not callable' 종류의 오류의 의미와 원인에 대해서 살펴보고 해결 방법을 파헤쳐보도 jimmy-ai.tistory.com 이번 글에서는 반대로 () 괄호로 호출을 해야하는 함수 등 객체에 대하여 ..

파이썬 object is not callable 에러 디버깅 리스트 인덱싱 등 과정에서 자주 등장할 수 있는 오류 종류인 '~~ object is not callable' 종류의 오류의 의미와 원인에 대해서 살펴보고 해결 방법을 파헤쳐보도록 하겠습니다. 오류 의미, 원인 이해를 돕기 위하여, 아래와 같은 아주 간단한 리스트와 함수를 생각해보도록 하겠습니다. x = [1, 2, 3] # 리스트 def double(num): # 함수 return num * 2 x[0] # 리스트 인덱싱 double(1) # 함수 호출 리스트에서 자료를 추출하는 인덱싱 과정에서는 [] 모양의 괄호가 사용되고, 함수에 input을 넣어 호출하는 과정에서는 () 모양의 괄호가 사용되는 것을 알 수 있습니다. 그렇다면 만약 인덱싱..