지미뉴트론 개발일기

판다스 데이터프레임 NaN 값 포함 위치 제거 방법(pd.dropna) 안녕하세요. 지난 글에서 다루었던 데이터프레임 내 결측값의 위치를 찾는 방법에 이어, 이번 글에서는 결측치를 포함하고 있는 행이나 열을 제거하는 방법을 dropna 함수의 사용법을 기반으로 하여 다루어보도록 하겠습니다. 결측값의 위치와 개수를 확인하는 방법에 관한 내용은 아래 링크의 지난 글을 참고해주세요. [Pandas] 파이썬 결측치 확인 방법 : isnull, notnull 판다스 데이터프레임 NaN 값 위치, 개수 확인 안녕하세요. 이번 시간에는 파이썬 판다스 라이브러리에서 데이터프레임 내의 결측값 행을 확인하고, 각 열 별로 결측치의 개수를 세는 방법을 isnull jimmy-ai.tistory.com 참고로 이 글은 pan..

판다스 데이터프레임 NaN 값 위치, 개수 확인 안녕하세요. 이번 시간에는 파이썬 판다스 라이브러리에서 데이터프레임 내의 결측값 행을 확인하고, 각 열 별로 결측치의 개수를 세는 방법을 isnull, notnull 함수의 사용법을 기준으로 간략하게 설명해보도록 하겠습니다. 결측치 행 확인 : isnull 이해를 돕기 위하여, 아래와 같은 결측값을 일부 포함하는 간단한 데이터프레임이 있다고 가정해보도록 하겠습니다. import pandas as pd import numpy as np a = {'A' : [np.nan, 2, 3, 4, 5, np.nan], 'B' : ['a', 'a', np.nan, 'b', 'b', 'b'], 'C' : [np.nan, 1.5, -0.3, np.nan, 4.2, np.na..

파이썬 filter 함수 사용법 경우의 수 파이썬 기본 내장 함수 중 하나인 filter 함수의 기본적인 구조는 다음과 같습니다. filter(필터링 조건 함수(lambda 또는 def 정의), 필터링을 적용할 리스트 혹은 튜플 등 자료형) filter 함수의 원리는 순회가능한 원소 각각에 필터링 조건을 검사하여 조건을 만족하는 원소들만 모아 결과를 반환하는 것입니다. 예제를 살펴보며 더 자세한 사용 방법을 익혀보도록 하겠습니다. filter 함수 예제 1 : lambda를 이용한 필터링 가장 기본적인 람다 조건을 이용한 필터링의 경우를 살펴보겠습니다. 예를 들어, 정수로 구성된 리스트 원소들 중 4의 배수만을 골라서 반환하고 싶은 경우는 아래 예시 코드처럼 작성해주시면 됩니다. # filter(람다 조..

apex 라이브러리 설치 중 metadata egg_info 오류 디버깅 nvidia github 사이트에서 apex 패키지를 설치하는 과정 중 아래와 같은 오류가 발생했습니다. egg_info가 성공적으로 실행되지 않았다고 나오면서, 앞 부분에는 error : subprocess-exited-with-error 오류와 같이 note : This error is originates from a subprocess, and is likely not a problem with pip. 으로 pip 문제가 아니라는 메시지가 출력되고, 아래쪽에서는 error : metadata-generation-failed 오류와 함께 note : This is an issue with the package mentioned..

파이토치 DataLoader RuntimeError 디버깅 이번에 겪었던 오류 메시지는 다음과 같았습니다. Traceback (most recent call last): ~~~ RuntimeError: Caught RuntimeError in DataLoader worker process 0. Original Traceback (most recent call last): ~~~ RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the 'spawn' start method 오류 원인 아주 세밀한 원인까지는 파악하지 못했으나, torch의 dataloader 객체에..

티스토리 개발 블로그 일 1,000명 후기, 애드센스 수익 안녕하세요. 지미뉴트론 개발일기 블로그 저자입니다. 개발 블로그를 운영 이래로 첫 네 자릿수 일 방문자 달성을 한 기념으로 달성 과정과 현재 애드센스 수익에 대하여 간단히 말씀드려보는 시간을 가져보려합니다. 이 글이 개발 블로그를 비롯한 여러 종류의 티스토리 블로그를 운영하시는데 좋은 참고자료가 되셨으면 하는 마음으로 글 작성을 시작해보겠습니다. 개발 블로그 유입 경로 분석 개발 블로그는 확실히 다음, 네이버 유입은 적은 편인 듯 합니다. 코딩 관련 글을 검색하는 경우에는 구글 검색엔진을 주로 이용하다보니, 구글에 등재되는 글 순위가 확실히 유입자 수에 큰 영향을 끼치는 것으로 생각됩니다. 제 경우 구글 검색의 유입 비중이 블로그 운영 기간동안 ..

np.random.binomial 함수 사용법과 중심 극한 정리 예시 파이썬 넘파이 라이브러리에서 이항분포를 따르는 표본을 추출하고, 반복 시행 표본의 결과가 정규분포와 가까워지는 것을 시각화해보는 예시를 살펴보겠습니다. 넘파이 이항분포 표본 추출 방법 이항분포의 특징은 동전 던지기 혹은 강화 성공/실패 등의 상황을 생각하시면 이해가 쉽습니다. 20번 동전 던지기에서 앞면이 나오는 횟수를 샘플링한다고 가정해보겠습니다. 이 경우 횟수 n = 20, 성공률 p = 0.5 입니다. 파이썬 이항분포는 np.random.binomial 함수로 표본 추출이 가능합니다. 추출을 원하는 n, p 조건 값과 시행할 횟수인 size를 순서대로 input으로 넣어주시면 됩니다. import numpy as np n = 20..

파이썬 판다스 datetime 자료형 변환 및 시간 형식 포맷팅 파이썬에서 데이터프레임을 열게되면 시간 정보를 담은 열은 기본적으로 아래와 같이 object 문자열 형태로 자료형이 지정되어 다루는 과정에서 어려움을 겪기도 합니다. 따라서, 이번 시간에는 해당 column의 자료형을 datetime 자료형으로 바꿔보고, 시간 정보 추출 및 날짜 형식 포맷팅을 진행하는 방법에 대해서 다루어보도록 하겠습니다. 참고로, 이 글은 캐글의 자전거 대여 예측 데이터셋의 datetime 열을 기준으로 작성되었습니다. string에서 datetime 자료형으로 전환 : pd.to_datetime() pd.to_datetime() 함수를 사용하여 시간 형식의 object 자료형 column을 datetime 형식으로 손쉽..

판다스 set_index 함수 사용법(데이터프레임 인덱스 지정) 안녕하세요. 이번 시간에는 파이썬 판다스 라이브러리에서 데이터프레임의 인덱스를 지정할 수 있는 set_index 함수의 경우의 수에 대하여 정리를 해보며 사용 방법을 익혀보도록 하겠습니다. 참고로, 이 글은 pandas 공식 document의 set_index 설명 글을 기반으로 작성되었습니다. 이해를 돕기 위하여, 아래와 같은 간단한 데이터프레임을 예시로 인덱스를 설정해보겠습니다. import pandas as pd df = pd.DataFrame({'id' : [101, 102, 103, 104], 'name' : ['aaa', 'bbb', 'ccc', 'ddd'], 'math' : [100, 85, 93, 87], 'english' :..

Microsoft Edge에서 IE 모드 사용하기 일부 사이트는 여전히 인터넷 익스플로러 브라우저 환경에 최적화되어있지만, 익스플로러 지원이 중단되면서 필요한 경우 접속이 어려워지고 있습니다. 대신, 엣지에서 여전히 인터넷 익스플로러 환경 실행을 제공하고 있어 필요한 경우에 사용하실 수 있도록 IE 모드 실행 방법을 말씀드려보도록 하겠습니다. 1. Edge 접속 후 점 세개 클릭 엣지에 접속해서 오른쪽 상단의 점 세개 모양을 클릭합니다. 2. 설정 탭 들어가기 점 세개 모양 클릭 후 등장하는 탭 중 아래쪽의 설정 탭을 클릭합니다. 3. 기본 브라우저 탭 설정 좌측에서 기본 브라우저 항목을 찾은 뒤, IE 항목 로드를 허용으로 바꾸고, 아래의 다시 시작을 눌러 엣지를 다시 실행시켜줍니다. 4. 브라우저 디..