지미뉴트론 개발일기

파이썬으로 코딩을 진행할 때, for문 작업이나 pandas의 apply 작업 등 반복 작업을 실행할 때, 현재 몇%가 진행되었고, 얼마나 시간이 더 소요될지에 대한 진행률, 진행시간을 알고 싶을 때가 있을 것입니다. 이번 포스팅에서는 반복 작업에 대한 진행 상황을 알려주는 tqdm 라이브러리를 소개하고 pandas의 apply 함수에도 적용할 수 있는 방법까지 알려드리도록 하겠습니다. tqdm 라이브러리 우선, 라이브러리 설치 과정은 매우 간단합니다. 콘솔창이나 아나콘다, 혹은 주피터 노트북 상에 pip install tqdm 혹은 conda install tqdm이라고 입력해주시면 됩니다. 사용법은 다음 두 코드를 비교해보시면 됩니다. j = 0 for i in range(10000000): j +=..

이번 포스팅에서는 pandas 내 데이터프레임에서 인덱싱을 하는 loc, at과 iloc, iat 함수의 차이를 분석해보도록 하겠습니다. 데이터 프레임으로는 kaggle의 타이타닉 데이터셋을 활용하여 예시를 들어보도록 하겠습니다. loc, at 분석 이 두 함수에서 인덱싱을 하는 여러 경우에 대하여 가능 여부를 살펴보도록 하겠습니다. 1) 단일 데이터 인덱싱 예를 들어, 'Pclass' 열의 100번 인덱스를 가지는 행의 값을 찾는 경우 두 함수 모두 정상 작동하는 것을 확인할 수 있습니다. 2) 한 column 내 범위 인덱싱 예를 들어, 'Pclass' 열의 100~102번 인덱스를 가지는 행들의 값을 찾는 경우 loc 함수는 정상 작동되지만, at 함수는 지원하지 않는 기능이라 ValueError가..

Groupby 함수, 멀티인덱스 파이썬 데이터 분석 툴인 Pandas를 사용하다보면 groupby 기능을 자주 사용하게 되고, 두 가지 이상의 범주로 groupby를 실행한 경우, 자동으로 멀티인덱스가 적용되어, 다음과 같이 뭉쳐있는 데이터 프레임의 형태를 살펴볼 수 있다. 해당 데이터 셋은 kaggle에서 제공하는 타이타닉 데이터셋을 사용하였고, 다음과 같이 Pclass와 Survived 열로 groupby를 실행한 결과이다. df = pd.DataFrame(train.groupby(['Pclass', 'Survived'])['Name'].count()) 우리는 다음과 같이 각 행이 나누어져있고, 인덱스가 초기화된 결과를 얻고 싶을 때가 있다. 이후 인덱싱이나 다른 작업에 넘길때 일반 데이터프레임처럼 ..

이번 포스팅에서는 프로그램 설치 없이 가상 환경에서 코딩을 시작해볼 수 있는 Google Colaboratory(Colab) 사이트의 사용 방법에 대해서 알려드리도록 하겠습니다. Colab 장점 코랩 환경의 장점은 나중에 머신 러닝에 활용하는 등 메모리나 GPU 자원을 필요로 할 때, 구글 측에서 무료로 제공하는 컴퓨터 자원을 활용할 수 있다는 장점이 있습니다. 또한 기본적으로 설치되어있는 패키지(Tensorflow, Pytorch etc...)가 많아 데이터 분석이나 딥러닝 실습 등에서 환경 세팅의 번거로움을 줄여줄 수 있다는 큰 장점이 있습니다. Python만 제공 앞에서 포스팅했던 구름 IDE나 repl.it와는 달리 Colab 환경에서는 Python 실습만이 가능하다는 단점이 있습니다. 그러나 파..

지난 구름 IDE 포스팅에 이어 이번에는 프로그램 설치 없이 가상의 환경에서 코딩을 진행할 수 있는 또 다른 사이트인 repl.it에 대해서 소개해드리도록 하겠습니다. 구름 IDE와 마찬가지로 Python 뿐 아니라 C언어, C++ 등 여러 언어도 지원하는 환경이라 다양한 언어의 프로그래밍을 처음 시작하는 단계에서 큰 이점을 볼 수 있습니다. 우선 홈페이지 주소는 매우 간단합니다. 주소창에 repl.it를 입력하신 뒤 접속을 해주시면 됩니다. repl.it 접속하기 사이트에 처음 접속하시면 다음과 같이 창이 뜨는데요, 오른쪽 상단에 Sign up을 하시기 전에 Log in을 바로 클릭해주셔도 좋습니다. 로그인을 클릭해주시면 다음과 같이 창이뜨는데요, 구글, 깃허브 혹은 페이스북 계정이 이미 있으시다면 따..

코딩 입문 Python을 비롯한 여러 프로그래밍 언어의 코딩을 처음 시작하실 때, 컴퓨터 내에 코딩 환경을 구축하는 방법은 파이썬 같은 경우는 먼저 파이썬을 설치하고, 아나콘다에서 환경을 세팅하고 주피터 노트북을 설치한 뒤에 자신이 원하는 패키지들을 설치하여 사용하시게 되고, 이는 다른 언어에서도 마찬가지입니다. 물론, 자신이 원하는 환경이 있는 경우 로컬 컴퓨터 환경 내에 세팅을 완료해주시는 것이 좋습니다. 다만, 코딩을 처음 접하는 상황이거나, 로컬 컴퓨터에서 원하는 프로그래밍 언어 설치나 특정 패키지 등을 구동하기 어려운 경우, 이미 세팅된 코딩 환경을 사용하거나 새로운 가상 환경 내에 세팅을 해주는 것이 편한 경우가 많습니다. 이번 포스팅에서는 아주 간단하게 이미 세팅된 코딩 환경을 사용할 수 있..