지미뉴트론 개발일기

Python Sparse Matrix 파이썬에서 0의 비중이 높은 행렬인 희소 행렬을 효율성을 위하여 3가지 대표 방법인 CSR, COO, DOK 방법으로 변환할 수 있는 Scipy의 기능을 살펴보고 배열 역변환 및 연산에 관한 예제도 같이 정리해보도록 하겠습니다. 희소 행렬 변환 방법(CSR, COO, DOK) 먼저, CSR, COO, DOK의 3가지 희소 행렬 표현 방법에 대해서 간략하게 설명하겠습니다. CSR : 각 row별로 0이 아닌 개수의 누적합을 이용해서 어느 행에 속하는지를 추적하고, 인덱스 번호(열의 위치)는 따로 저장하여 각 데이터가 저장된 위치를 찾는 방식입니다. 참고로, CSR은 연산이 빠르다는 장점 덕분에 많이 사용되는 방식입니다. COO : 0이 아닌 데이터가 저장된 위치의 ro..

Python에서 표본 집단의 신뢰 구간을 간략하게 구하는 방법을 정리해보고 막대 그래프에서 신뢰 구간 부분을 시각화하는 방법도 같이 살펴보겠습니다. 예시로 아래와 같이 두 샘플에 대한 값이 있다고 가정해보도록 하겠습니다. sample1 = [5, 10, 17, 29, 14, 25, 16, 13, 9, 17] sample2 = [21, 22, 27, 19, 23, 24, 20, 26, 25, 23] 파이썬 신뢰 구간 구하기 함수 : scipy.stats.t.interval 각 샘플에 대하여 자유도, 표본 평균 및 표준 오차를 구하고, scipy.stats.t.interval 메소드 내에 신뢰 수준 및 위에서 구한 세 가지 값을 순서대로 input으로 주시면 신뢰 구간을 손쉽게 구하실 수 있습니다. samp..

Python t검정, 회귀 분석 p value 값 구하기 방법 요약 파이썬에서 p-value 값을 계산해내는 방법들을 t-test와 회귀 분석의 경우에 대하여 간략하게 정리해보도록 하겠습니다. p-value 값 찾기 : t-검정의 경우 ttest 함수 실행 후 반환 결과의 1번 인덱스(두 번째) 값에 p-value가 들어있으므로, 해당 값을 인덱싱해주시면 됩니다. from scipy import stats import numpy as np X = np.random.random(50) # 데이터 가정 # X의 평균이 0인 경우에 대한 p-value stats.ttest_1samp(X, 0)[1] # 4.530894030802283e-17 # X의 평균이 0.5인 경우에 대한 p-value stats.tte..

파이썬 정규분포 확률밀도함수 관련 값 추출 방법 파이썬에서 Scipy의 기능을 통해 정규분포를 정의하고, 정의된 분포 내에서 특정 위치의 확률밀도함수, 누적분포함수 및 백분위수 값을 각각 pdf, cdf 및 ppf 메소드를 활용해 찾는 방법에 대하여 다루어보겠습니다. Scipy 정규분포 객체 정의 방법 정규분포의 확률밀도함수를 찾기 위하여 먼저 정규분포 객체를 정의해주어야 합니다. 이는 scipy.stats.norm 함수 내에 loc = 평균, scale = 표준편차 형태로 지정해주시면 됩니다. import scipy.stats # 평균 = 100, 표준편차 = 50인 정규분포 객체 정의 norm_dist = scipy.stats.norm(loc = 100, scale = 50) 확률밀도함수 값 탐색 :..

파이썬 T-test 예제 안녕하세요. 이번 시간에는 파이썬 Scipy 라이브러리를 활용하여 단일, 독립 및 대응표본의 각 경우에 대해서 t 검정을 진행하는 방법을 다루어보도록 하겠습니다. 단일표본 t 검정 : stats.ttest_1samp 먼저, 1개의 표본의 모평균을 검정하는 단일표본 T-test의 예시를 살펴보겠습니다. 아래와 같이 0~1의 균일분포에서 랜덤 추출한 값에 100을 곱한 100개의 데이터가 있다고 가정해보고, 이 집단의 모평균을 검정해보도록 하겠습니다. import numpy as np a = np.random.random(100) * 100 # 앞의 5개 값 예시 a[:5] # array([70.20398434, 44.41203954, 85.43068622, 29.52316572, ..

파이썬 상관계수 함수 종류 및 사용법 안녕하세요. 이번 글에서는 파이썬의 scipy 패키지를 이용하여 두 데이터의 피어슨 및 스피어만 상관계수 그리고 kendall 상관계수를 손쉽게 구하는 방법에 대하여 살펴보도록 하겠습니다. 먼저, 아래와 같이 0~9 숫자의 x1 데이터와 0~9의 제곱수에 2를 나눈 x2 데이터가 있다고 가정해보도록 하겠습니다. import numpy as np import matplotlib.pyplot as plt x1 = np.arange(10) x2 = x1 ** 2 / 2 plt.scatter(x1, x1, color = 'red', label = 'x1', alpha = 0.55) plt.scatter(x1, x2, color = 'blue', label = 'x2', al..