파이썬 으로 데이터 주무르기

by

파이썬으로 데이터 주무르기

데이터 분석에 필요한 도구로 대세를 이루고 있는 파이썬. 파이썬은 코드 작성이 간결하며 라이브러리들이 매우 다양하게 존재해서 데이터 분석에 적합한 언어로 선두를 달리고 있습니다. 이번 포스팅에서는 파이썬을 이용해서 데이터를 주무르는 방법들에 대해서 알아보겠습니다.

  1. 데이터 분석을 위한 라이브러리

데이터 분석에 사용되는 패키지에 대해서 알아보겠습니다.

  • Numpy: 수치 연산을 위한 라이브러리.

  • Pandas: 데이터 분석에 사용되는 라이브러리. Series와 DataFrame 두 가지 형태의 데이터 구조를 제공합니다.

  • Matplotlib: 데이터 시각화를 위한 라이브러리.

  • Seaborn: Matplotlib로부터 파생된 시각화 라이브러리로 데이터 분석에 적합한 다양한 그래프와 차트를 제공합니다.

  • Scikit-learn: 머신러닝 알고리즘을 사용할 때 유용한 라이브러리.

  • 데이터 읽기

Pandas 라이브러리를 사용해서 데이터 파일을 읽어오는 방법입니다.

“`python
import pandas as pd

data = pd.read_csv(‘data.csv’)
print(data.head()) # 데이터 첫 5행 출력
“`

csv 파일 외에도 excel, json, sql 데이터 파일들도 pandas를 이용해서 읽어올 수 있습니다. 각 파일마다 다른 방법으로 읽어오기 때문에 자세한 방법은 pandas 공식 문서를 참고하는 것이 좋습니다.

  1. 데이터 처리

Pandas를 사용해서 데이터를 처리하는 방법입니다.

“`python
import pandas as pd

data = pd.read_csv(‘data.csv’)

데이터 전처리

data.dropna() # 결측치 제거
data.fillna(‘unknown’) # 결측치 대체
data.groupby(‘지역’)[‘매출’].sum() # 지역별 매출 합계 제공
data.groupby(‘상품’)[‘매출’].mean() # 상품별 평균 매출 제공
“`

데이터를 전처리할 때 pandas를 사용하면 매우 쉽게 처리할 수 있습니다. 결측치나 중복된 값들을 간편하게 처리하며 특정 컬럼을 기준으로 그룹화된 데이터로 바로 변환할 수 있습니다.

  1. 데이터 시각화

Matplotlib와 Seaborn을 사용해서 데이터 시각화를 하는 방법입니다.

“`python
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

data = pd.read_csv(‘data.csv’)

막대 그래프

sns.barplot(x=’상품’, y=’매출’, data=data)
plt.show()

산점도 그래프

sns.scatterplot(x=’상품’, y=’매출’, data=data)
plt.show()

히트맵

sns.heatmap(data.corr(), annot=True, cmap=’coolwarm’)
plt.show()
“`

Matplotlib와 Seaborn으로 다양한 그래프와 차트를 그릴 수 있습니다. 이를 통해서 데이터의 패턴이나 상관관계를 빠르게 파악하는 것이 가능합니다.

  1. 머신러닝 모델링

Scikit-learn을 이용해서 머신러닝 모델링을 하는 방법입니다.

“`python
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split

data = pd.read_csv(‘data.csv’)

학습 데이터와 테스트 데이터 분리

X_train, X_test, y_train, y_test = train_test_split(data[[‘판매량’]], data[‘매출’], test_size=0.2, random_state=0)

Linear Regression 적용

regressor = LinearRegression()
regressor.fit(X_train, y_train)

예측

y_pred = regressor.predict(X_test)
“`

Scikit-learn을 이용해서 머신러닝 모델링을 할 수 있습니다. 간단한 모델일 경우 적은 양의 코드로도 빠르게 모델링할 수 있습니다.

이처럼 파이썬을 이용해서 데이터를 분석하고 처리하며 시각화하고 머신러닝 모델링까지 할 수 있습니다. 이러한 기능들은 데이터 분석을 하는 분들에게 있어서 주요한 기능들이기 때문에 파이썬을 잘 익히는 것은 매우 중요한 요소 중 하나입니다. 파이썬을 이용해서 데이터를 분석하는 것이 어려웠던 분들도 위의 자료를 통해서 데이터를 분석하는데 필요한 코딩 스킬들을 익힐 수 있을 것입니다.