4 Fri

현업 실무자에게 배우는 Kaggle 머신러닝 입문

고급 pandas 함수들 - concat, groupby, query

concat

• index를 기준으로 여러 개의 dataframe을 병합한다

• index가 다를 경우 df.rename() 을 사용해 인덱스나 컬럼을 변경할 수 있다

• 두 데이터 프레임에 서로 없는 데이터는 Nan 으로 표현된다

• axis = 0 : 기본값이며, 행 방향 ↓ 으로 병합한다

• axis = 1 : 열 방향 → 으로 병합한다

groupby(by=집계대상, axis=집계축)

• 인덱스나 컬럼의 값 별로 그룹핑할 수 있으나 보통 인덱스로 그룹핑하여 Aggregation(집계)한다.

• axis 는 생략 가능하며 기본 값은 행 방향 집계이다.

• 집계 이후 sum, max, count, mean 등의 함수를 사용한다.

query(작성한 쿼리문)

• dataframe을 쿼리문으로 필터링한다.

• df.query('column == 5') 또는 df.query('column == "운송"') 처럼 쓸 수 있다.

  • 숫자 같은 경우는 그냥 쓰며 문자열인 경우는 큰 따옴표를 사용한다.

  • 작은 따옴표 안 and 나 or 를 사용해서 묶을 수 있다.

고급 pandas 함수 실습

<연습문제 >

my_concat_df에서 업종이 '음식료 및 담배'인 레코드를 출력해보세요

my_concat_df.query('Sector == "음식료_및_담배"')

그래프를 그리는 plotting 도구 - matplotlib, seaborn

판다스에는 matplotlib으로 그래프를 그리는 기능이 내장되어 있다.

• Series.plot()

• DataFrame.plot()

주요 Plot 옵션

• figsize : 그래프 크기

• kind : 그래프 종류

  • ex) scatter, bar

• title : 제목

• xlabel : x축 제목

• ylabel : y축 제목

• legend : 범례

• grid : 격자

  • grid=True : 그래프 뒤에 백지가 아닌 격자가 생긴다

• rot : 눈금 회전

• subplots : 복수 그래프

  • subplots=True : 원래는 한 그래프안에 여러 선이 그어지게 되는데, subplots이 True가 되면 각자의 그래프에 한 선이 그어지게 된다

seaborn으로 데이터 분포 살펴보기

• 데이터의 통계적인 부분을 살펴볼 때 matplotlib에 비해 쉽고 간편하다.

• 보통 sns 이라는 약어로 사용한다

  • import seaborn as sns

• sns.load_dataset('tips')

  • 내장 데이터셋 불러오기

• sns.countplot

  • 데이터 수를 세는 countplot

• sns.boxplot

  • 4분위 도표

• sns.scatterplot

  • 두 변수 관계를 점찍어 그리기

• sns.jointplot

  • 두 변수 관계를 점과 분포로 보기

• hue 인자 사용

  • 그래프 내에서 또 다른 group으로 나눌 수 있다.

• sns.violinplot

  • 바이올린 모양의 그래프

• sns.distplot

  • 데이터의 분포가 그려진 막대 그래프

  • kde=True : 선그래프가 추가된다

  • rug=True : 데이터의 분포도가 추가된다.

matplotlib, seaborn 실습

<연습문제>

trafic_data에서 '중고나라'의 일자별 Bar 그래프를 그려보세요

trafic_data.loc[:,'중고나라'].plot(kind='bar')

<연습문제>

성별 별로, 팁을 준 횟수를 차트로 그려보세요

sns.countplot(data=tips, x='sex');