24 Wed

(부록) 서울시 코로나19 발생현황 데이터 수집

[1/7] 서울시 코로나 발생현황 데이터 수집 준비하기

데이터 수집 vs 크롤링

• 데이터 수집 : 웹사이트의 내용을 읽어오는 것, 스크래핑

• 크롤링 : 검색엔진이 하이퍼링크를 타고 웹 페이지의 내용을 읽어가는 것

필요 도구 설치

request : 작은 브라우저로 웹사이트를 읽어오는 목적

beautifulsoup4 : 읽어온 웹 사이트를 해석하는 목적

tqdm : 여러 페이지를 읽어올 때 진행 상태를 확인하는 목적

• 오래걸리면서 반복되는 작업을 할 때 사용하면 좋다.

[2/7] 데이터 수집 전 로봇배제표준, 저작권, 무리한 네트워크 요청 확인하기

수집해도 되는 페이지인지 확인하기

• 로봇 배제 표준 robots.txt

  • 웹 사이트에 로봇이 접근하는 것을 방지하기 위한 규약

  • 권고안이며, 접근 방지 설정을 하더라도 다른 사람들이 접근할 수 있다.

• 저작권

• 무리한 네트워크 요청

서울시 사이트 robots.txt 확인하기

• 가져가도 된다고 허용되어 있음

• 사이트 맵도 볼 수 있다

네이버 사이트 robots.txt 확인하기

User-agent: *
Disallow: /
Allow : /$ 

• 구글에서 검색이 잘 안되는 이유는 / 루트 경로 이하의 모든 정보를 거부했기 때문

• /$ 는 메인 페이지는 읽어도 된다는 뜻

저작권 확인하기

• 서울시는 공공누리 저작권

  • 별도의 허락없이 자유 이용이 가능하다

무리한 네트워크 요청

• 여러 페이지를 한 번에 읽어오면 DDOS 공격으로 의심받을 수 있다.

  • 따라서 time.sleep() 으로 간격을 두고 가져온다.

데이터 수집 방법

1. 수집 하고자 하는 페이지의 URL을 알아본다

2. 파이썬의 작은 브라우저 requests를 통해 URL에 접근한다.

3. response.status_code가 200 OK라면 정상 응답

4. request의 response값에서 response.txt만 받아온다.

5. html 텍스트를 bs(response.txt, 'html.parse')로 해석한다.

6. soup.select를 통해 원하는 태그에 접근한다.

7. 목록을 받아온다.

8. 목록에서 행을 받아온다.

9. 행을 모아 데이터프레임으로 만든다.

데이터의 위치

• 개발자 코드로 소스 코드를 보면 html 태그에 해당 내용이 있지만 read_html로 읽어올 수 없다.

[3/7] 브라우저의 네트워크탭과 JSON 파일형식 이해하기

데이터 수집

• 보통 보이지 않는 데이터를 수집하기 위해 셀레니움을 사용

• 브라우저 동작 원리를 알면 셀레니움을 사용하지 않아도 수집 가능

• 개발자 도구 - Network - XHR - URL - Preview 순서를 통해 JSON 타입으로 데이터를 확인할 수 있다.

JSON

• 제이슨, JavaScript Object Notation

• 속성-값 쌍또는 키-값 쌍으로 이루어진 데이터 오브젝트를 전달하기 위해 사용하는 개방형 표준 포맷

• 프로그래밍 언어나 플랫폼에 독립적이어서 수많은 프로그래밍 언어에서 사용할 수 있다.

• 파이썬의 판다스도 JSON을 읽고 쓸 수 있다.

서울 코로나 발생현황 데이터 수집 순서

1. 페이지별 데이터 수집

2. 전체 페이지 수집

   • 1번을 반복문을 통해서 진행

3. pd.concat 으로 데이터를 하나로 병합

4. 데이터 전처리 => html 태그 제거

5. to_csv 로 전체 데이터 병합

6. pd.read_csv 로 데이터가 잘 저장되었는지 읽어와서 확인

7. 수집 끝, 분석 시작

[4/7] 기존의 read_html 로 데이터를 읽어올 수 없는 이유와 기존의 수집방법

• 코로나 확진자가 늘어나면서 공개 방식이 달라짐

이전 코드

# 필요한 라이브러리를 불러옵니다.

import pandas as pd
import numpy as np

# 크롤링으로 가져올 url 주소를 입력합니다.

url = "http://www.seoul.go.kr/coronaV/coronaStatus.do"
url

'http://www.seoul.go.kr/coronaV/coronaStatus.do'

"""
11월 중순 이후 확진자가 증가하면서 데이터 공개 방식이 달라져서 pandas 의 read_html 로는 불러올 수가 없습니다.
기존의 read_html 로는 컬럼명을 불러오고 데이터는 requests 라는 라이브러리를 통해 읽어옵니다.
"""

'\n11월 중순 이후 확진자가 증가하면서 데이터 공개 방식이 달라져서 pandas 의 read_html 로는 불러올 수가 없습니다.\n기존의 read_html 로는 컬럼명을 불러오고 데이터는 requests 라는 라이브러리를 통해 읽어옵니다.\n'

# 판다스의 read_html 을 통해 위 url에 있는 불러옵니다.

table = pd.read_html(url)

len(table)

6

# read_html 은 사이트 내의 html 태그를 불러옵니다.

table[0]

	강남구	강동구	강북구	강서구	관악구	광진구	구로구	금천구	노원구	도봉구	동대문구	동작구	마포구
0	1441	1100	817	1732	1437	947	1117	483	1366	972	1114	1279	1007
1	+13	+5	+4	+3	+3	+3	+5	+1	+2	+2	+1	+6	+2
2	서대문구	서초구	성동구	성북구	송파구	양천구	영등포구	용산구	은평구	종로구	중구	중랑구	기타
3	796	1174	807	1332	1717	1170	1147	864	1308	596	501	1292	3460
4	+1	+2	+4	+4	+7	+4	+3	+5	+9	0	+6	+1	+1

# table 변수 안에 있는 table 태그의 값을 하나씩 읽어보며 확진자 목록이 있는 테이블을 가져옵니다.

table[1]

	강남구	강동구	강북구	강서구	관악구	광진구
0	1441	1100	817	1732	1437	947
1	+13	+5	+4	+3	+3	+3
2	구로구	금천구	노원구	도봉구	동대문구	동작구
3	1117	483	1366	972	1114	1279
4	+5	+1	+2	+2	+1	+6
5	마포구	서대문구	서초구	성동구	성북구	송파구
6	1007	796	1174	807	1332	1717
7	+2	+1	+2	+4	+4	+7
8	양천구	영등포구	용산구	은평구	종로구	중구
9	1170	1147	864	1308	596	501
10	+4	+3	+5	+9	0	+6
11	중랑구	기타	NaN	NaN	NaN	NaN
12	1292	3460	NaN	NaN	NaN	NaN
13	+1	+1	NaN	NaN	NaN	NaN

# 미리보기 합니다.

df = table[3]
df.head()

	연번	환자	확진일	거주지	여행력	접촉력	퇴원현황

바뀐 코드

import requests

# f-string
url = "https://news.seoul.go.kr/api/27/getCorona19Status/get_status_ajax.php?draw=1"
# url = f"{url}&columns%5B0%5D%5Bdata%5D=0&columns%5B0%5D%5Bname%5D=&columns%5B0%5D%5Bsearchable%5D=true&columns%5B0%5D%5Borderable%5D=true&columns%5B0%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B0%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B1%5D%5Bdata%5D=1&columns%5B1%5D%5Bname%5D=&columns%5B1%5D%5Bsearchable%5D=true&columns%5B1%5D%5Borderable%5D=true&columns%5B1%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B1%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B2%5D%5Bdata%5D=2&columns%5B2%5D%5Bname%5D=&columns%5B2%5D%5Bsearchable%5D=true&columns%5B2%5D%5Borderable%5D=true&columns%5B2%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B2%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B3%5D%5Bdata%5D=3&columns%5B3%5D%5Bname%5D=&columns%5B3%5D%5Bsearchable%5D=true&columns%5B3%5D%5Borderable%5D=true&columns%5B3%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B3%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B4%5D%5Bdata%5D=4&columns%5B4%5D%5Bname%5D=&columns%5B4%5D%5Bsearchable%5D=true&columns%5B4%5D%5Borderable%5D=true&columns%5B4%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B4%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B5%5D%5Bdata%5D=5&columns%5B5%5D%5Bname%5D=&columns%5B5%5D%5Bsearchable%5D=true&columns%5B5%5D%5Borderable%5D=true&columns%5B5%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B5%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B6%5D%5Bdata%5D=6&columns%5B6%5D%5Bname%5D=&columns%5B6%5D%5Bsearchable%5D=true&columns%5B6%5D%5Borderable%5D=true&columns%5B6%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B6%5D%5Bsearch%5D%5Bregex%5D=false&order%5B0%5D%5Bcolumn%5D=0&order%5B0%5D%5Bdir%5D=desc"
url = f"{url}&start=0&length=100"
# "&search%5Bvalue%5D=&search%5Bregex%5D=true&_=1606633538547"
url

'https://news.seoul.go.kr/api/27/getCorona19Status/get_status_ajax.php?draw=1&start=0&length=100'

• url이 너무 길기 때문에 f-string을 이용하여 자른다

• 중요한 부분은 draw와start

  • draw 는 페이지 번호

  • start 는 테이블 번호

response = requests.get(url)
data_json = response.json()
# pd.DataFrame(data_json["data"])

• requests.get 을 통해 url 을 가져오고 이를 json 형태로 변환

records_total = data_json['recordsTotal']
records_total

10976

end_page = round(records_total / 100) + 1
end_page

111

• 현재는 10976명, 111 페이지 2021.03.23

data = data_json["data"]

# data

pd.DataFrame(data)

	0	1	2	3	4	5	6
0	<p class='corona19_no'>30976</p>	99355	2021-03-22	용산구	-	감염경로 조사중	<b class=''></b>
1	<p class='corona19_no'>30975</p>	99325	2021-03-22	도봉구	-	타시도 확진자 접촉	<b class=''></b>
2	<p class='corona19_no'>30974</p>	99409	2021-03-22	영등포구	-	감염경로 조사중	<b class=''></b>
3	<p class='corona19_no'>30973</p>	99415	2021-03-22	광진구	-	감염경로 조사중	<b class=''></b>
4	<p class='corona19_no'>30972</p>	99394	2021-03-22	강북구	-	감염경로 조사중	<b class=''></b>
...	...	...	...	...	...	...	...
95	<p class='corona19_no'>30881</p>	99100	2021-03-22	마포구	-	타시도 확진자 접촉	<b class=''></b>
96	<p class='corona19_no'>30880</p>	99095	2021-03-22	마포구	-	감염경로 조사중	<b class=''></b>
97	<p class='corona19_no'>30879</p>	98120	2021-03-20	중구	-	기타 확진자 접촉	<b class=''></b>
98	<p class='corona19_no'>30878</p>	99016	2021-03-21	강북구	-	기타 확진자 접촉	<b class=''></b>
99	<p class='corona19_no'>30877</p>	98966	2021-03-21	마포구	-	기타 확진자 접촉	<b class=''></b>

100 rows × 7 columns

• 1~6은 연번, 환자, 확진일 등의 정보

• html 태그가 있는 것으로 보아 전처리 필요

• 해당 페이지는 100개의 테이블만 가지고 왔고 이를 반복해서 가지고 오기 위해 함수 필요

[5/7] 네트워크 탭을 보는 방법과 수집할 URL 찾고 요청하기

함수로 만들기

def get_seoul_covid19_100(page_no):
    """
    page_no : 입력값으로 페이지 번호를 입력하면 해당 번호의 데이터를 가져옴
    start_no : 입력받은 page_no로 시작 번호를 의미
    """
    start_no = (page_no - 1) * 100
    url = f"https://news.seoul.go.kr/api/27/getCorona19Status/get_status_ajax.php?draw={page_no}"
    url = f"{url}&order%5B0%5D%5Bdir%5D=desc&start={start_no}&length=100"
    response = requests.get(url)
    data_json = response.json()
    return data_json

# 데이터가 있 때 
# get_seoul_covid19_100(3)

# 데이터가 없을 때 
get_seoul_covid19_100(-1)

{'data': [], 'draw': -1, 'recordsFiltered': 10976, 'recordsTotal': 10976}

• 데이터가 있어도 잘 가져오고, 데이터가 없어도 [] 를 반환하기 때문에 예외처리가 필요 없음

  • 에러가 나지 않기 때문에 예외처리가 필요 없지만, 할 필요는 있음

[6/7] 전체 데이터를 수집하는 함수를 만들고 반복문으로 전체 데이터 수집하기

전체 데이터 가져오기

tqdm

• tqdm documentation
• 오래 걸리는 작업의 진행상태를 표시해 줍니다.

• 별도의 설치가 필요 합니다.

• !pip install tqdm 으로 설치가 필요합니다.

# !pip install tqdm

# time.sleep 으로 시차를 두기 위해
import time
# tqdm : 진행상태를 표시하기 위해
from tqdm import trange

# # 주석처리 : ctrl + /
# page_list = []
# for page_no in trange(1, 4):
#     one_page = get_seoul_covid19_100(page_no)
#     if len(one_page["data"]) > 0:
#         one_page = pd.DataFrame(one_page["data"])
#         page_list.append(one_page)
#         time.sleep(0.5)
#     else:
#         break

# page_list

# pd.concat(page_list)

• 의심을 피하기 위해 time 사용

• trange 를 쓰면 진행상황을 시각적으로 볼 수 있음

# 전체 페이지를 가져오기 전에 일부 페이지만 실행
page_list = []
# 데이터가 제대로 로드 되는지 앞부분 3페이지 정도만 확인하고 전체페이지를 가져오록 합니다.
# 처음부터 전체 페이지를 수집하면 중간에 오류가 나도 찾기가 어렵습니다.
# 일부만 우선 가져와 보고 잘 동작한다면 전체를 가져오도록 합니다.
all_page = 3
for page_no in trange(all_page + 1):
    one_page = get_seoul_covid19_100(page_no)
    one_page = pd.DataFrame(one_page["data"])
    page_list.append(one_page)
    # 서버에 한번에 너무 많은요청을 보내면 서버에 부담이 됩니다.
    # 서버에 부담을 주지 않기 위애 0.5초씩 쉬었다 가져옵니다.
    time.sleep(0.5)

100%|██████████| 4/4 [00:05<00:00,  1.43s/it]

# 가져온 데이터가 맞는지 확인 너무 많을 수 있기 때문에 슬라이싱으로 잘라서 보기
pd.concat(page_list)

	0	1	2	3	4	5	6
0	<p class='corona19_no'>30976</p>	99355	2021-03-22	용산구	-	감염경로 조사중	<b class=''></b>
1	<p class='corona19_no'>30975</p>	99325	2021-03-22	도봉구	-	타시도 확진자 접촉	<b class=''></b>
2	<p class='corona19_no'>30974</p>	99409	2021-03-22	영등포구	-	감염경로 조사중	<b class=''></b>
3	<p class='corona19_no'>30973</p>	99415	2021-03-22	광진구	-	감염경로 조사중	<b class=''></b>
4	<p class='corona19_no'>30972</p>	99394	2021-03-22	강북구	-	감염경로 조사중	<b class=''></b>
...	...	...	...	...	...	...	...
95	<p class='corona19_no'>30681</p>	98407	2021-03-20	성북구	-	감염경로 조사중	<b class=''></b>
96	<p class='corona19_no'>30680</p>	98373	2021-03-20	동대문구	-	기타 확진자 접촉	<b class=''></b>
97	<p class='corona19_no'>30679</p>	98386	2021-03-20	강북구	-	기타 확진자 접촉	<b class=''></b>
98	<p class='corona19_no'>30678</p>	98291	2021-03-20	성북구	-	노원구 소재 공공기관 관련	<b class=''></b>
99	<p class='corona19_no'>30677</p>	98400	2021-03-20	성북구	-	타시도 확진자 접촉	<b class=''></b>

300 rows × 7 columns

def get_multi_page_list(start_page, end_page = 80):
    # 데이터가 제대로 로드 되는지 앞부분 3페이지 정도만 확인하고 전체페이지를 가져오록 합니다.
    
    page_list = []
    for page_no in trange(start_page, end_page + 1):
        one_page = get_seoul_covid19_100(page_no)
        if len(one_page["data"]) > 0:
            one_page = pd.DataFrame(one_page["data"])
            page_list.append(one_page)
            # 서버에 한번에 너무 많은요청을 보내면 서버에 부담이 됩니다.
            # 서버에 부담을 주지 않기 위애 0.5초씩 쉬었다 가져옵니다.
            time.sleep(0.5)
        else:
            # 수집된 값이 없다면 False를 반환합니다.
            # False 반환 시 수집한 리스트를 반환하도록 합니다.
            return page_list
    return page_list

• one_page["data"] 가 0이하면 ValueError가 발생하므로 예외처리

# 따로 설정하지 않으면 end_page 변수에 들어있는 숫자가 마지막 페이지가 됩니다.
end_page

111

# 시작페이지와 끝페이지를 꼭 확인해 주세요.
start_page = 1
# end_page = 88
page_list = get_multi_page_list(start_page, end_page)
# 데이터가 너무 많기 때문에 슬라이싱으로 1개만 미리보기
page_list[:1]

 99%|█████████▉| 110/111 [02:53<00:01,  1.42s/it]

• 결과는 생략, 굉장히 많음

# concat을 통해 하나의 데이터프레임으로 합쳐줍니다.
df_all = pd.concat(page_list)
df_all.shape

(10976, 7)

df

	연번	환자	확진일	거주지	여행력	접촉력	퇴원현황

# read_html 로 읽어온 3번째 테이블의 컬럼명을 수집한 데이터의 컬럼으로 사용합니다.
cols = df.columns.tolist()
cols

['연번', '환자', '확진일', '거주지', '여행력', '접촉력', '퇴원현황']

df_all.columns = cols

df_all.head()

	연번	환자	확진일	거주지	여행력	접촉력	퇴원현황
0	<p class='corona19_no'>30976</p>	99355	2021-03-22	용산구	-	감염경로 조사중	<b class=''></b>
1	<p class='corona19_no'>30975</p>	99325	2021-03-22	도봉구	-	타시도 확진자 접촉	<b class=''></b>
2	<p class='corona19_no'>30974</p>	99409	2021-03-22	영등포구	-	감염경로 조사중	<b class=''></b>
3	<p class='corona19_no'>30973</p>	99415	2021-03-22	광진구	-	감염경로 조사중	<b class=''></b>
4	<p class='corona19_no'>30972</p>	99394	2021-03-22	강북구	-	감염경로 조사중	<b class=''></b>

df_all.shape

(10976, 7)

• 데이터를 합치고 컬럼명을 부여하는 과정

• 10976명의 데이터와 7개의 컬럼 존재

[7/7] 데이터 전처리와 저장하고 확인하기

데이터 전처리

연번과 퇴원현황

import re
def extract_number(num_string):
    if type(num_string) == str:
        num_string = num_string.replace("corona19", "")
        num = re.sub("[^0-9]", "", num_string)
        num = int(num)
        return num
    else:
        return num_string

num_string = "<p class='corona19_no'>7625</p>"
extract_number(num_string)

7625

df_all["연번"] = df_all["연번"].map(extract_number)

df_all["연번"].head()

0    30976
1    30975
2    30974
3    30973
4    30972
Name: 연번, dtype: int64

def extract_hangeul(origin_text):
    subtract_text = re.sub("[^가-힣]", "", origin_text)
    return subtract_text

extract_hangeul("<b class='status1'>퇴원</b>")

'퇴원'

extract_hangeul("<b class='status2'>사망</b>")

'사망'

extract_hangeul("<b class=''></b>")

''

# 정규표현식으로 변경하는 방법도 있고 str.contains를 사용하는 방법도 있습니다.
# df_all["퇴원현황"] = df_all["퇴원현황"].map(extract_hangeul)
# df_all["퇴원현황"].value_counts()

df_all["퇴원현황"].value_counts()

<b class='status1'>퇴원</b>    8741
<b class='status1'></b>      1524
<b class=''></b>              514
<b class='status2'></b>       104
<b class='status2'>사망</b>      93
Name: 퇴원현황, dtype: int64

df_all.loc[df_all["퇴원현황"].str.contains("퇴원"), "퇴원현황"] = "퇴원"
df_all.loc[df_all["퇴원현황"].str.contains("사망"), "퇴원현황"] = "사망"
df_all.loc[~df_all["퇴원현황"].str.contains("퇴원|사망"), "퇴원현황"] = np.nan
df_all["퇴원현황"].value_counts()

퇴원    8741
사망      93
Name: 퇴원현황, dtype: int64

last_date = df_all.iloc[0]["확진일"]
last_date

'2021-03-22'

# 마지막 확진일을 파일명에 써주기 위해 . 을 _ 로 변경합니다.
# 확장자와 구분이 쉽게 되도록 _ 로 변경합니다. 

date = last_date.replace(".", "_")
date

'2021-03-22'

# 파일명을 만들어 줍니다.
# file_name

file_name = f"seoul-covid19-{date}.csv"
file_name

'seoul-covid19-2021-03-22.csv'

# csv 파일로 저장합니다.
df_all.to_csv(file_name, index=False)

# 제대로 저장되었는지 확인합니다.
pd.read_csv(file_name)

	연번	환자	확진일	거주지	여행력	접촉력	퇴원현황
0	30976	99355	2021-03-22	용산구	-	감염경로 조사중	NaN
1	30975	99325	2021-03-22	도봉구	-	타시도 확진자 접촉	NaN
2	30974	99409	2021-03-22	영등포구	-	감염경로 조사중	NaN
3	30973	99415	2021-03-22	광진구	-	감염경로 조사중	NaN
4	30972	99394	2021-03-22	강북구	-	감염경로 조사중	NaN
...	...	...	...	...	...	...	...
10971	20005	63500	2021-01-03	구로구	-	감염경로 조사중	사망
10972	20004	63375	2021-01-03	타시도	-	감염경로 조사중	퇴원
10973	20003	64010	2021-01-03	성북구	-	타시도 확진자 접촉	퇴원
10974	20002	64155	2021-01-03	구로구	-	감염경로 조사중	퇴원
10975	20001	64083	2021-01-03	강남구	-	기타 확진자 접촉	퇴원

10976 rows × 7 columns

• re 정규표현식 라이브러리를 사용하여 전처리를 함

  • <p class='corona19_no'>30976</p> => 30976

  • [0-9] 가 아니면 빈 문자 처리 그리고 corona19도 빈 문자 처리