[필수 과제] Data Preprocessing

210906

1. Spacy를 이용한 영어 전처리

import spacy
spacy_en = spacy.load('en')

고급 자연어 처리를 위한 파이썬 오픈소스 라이브러리이다. 영어의 경우 토큰화를 사용하는 대표적인 도구 중 하나이며 그 외에는 NLTK가 있다. 한국어는 지원하지 않는다.

nlp = spacy.load('en_core_web_sm')

en_core_web_sm
- en_core : consist of english language
- web : written web text
  - blog, news, comments
- sm : small

1.1 Tokenization

내용 없음

1.2 불용어 (Stopword)

불용어(Stop word)는 분석에 큰 의미가 없는 단어를 지칭한다. 예를 들어 the, a, an, is, I, my 등과 같이 문장을 구성하는 필수 요소지만 문맥적으로 큰 의미가 없는 단어가 이에 속한다.

spacy_stopwords = spacy.lang.en.stop_words.STOP_WORDS
for stop_word in list(spacy_stopwords)[:30]:
  print(stop_word)

can
should
herein
whence
more
which
via
therefore
before
from
very
into
beyond
whereafter
‘d
moreover
their
then
's
enough
‘m
and
our
when
done
hereafter
hers
whoever
made
fifteen

spacy에서 지정한 불용어들은 다음과 같다. 내가 보기엔 불용어가 아닌 것 같은 단어도 있는 것 같다.

stopword_text = [token for token in text if not token.is_stop]
print(stopword_text)

[film, development, began, Marvel, Studios, received, loan, Merrill, Lynch, April, 2005, ., success, film, Iron, Man, 2008, ,, Marvel, announced, Avengers, released, July, 2011, bring, Tony, Stark, ,, Steve, Rogers, ,, Bruce, Banner, ,, Thor, Marvel, previous, films, ., signing, Johansson, Natasha, Romanoff, March, 2009, ,, film, pushed, 2012, release, ., Whedon, brought, board, April, 2010, rewrote, original, screenplay, Zak, Penn, ., Production, began, April, 2011, Albuquerque, ,, New, Mexico, ,, moving, Cleveland, ,, Ohio, August, New, York, City, September, ., film, 2,200, visual, effects, shots, .]

spacy로 만들어진 token들은 is_stop 이라는 속성을 가지며 이 값이 True일 경우 불용어에 해당한다. 위 코드는 불용어가 아닌 토큰들을 출력하는 코드

1.3 Lemmatization

표제어 추출이라고 하며, 단어의 어간을 추출하는 작업을 의미한다. 마치 study, studied, studying 에서 study라는 어간을 추출하는 것과 같다.

for token in text[:20]:
  print (token, "-", token.lemma_)

The - the
film - film
's - 's
development - development
began - begin
when - when
Marvel - Marvel
Studios - Studios
received - receive
a - a
loan - loan
from - from
Merrill - Merrill
Lynch - Lynch
in - in
April - April
2005 - 2005
. - .
After - after
the - the

1.4 그외 token class의 attributes

print("token \t is_punct \t is_space \t shape_ \t is_stop")
print("="*70)
for token in text[21:31]:
  print(token,"\t", token.is_punct, "\t\t",token.is_space,"\t\t", token.shape_, "\t\t",token.is_stop)

is_punct : 문장부호에 해당하는 지
is_space : 공백에 해당하는지
shape : 글자수를 특정 문자의 연속체로 표현하며 각 특정 문자는 다음과 같은 의미가 있다.
- x : 소문자
- X : 대문자
- d : 숫자
- , : 기호

빈칸완성 과제 1

def is_token_allowed(token):
# stopword와 punctutation을 제거해주세요.

  #if문을 작성해주세요.
  
  ##TODO#
  if token.is_stop or token.is_punct:
  ##TODO##
    return False
  return True

def preprocess_token(token):
  #lemmatization을 실행하는 부분입니다. 
  return token.lemma_.strip().lower()

filtered_tokens = [preprocess_token(token) for token in text if is_token_allowed(token)]
answer=['film', 'development','begin', 'marvel','studios', 'receive','loan', 'merrill','lynch', 'april','2005', 'success','film', 'iron','man', '2008','marvel','announce', 'avengers','release', 'july','2011', 'bring','tony', 'stark','steve', 'rogers','bruce', 'banner','thor', 'marvel','previous', 'film','signing', 'johansson','natasha','romanoff','march','2009','film','push','2012','release','whedon','bring','board','april','2010','rewrote','original','screenplay','zak','penn','production','begin','april','2011','albuquerque','new','mexico','move','cleveland','ohio','august','new','york','city','september','film','2,200','visual','effect','shot']
assert filtered_tokens == answer

2. 한국어 전처리

2.1 Mecab을 이용한 형태소 분석 기반 토크나이징

!git clone https://github.com/SOMJANG/Mecab-ko-for-Google-Colab.git
%cd Mecab-ko-for-Google-Colab
!bash install_mecab-ko_on_colab190912.sh

Mecab은 Tokenizer 도구 중 하나이며 오픈 소스 형태소 분석 엔진이다. 이 중 Mecab-ko-dic은 한국어 형태소 분석을 하기 위한 프로젝트이다.

from konlpy.tag import Mecab
import operator
tokenizer = Mecab()

Mecab은 konlpy 패키지와 eunjoen 패키지에 존재한다. 여기서는 konlpy 패키지를 사용했다.
operator 는 파이썬의 내장 연산자에 해당하는 효율적인 함수 집합을 반환한다.
- operator.add(x, y)는 x+y와 동등한 표현이다.
- 여기서는 operator.itemgetter 를 사용하기 위해 임포트했다.
  - 이는 주로 sorted와 같은 함수의 key 매개변수에 적용되어 다중 수준의 정렬을 가능하게 해주는 모듈이다.
  - 다음 예시로 살펴보자. 예시 참고 링크

from operator import itemgetter

students = [
    ("jane", 22, 'A'),
    ("dave", 32, 'B'),
    ("sally", 17, 'B'),
]

result = sorted(students, key=itemgetter(1))
print(result)

[('sally', 17, 'B'), ('jane', 22, 'A'), ('dave', 32, 'B')]

나이 순서대로 sort된 모습. itemgetter(2) 로 사용하면 성적순으로 정렬될 것이다. 대신에 lambda x : x[1] 과 같이도 사용할 수 있다.
해당 item이 클래스의 객체일 경우는 attrgetter 를 사용해야 한다.

2.2 음절 단위 토크나이징 실습

내용 없음

빈칸완성 과제 2

vocab_dict={}
for token in tokens:
  ##TODO##
  '''
  vocab_dict에 token을 key로 빈도수를 value로 채워넣으세요.
  예시) vocab_dict={"나":3,"그":5,"어":3,...}
  '''
  if token not in vocab_dict:
      vocab_dict[token] = 0
  vocab_dict[token] += 1
  ##TODO##
  
  sorted_vocab = sorted(vocab_dict.items(), key=operator.itemgetter(1),reverse=True)
  
vocab=[]
for token,freq in sorted_vocab:
  ##TODO##
  '''
  정렬된 sorted_vocab에서 빈도수가 2 이상인 token을 vocab에 append하여 vocab을 완성시키세요.
  '''
  if freq < 2:
      continue
  vocab.append(token)
  ##TODO##

answer=[' ','이',',','나','에','다','니','별','는', '하', '.', '아', '름', '을', '의', '과', '가', '은', '어', '지', '들', '리', '무', '머', '도', '까', '닭', '내', '러', '계', '습', '듯', '새', '랑', '시', "'", '멀', '그', '고', '위', '자', '로', '있', '속', '둘', '겨', '오', '요', '밤', '입', '사', '쓸', '경', '님', '운', '한', '마', '디', '불', '봅', '소', '런', '벌', '써', '기', '노', '스', '라', '너', '인', '워', '언', '덕']

Previous[선택 과제] BERT Fine-tuning with transformers NextMask Wear Image Classification

Last updated 3 years ago

Was this helpful?