21 Sun

[파이썬 딥러닝 파이토치] PART 05 NLP

01 Data & Task

자연어 처리

• Natural Language Processing

• 자연어를 이해하는 영역인 자연어 이해와 모델이 자연어를 생성하는 영역인 자연어 생성으로 나눠 표현하기도 한다

  • NLU : Understanding

    • 주어진 Text의 의미를 파악

  • NLG : Generation

    • 주어진 의미에 대한 자연스러운 Text를 만들어냄

  • NLP = NLU + NLG

• NLP는 다양한 Task를 가지고 있고 각 T별로 데이터도 다양하다

  • Task를 먼저 정한 뒤 데이터를 Vectorization 한다

감정 분석

• Sentiment Analysis

• 문장에 대한 특정 감정을 분류해내는 문제

• 긍정/부정을 판단하는 문제지만 5점 척도로 접근하는 경우도 있다

요약

• Text에서 중요한 부분을 찾아내는 Extractive Summarization과 Text의 의미를 완전히 이해해 새로운 문장을 만들어내는 Abstractive Summarization으로 나뉜다.

• 후자가 더 어려운 Task이다.

• 모델링의 어려움 뿐만 아니라 정답 요약문을 만들어야 하는 데이터 수급 문제, 정답 평가의 어려움도 있어 NLP에서 난이도가 높은 편에 속하는 Task이다.

기계 번역

• NLP의 다양한 Task 중 서비스와 직접적인 연관이 있는 영역

• 결과에 대한 평가의 어려움을 가지고 있다

• 언어의 종류에 따른 데이터 불균형이 심해 많은 연구가 필요한 분야

질문 응답

• 주어진 문서를 이해하고 문서 속 정보에 대한 질문의 답을 이끌어 내는 Task