데이터 전처리, 코퍼스, 토큰화 개요(Corpus, Tokenization)

2023. 7. 24. 15:42

728x90

SMALL

1. 코퍼스(Corpus)

사전적인 의미는 "말뭉치", "대량의 텍스트 데이터" 를 말함
자연어 처리 연구나 애플리 케이션 활용을 염두해 두고 수집된 텍스트 데이터셋을 의미

2. 토큰화(Tokenization)

전처리 과정에는 토큰화, 정제, 정규화 작업 등이 있음
토큰화는 원시 데이터를 가져와 유용한 데이터 문자열로 변환하는 간단한 프로세스
사이버 보안, NFT 생성에 사용되는 것으로 유명, 자연어 프로세스의 중요한 부분을 차지함
토큰의 단위는 자연어 내에서 의미를 가지는 최소 단위로 정의
단락과 문장을 보다 쉽게 의미를 할당할 수 있는 더 작은 단위로 분할 하는데 사용토큰화 작업은 주어진 코퍼스 내 자연어 문장들을 토큰이라 불리는 최소 단위로 나누는 작업

2-1. 토큰화 과정의 필요성

언어 모델의 자연어 이해 능력 향상
"역삼동에 어떤 맛집이 있나요?"
"역삼동에" "어떤" "맛집이" 있나요?"
"역삼동" "에" "어떤" "맛집" "이" "있나" "요?"
다양한 자연어를 효율적으로 표현 가능

자음 19개

모음 21개

- 중복을 제거한 대규모 자연어 코퍼스 내 토큰의 집합(단어 사전) 사용
- 적절한 정보량을 내포하면서 전체 단어 사전의 개수가 많아지지 않도록 토큰의 단위를 잘 정의 해야함
- 상황에 따라 다르지만, 일반적인 자연어 처리작업에서 단어 사전의 규모는 약 1만~5만개 정도로 구성(한글의 글자수: 11,172개)

2-2. 토큰화 방법

문장 토큰화: 토큰의 기준을 문장으로 하는 토큰화 방법
- 문장의 끝에 오는 문장 보호를 기준으로 코퍼스를 잘라냄 (. 또는 ! 또는 ?)
- 예외) 제 이메일 주소는 ryuzy@naver( 이부분에서 짤릴수도있다. ).com 입니다
단어 토큰화: 토큰의 기준을 단어로 하는 토큰화 방법
- 보편적으로 구분 기호를 가지고 텍스트를 나누게 되며, 기본적으로 공백을 구분자로 사용
- 한국어의 경우 교착어 이기 때문에 공백으로 단어 토큰화를 하게 되면 성능이 좋지 않다.
- 새로운 단어가 추가될수록 단어 사전의 크기가 계속 증가
- OOV(out of Vocabulary) 문제
문자 토큰화: 토큰의 기준을 문자로 하는 토큰화 방법
- 단어 토큰화의 한계점들을 해결하기 위한 방법
- 영어는 26개의 알파벳에 따라 분리, 한국어는 자음 19개와 모음 21개의 글자에 따라 분리 안녕하세요 -> ㅇ ㅏ ㄴ ㄴ ㅕ ㅇ ㅎ ㅏ ㅅ ㅔ ㅇ ㅛ
- 문장하나를 생성하는데 너무 많은 추론이 필요
- 단어사전은 작지만 모델의 예측시간에 문제가 생길 수 있음
서브워드 토큰화: 토큰의 기준을 서브단어로 하는 토큰화 방법
- 단어 토큰화와 문자 토큰화의 한계점을 해결하기 위한 방법
- 문자 토큰화의 확장된 버전으로 토큰의 단위를 n개의 문자로 정의하고, 해당 기준에 따라 텍스트를 분절하는 방법
- 형태소 분절 기반의 서브워드 토큰화로 확장될 수 있어 한국어에서도 좋은 성능을 가짐
- 서브워드를 만드는 알고리즘 중에서 가장 유명한 것이 BPE

3. 서브워드 토큰화

3-1. 서브워드(SUBWORD)

단어보다 더 작은 의미의 단위

ex] Birthday -> Birth + day

ex] 아침밥 -> 아침 + 밥

단어를 여러 서브워드로 분리해서 단어 사전을 구축하겠다는 토큰화 방법
신조어에서 주로 발생하는 OOV 문제를 완화

과제.

BPE 알고리즘, WordPieceTokenizer 에 대해 조사하고 해당 알고리즘을 잘 설명할수 있는 예제와 실습과제를 완성해보자

3-2. BPE(Byte Pair Encoding)

코퍼스 내 단어의 등장 빈도에 따라 서브워드를 구축하는데 사용
2016년 Neural Machine Translation of Rare Words with Subword Units 논문에서 처음 제안
글자 단위에서 점진적으로 서브워드 집합을 만들어내는 Bottom-up 방식의 접근 방식으로 자연어 코퍼스에 있는 모든 단어들을 글자 단위로 분리한 뒤에, 등장 빈도에 따라 글자들은 서브워드로 통합하는 방식

3-3. Word Piece Tokenizer

구글이 2016년도 Google's Neural Machine Translation System Bridging the Gap between Human and Machine Translation 논문에서 처음 공개한 BPE의 변형 알고리즘
병합할 두 문자가 있을 때, 각각의 문자가 따로 있을 때를 더 중요시 여기는지, 병합되었을 때를 더 중요시 여기는지에 차이점을 둠
GPT모델과 같은 생성 모델의 경우에는 BPE 알고리즘을 사용
BERT, ELECTRA와 같은 자연어 이해 모델에서는 WordPiece Tokenizer를 주로 사용

4. 정제(Cleaning)

토큰화 작업에 방해가 되는 부분들을 필터링 하거나 토큰화 작업 이후에도 여전히 남아있는 노이즈 들을 제거하기 위해 지속적으로 이루어 지는 전처리 과정
어떤 특성이 노이즈 인지 판단하거나, 모든 노이즈를 완벽하게 제거하는 것은 어렵기 때문에 일종의 합의점을 찾아야 함

4-1. 정제 작업 종류

불용어( Stopword ) 처리
- NLTK 라이브러리에서는 자주 사용되는 단어들을 불용어로 정의
- 불용어의 정의는 가변적이기 때문에 추가하고 싶은 불용어가 있다면 직접 정의할 수 있음
- 보편적으로 선택할 수 있는 한국어 불용어 리스트
불필요한 태그 및 특수문자 제거
코퍼스 내 등장 빈도가 적은 단어 제거
- 코퍼스 내 단어들의 빈도를 분석하여 분포를 보고 특정 threshold를 설정한 후, 해당 threshold 아래의 단어들을 필터링 하는 방식으로 정제

4-2. 정제 과정에서 유의해야 할 점

@과 같은 특수 문자는 일반적인 작업에서는 정보량이 적은 토큰일 수 있지만 이메일과 관련한 내용을 판단 해야하는 작업에서는 유용한 토큰으로 사용될 수 있음자연어 처리 작업에서 데이터를 수집한 이후에는 항상 목적에 맞지 않는 노이즈가 있진 않은지 검사하고 발견한 노이즈를 정제하기 위한 노력이 필요

5. 정규화(Normalization)

일반적인 머신러닝 작업에서 데이터 정규화는 학습 데이터의 값들이 적당한 범위를 유지하도록 데이터의 범위를 변환하거나 스케일링 하는 과정
정규화 목표는 모든데이터가 같은 정도의 스케일로 반영되도록 하는 것
자연어 처리 정규화의 핵심은 표현 방법이 다른 단어들을 통합 시켜서 같은 단어로 만들어주는 과정

5-1. 정규화 작업이 필요한 이유

이상적으로 단어 사전내의 단어 토큰들이 모두 중요하게 고려되길 원함
부추: 정구지
자연어의 특성 상 의미가 같은데 표기가 다른 단어들이 있을 수 있고, 의미는 같지만 사용빈도가 낮은 동의어들은 학습에 유용하게 활용되지 않을 수 있음
의미가 같지만 표기가 다른 단어들을 통합 할수 있다면 통합된 단어의 사용 빈도가 높아질 것이고, 빈도가 낮은 단어들의 중요도가 높아질 수 있다.

5-2. 정규화 작업의 종류

어간추출, 표제어 추출
- 어간 추출: 형태학적 분석을 단순화한 버전으로, 정해진 규칙만 보고 단어의 어미를 자르는 어림짐작의 작업
- 표제어 추출: 단어들이 다른형태를 가지더라도, 그 뿌리 단어를 찾아가서 단어의 개수를 줄일 수 있는지 판단하는 방법
대소문자 통합
- 대문자와 소문자가 구분되어야 하는 경우도 있음. 따라서 무작정 소문자로 통합해서는 안되는 경우가 있음
- ex) US(미국), us(우리)

5-3. 정규화 시 유의할 점

규칙이 너무 엄격한 정규화 방법은 부작용이 심해 학습에 악영향을 줄 수 있음
원본 의미를 최대한 유지하는 것이 학습에 도움이 됨
대화에서 사용하는 의미가 비슷한 이모티콘들을 통합하는 정규화 작업 "ㅋㅋㅋㅋㅋ" -> "ㅋㅋ"

6. 한국어 데이터 전처리

6-1. 한국어의 특성

영어는 합성어나 줄임말에 대한 예외처리만 하면, 띄어쓰기 기준으로 토큰화 작업으로도 어느정도의 성능을 보장할 수 있음
한국어에는 조사나 어미가 발달되어 있기 때문에 띄어쓰기만으로 단어를 분리하면 의미적인 훼손이 일어날 수 있음
띄워쓰기 단위가 되는 단위를 "어절" 이라고 하는데 어절 토큰화와 단어 토큰화가 같지 않기 때문

6-2. 형태소 분석

형태소를 비롯하여, 어근/접두사/접미사/품사 등 다양한 언어적 속성의 구조를 파악하는 것을 의미
형태소 분석 과정은 한국어 단어에서 형태소를 추출하여 분리하는 작업이며 이후에 필요에 따라 사전 정의된 품사를 해당 단어에 태깅하는 작업을 하기도 함
태깅: 형태소의 뜻과 문맥을 고려하여 단어에 품사를 매핑하는 것

6-3. 형태소 분석 방법

한국어의 다양한 형태소를 분석하고 분류하기 위해 KoNLPy패키지에서 분석기를 사용
KoNLPy 패키지의 다양한 함수를 사용하여 한국어 내 다양한 전처리를 진행
- Mecab: 일본어용 형태소 분석기를 한국어를 사용할 수 있도록 수정
- Okt: 오픈 소스 한국어 분석기, 과거 트위터 형태소 분석기
- Komoran: Shineware에서 개발
- Kkma: 서울대학교 IDS 연구실 개발
각 형태소 분석기는 성능과 결과가 다르게 나오기 때문에 사용하고자 하는 필요 용도에 어떤 형태소 분석기가 적절한지를 판단
속도를 중시한다면 Mecal을 사용