Preprocessing (1) 썸네일형 리스트형 텍스트 데이터 전처리 (Text Preprocessing) 전처리(Preprocessing)의 핵심 ◎ 당연하게도, 주어진 Task에 맞게 전처리 해야한다. ex) 감성분석 : 이모티콘을 함부로 지우면 안된다. (😀, ❤️ : 긍정적 신호일 수 있음) ex) 음성인식 : 대본 같은 경우, 괄호 안의 설명문 등은 제거 필요 [ ex) 그물을 (조심스럽게) 건져올린다. ] Corpus (코퍼스) ◎ 사전적 정의 : 말뭉치 ◎ 의미 : NLP 모델의 학습 대상이 되는 단어 또는 문장들의 집합 ◎ Parallel Corpuss : 서로 다른 언어가 대응되는 말뭉치 (Bi-lingual, Multi-lingual) ex) Korean-English Bi-lingual Corpus Korean English 나는 아직 배고프다. I am still hungry. 내가 만든.. 이전 1 다음