임베딩2 14. 문장 임베딩 | ELmo / Transformer 1. ELmo(Embeddings from Language Model) 2018년 논문에서 제안된 새로운 워드 임베딩 방법론 ELMo의 가장 큰 특징은 가전 훈련된 언어 모델(Pre-Trained Language Model)을 사용한다는 것 논문: https://arxiv.org/abs/1802.05365 참고사이트: https://wikidocs.net/33930 09-09 엘모(Embeddings from Language Model, ELMo) 논문 링크 : https://aclweb.org/antholog…wikidocs.net 1. ELmo 특징기존 워드 임베딩은 주변 문맥 정보를 활용하여.. 2024. 7. 4. 04. 자연어처리 - 임베딩 1. 자연어의 특성 자연어를 기계가 처리하도록 하기 위해서 먼저 자연어를 기계가 이해할 수 있는 언어로 바꾸는 방법을 알아야 함토큰화 작업의 결과인 단어 사전을 기계가 이해할 수 있는 언어로 표현하는 과정이고, 단어 사전 내 단어 하나를 어떻게 표현할까의 문제로 볼 수 있음 1. 단어의 유사성과 모호성단어의 의미는 유사성과 모호성을 가지고 있는데 단어는 겉으로 보이는 형태인 표제어안에 여러가지 의미를 담고 있음 사람은 주변 정보에 따라 숨겨진 의미를 파악하고 이해할 수 있으나, 기계는 학습의 부재 또는 잘못된 데이터로 의미를 파악하지 못하는 경우가 있음 한 가지 형태의 단어에 여러 의미가 포함되어 생기는 중의성 문제는 자연어 처리에서 매우 중요동형어: 형태는 같으나 뜻이 서로 다른 단어 _예) 배다의어.. 2024. 6. 25. 이전 1 다음
