AI/자연어처리19 19. sentence-transformer 활용 1. sentence-transformer 활용하기 ◼ sentence-transformer 라이브러리 _ Hugging Face링크: https://huggingface.co/sentence-transformers/distiluse-base-multilingual-cased-v1 sentence-transformers/distiluse-base-multilingual-cased-v1 · Hugging Facesentence-transformers/distiluse-base-multilingual-cased-v1 This is a sentence-transformers model: It maps sentences & paragraphs to a 512 dimensional dense vector s.. 2025. 1. 3. 18. PLM을 이용한 실습 1. NLI(Natual Language Inference) 실습- 두개의 문장(전제와 가설) 사이의 논리적 관계를 결정하는 자연어 처리 문제- 사이트 : https://huggingface.co/Huffon/klue-roberta-base-nli ◼ 설치하기 ! pip install transformers ◼ import from transformers import pipeline, AutoTokenizerpipeline: 자연어 처리 작업을 간단한 코드로 여러 작업을 한번에 지원AutoTokenizer: 자동으로 적절한 토크나이저를 선택하여 모델을 토큰화할 수 있음 ◼ 객체 만들기 classifier = pipeline.. 2024. 7. 12. 17. 자연어처리를 위한 모델 학습 1. 사전 학습(Pre-training) 원하는 자연어처리 작업을 수행하는 데이터셋으로 모델을 학습시키기 이전에 일반적인 데이터에 먼저 학습을 시키는 것사전학습은 대량의 자연어 코퍼스를 미리 학습하여, 자연어 코퍼스 안에 포함된 일반화된 언어 특성들을 모델의 파라미터 안에 함축하는 방법사전 학습한 모델의 parameter를 이용하여 모델을 초기화한 뒤(pre-training) 사전 학습된 모델을 실제 풀려고 하는 문제의 데이터에 학습시키는 것 보다 더 높은 성능을 가짐예) 컴퓨터 비전에선 엄청난 크기의 이미지 데이터인 ImageNet에 pre-train된 모델의 parameter를 가져와서 fine-tuning 하는 방법을 많이 사용하고 NLP에서는 GPT와 BERT를 시작으로 language model.. 2024. 7. 11. 16. 문장 임베딩 | GPT 1. GPT(Generative Pre-Training)GPT모델은 2018년 6월에 OpenAI가 논문을 통해 처음 제안 논문1: http://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf 논문2: https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf논문2: http://arxiv.org/abs/2005.14165GPT도 unlabeled data로 부터 pre-train을 진행한 후 특정 downstream task에 fine-tuning을 하는 모델Transformer의 decoder만 사용하는 구조 1. GPT 모델의 특징사전 학습에는 대규모.. 2024. 7. 5. 15. 문장임베딩 | BERT 1. BERT(Bidiresctional Encoder Representations from Transformers)2018년도 google 에서 처음 제안한 모델로 Transformer의 인코더 기반의 모델논문 : https://arxiv.org/abs/1810.04805참고 : https://wikidocs.net/109251 17. BERT(Bidirectional Encoder Representations from Transformers)트랜스포머(transformer)의 등장 이후, 다양한 자연어 처리 태스크에서 사용되었던 RNN 계열의 신경망인 LSTM, GRU는 트랜스포머로 대체되어가는 추세입니다. 이에 따…wikidocs.net 1. BERT 모델의 개요BERT는 unlabeled dat.. 2024. 7. 5. 14. 문장 임베딩 | ELmo / Transformer 1. ELmo(Embeddings from Language Model) 2018년 논문에서 제안된 새로운 워드 임베딩 방법론 ELMo의 가장 큰 특징은 가전 훈련된 언어 모델(Pre-Trained Language Model)을 사용한다는 것 논문: https://arxiv.org/abs/1802.05365 참고사이트: https://wikidocs.net/33930 09-09 엘모(Embeddings from Language Model, ELMo) 논문 링크 : https://aclweb.org/antholog…wikidocs.net 1. ELmo 특징기존 워드 임베딩은 주변 문맥 정보를 활용하여.. 2024. 7. 4. 13. 문장 임베딩 | Attention Meshanism 1. 어텐션 메커니즘(Attention Meshanism) 기본적으로 Seq2Seq 모델의 한계를 해결하기 위해 2014년도에 제안한 논문입력 시퀀스가 길어지면 출력 시퀀스의 정확도가 떨어지는 것을 보정해주기 위해 등장한 기법논문1: https://arxiv.org/abs/1409.0473논문2: https://arxiv.org/abs/1508.04025참고사이트: https://wikidocs.net/22893 15-01 어텐션 메커니즘 (Attention Mechanism)앞서 배운 seq2seq 모델은 **인코더**에서 입력 시퀀스를 컨텍스트 벡터라는 하나의 고정된 크기의 벡터 표현으로 압축하고, **디코더**는 이 컨텍스트 벡터를 통해서 출력 …wikidocs.net 1. 어텐션의 아이디어디코더.. 2024. 7. 4. 12. 문장 임베딩 | Seq2Seq 1. 문장 임베딩- 2017년 이전의 임베딩 기법들은 대부분 단어 수준의 모델 (Word2Vec, FastText, GloVe)- 단어 수준의 임베딩 기법은 자연어의 특성인 모호성, 동음이의어를 구분하기 어렵다는 한계가 있음- 2017년 이후에는 ELMo(Embeddigs from Language Models)와 같은 모델이 발표되고 트랜스포머와 같은 언어 모델에서 문장 수준의 언어 모델링을 고려하면서 한계점들이 해결됨 2. Seq2Seq (Sequence To Sequence)2014년 구글에서 논문으로 제안한 모델LSTM(Long Short-Term Memory) 또는 GRU(Gated Recurrent Unit) 기반의 구조를 가지고 고정된 길이의 단어 시퀀스를 입력으로 받아, 입력 시퀀스에 알.. 2024. 7. 3. 11. LSTM과 GRU 1. RNN ◼ import import torch import torch.nn as nn import torch.optim as optim import numpy as np from sklearn.preprocessing import LabelEncoder from sklearn.feature_extraction.text import CountVectorizer from torch.utils.data import DataLoader, Dataset from sklearn.datasets import fetch_20newsgroups from sk.. 2024. 7. 2. 이전 1 2 3 다음
