전체 글159 03. 자연어처리 - 전처리 실습 1. 자연어 전처리 ◼ 뉴스 기사 크롤링 라이브러리 설치 # 웹 스크래핑을 통해 뉴스 기사를 수집하고 분석하는데 사용되는 라이브러리 !pip install newspaper3k ◼ 지원 언어 확인 import newspaper newspaper.languages()Your available languages are: input code full name vi Vietnamese it Italian de German sr Serbian zh Chinese fa Persian be Belarusian sv Swedish el Greek da Danish no .. 2024. 6. 24. 02. 자연어처리 - 진행순서 1. 문제 정의 문제의 대한 솔루션이 있어야 하고, 명확하고 구체적일수록 알맞는 자연어처리 기술을 찾을 수 있음 2. 데이터 수집 및 분석다양한 학습데이터를 수집하기 위해 공개된 데이터셋, 유료 데이터셋 또는 웹 크로링을 사용하여 수집 사이트: https://paperswithcode.com/datasets?mod=texts&task=question-answering Papers with Code - Machine Learning Datasets282 datasets • 132562 papers with code.paperswithcode.com웹크로링을 통해 데이터를 수집 했다면 EDA(탑색적 데이터 분석) 및 분석을 통해 데이터를 철저하게 검증해야함레이블이 필요하다면 수집한 데이터에 레이블을.. 2024. 6. 24. 01. 자연어처리 - 개요 1. 자연어(Natural Language Processing, NLP)프로그래밍 언어와 같이 인공적으로 만든 기계언어와 대비되는 단어로, 우리가 일상에서 주로 사용하는 언어 1. 자연어 처리컴퓨터가 한국어나 영어와 같은 인간의 자연어를 읽고 이해할 수 있도록 돕는 인공지능의 한 분야자연어에서 의미 있는 정보를 추출하여 활용기계가 자연어의 의미를 이해하게 함기계가 사람의 언어로 소통할 수 있게 함2. 자연어처리의 활용문서 분류, 스팸 처리와 같은 분류 문제부터 검색어 추천과 같은 추천기능, 음성인식, 질의 응답, 번영 등의 다양한 분야에서 사용되고 있음반복 업무 자동화검색 효율 향상 및 검색 엔진 최적화대규모 문석 분석 및 정리소셜 미디어 분석3. 용어 정리자연어 이해(Natural Language Un.. 2024. 6. 24. 10. 포켓몬 분류 1. 포켓몬 분류 * Train: https://www.kaggle.com/datasets/thedagger/pokemon-generation-one * Validation: https://www.kaggle.com/hlrhegemony/pokemon-image-dataset kaggle.comkaggle.com ◼ Kaggle API를 사용하여 Pokemon 데이터셋을 다운로드하고 압축을 해제 import os os.environ['KAGGLE_USERNAME'] = 'sarahlee721' os.environ['KAGGLE_KEY'] = 'b5dc455974daae96540089d7bcdf062a' !kaggle datasets download -d theda.. 2024. 6. 21. 이전 1 2 3 4 5 6 ··· 40 다음 LIST
