목록머신러닝&딥러닝/Keras (1)

분석하고싶은코코

Tensorflow_NLP_기초

Keras의 Tensorflow를 활용해 NLP작업을 할때 필요한 기초적인 사용법에 대해서 포스팅 합니다. 1. 전처리 전처리는 자연어처리 뿐 아니라 어떤 데이터를 다루는데 필수적으로 필요한 작업입니다. 데이터 분석을 위해서는 원하는 형태의 데이터 형태로 만들어 분석할 필요가 있고 모델링의 경우 모델이 학습, 이해 할 수 있는 형태로 전처리를 해줄 필요가 있습니다. 이번에는 토크나이징과 패딩작업에 대해서만 다뤄보겠습니다. 1) 토크나이징 토크나이징은 자연어처리를 위해서 주어진 문장을 단어 단위 혹은 영어라면 알파벳, 한글이라면 자모 단위까지 분리하여 하나의 토큰으로 분해하는 과정을 말합니다. 쉽게 이야기하면 완성된 레고 장난감을 초기 상태였던 조립전의 각 블록들로 분리하는 작업을 의미합니다. 우선 Ten..
머신러닝&딥러닝/Keras 2023. 9. 21. 17:55
이전 Prev 1 Next 다음