반응형
Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 |
Tags
- BERTopic
- 토픽 모델링
- 구글 스토어 리뷰
- SBERT
- 포아송분포
- 피파온라인 API
- LDA
- CTM
- 문맥을 반영한 토픽모델링
- 데이터리안
- 블루아카이브 토픽모델링
- 다항분포
- geocoding
- NLP
- 데벨챌
- 코사인 유사도
- 트위치
- 개체명 인식
- 클래스 분류
- 붕괴 스타레일
- Tableu
- Optimizer
- KeyBert
- Roberta
- 자연어 모델
- 원신
- 데이터넥스트레벨챌린지
- 블루 아카이브
- 옵티마이저
- 조축회
Archives
- Today
- Total
목록Roberta (1)
분석하고싶은코코
NLP - RoBERTa(Robustly optimized BERT approach) 논문 톺아보기
이번 포스팅에서는 BERT 모델에서 파생되어 좋은 성능을 보이고 많은 자연어처리 분야에서 사용되고 있는 모델의 기반인 RoBERTa 논문을 살펴보는 포스팅을 진행해보겠습니다. (영어 실력이 좋은 편은 아니라 오역이 있을 수 있으니 알려주시면 감사하겠습니다!) AbstractRoBERTa의 탄생은 BERT가 undertrained(과소훈련)되어 있고 이후 출시한 모들의 성능이 비슷한 수준이라는 점을 발견하였기 때문이라고 합니다. 모델에서 사용하는 하이퍼파라미터 변경은 결과가 크게 변함을 언급하고 있고, GLUE, RACE, SQuAD에서 최고의 성능을 보여주었다고 합니다. IntroductionRoBERTa가 등장한 배경에 대해서 설명합니다. Abstract에서 이야기했듯 BERT가 undertrained..
머신러닝&딥러닝/NLP
2023. 10. 17. 17:24