AI (4) 썸네일형 리스트형 [Paper Review] BART (2020) BART 논문 : BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension Facebook AI에서 발표한 ACL 2020 논문 Background BART는 Facebook AI이 ACL에서 발표한 2020년도 논문으로, 요약 태스크에서 굉장한 강세를 보이고 있는 모델 구조이다. NLP 분야에서 BERT 와 같은 Masked Language Model(MLM)이 큰 성과를 올렸고, 이를 대체할 모델이 현재까지도 몇 없다. 기존의 MLM 방식은 Denosing Auto Encoder 방식으로, 랜덤하게 subword를 Masking하고 그곳을 재구축하게 만들었.. DLS Course 1 - Neural Networks and Deep Learning 앤드류 응 선생님의 딥러닝 전문가 코세라 강의. 2017년에 나온 강의기에 최신 트렌드를 담았다고 볼 수는 없으나 딥러닝 기초를 다지기에 좋은 강의이다. 이미 머신러닝과 딥러닝의 기초적인 내용은 학부와 대학원 시절 강의들을 통해 충분히 배웠지만, 시간이 지나서인지 기초가 가물가물해지기 시작했다. 🤔처음에는 석사 과정에서 다시 기초를 듣는다는 것이 머뭇거려졌지만, 첫 주차 강의를 듣고 그 생각이 바뀌었다. 강의를 통해 이론을 복습하고 실습을 통해 구현 연습을 하니 도움이 많이 되었다. 다른 사람들도 이 강의를 통해 딥러닝 AI 지식 기초를 다질 수 있을 것이라 확신한다. 구글 부트캠프 2020 코스에서도 본 강의를 들으면 머신러닝 엔지니어 기초 자격을 획득했다고 가정하니 좋은 강의임에 틀림없다. 본 코스는.. Transfer Learning in NLP KcBERT를 활용한 Transfer Learning 학습 일지 이번 석사 졸업 논문에 댓글을 논쟁적인 측면에서 분석하는 모델을 싣고자 했는데, 태스크가 새로운 것이다 보니 충분한 양의 데이터를 확보하기도 힘들었고, 기존 모델로는 괜찮은 성능이 나오지 않았다. 😭 이것저것 방법을 찾아보던 중 한국어 댓글 데이터로 학습된 BERT 모델이 최근에 공개된 것을 확인하여 연구 마무리에 활용하였다. 문제 정의: 논쟁 댓글 이 연구에서 댓글의 논쟁성이란, 댓글에 대한 공감과 비공감 수치가 유사하게 나타나는 댓글을 논쟁 가능성이 높은 논쟁 댓글, 반대로 공감과 비공감 수치가 극적으로 차이가 보이는 댓글을 비논쟁 댓글이라 정의내렸다. 다시 말해 논쟁 댓글이란, 공감률( 공감 / (공감+비공감) )이 0.5에 근사하는 .. [Paper Review] Seq2Seq (2014) Sequence to Sequence Learning with Neural Networks (2014) 논문 리뷰 Summary 기존의 Deep Neural Networks (DNN)은 고정 길이의 벡터 차원에만 적용 가능하기에, 일반적으로 길이가 다른 sequence에 적용시키기에 적절하지 않다. 텍스트를 예로 든다면 input으로 들어오는 텍스트의 길이는 서로 다르므로. 이 논문은 end-to-end 방법을 사용해서 sequence 학습을 가능하게 하는 다층의 Long Short-Term Memory (LSTM) 아키텍처를 제안한다. LSTM을 통해 input sequence를 고정 차원의 벡터로 표현시키고, 다른 LSTM을 통해 해당 벡터로부터 target sequence를 decoding 한다. .. 이전 1 다음
