본문 바로가기

전체 글

 (11)
[Paper Review] BART (2020) BART 논문 : BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension Facebook AI에서 발표한 ACL 2020 논문 Background BART는 Facebook AI이 ACL에서 발표한 2020년도 논문으로, 요약 태스크에서 굉장한 강세를 보이고 있는 모델 구조이다. NLP 분야에서 BERT 와 같은 Masked Language Model(MLM)이 큰 성과를 올렸고, 이를 대체할 모델이 현재까지도 몇 없다. 기존의 MLM 방식은 Denosing Auto Encoder 방식으로, 랜덤하게 subword를 Masking하고 그곳을 재구축하게 만들었..
현재에 충실하자 뇌 휴식기 연수 시작일인 9월 6일 전까지는 뇌를 가동하지 않고 휴식시키고 싶다. 때문에 원래 계획했던 논문 리딩 및 구현은 당분간, 혹은 오랜 기간 동안 미룰 수도 있다. 당장 글또에서의 정체성이 애매해지지만 한동안은 고민 없이 애매한 사람으로 사는 것도 나쁘지 않을 것 같다. 글또에서의 글쓰기 활동을 통해 성취하고자 하는 목표를 떠올려보니 생각이 명료해졌다. 이전 글또 5기에 참여했을 때는 자연어처리 도메인에서 취업을 하고 커리어 성장을 이루고 싶었고, 그래서 글감의 주제나 방향성이 비교적 뚜렷했다. 현재 내 신분은 취직은 했지만 입사를 하지 않은 백수는 아니지만 돈은 없는, 성인이 된 재수생 마냥 애매한 신분이다. 이런 애매한 신분이 된 지 벌써 두 달이 지났다. 폰합격..? 쉬는 동안 놀기도 많이..
2021년 반 안녕~ BYE 🌟 2x년 만의 신분 변화 2021년 6월, 티스토리 블로그를 처음 개설하고 세웠던 목표이자 2021년의 유일한 목표였던 취업에 성공했다. 도합 20년의 학생 신분에서 드디어 직장인 타이틀을 달았다. 나도 이제 연말정산, 연차수당, 성과급같이 어른스러운 단어들을 내가 직접 경험해서 알아들을 수 있다니 감격스러웠다. 처음 합격창을 봤을 때는 말 그대로 꿈같았다. 5시에 합격 화면이 안 바꼈길래 안 나오나 보다 싶어서 유튜브를 보고 있다가 1시간 정도 뒤늦게 확인했다. 그래서 더욱 꿈같았다. 너무 꿈같아서 일주일 내내 "알고 보니 불합격자"여서 불합격하는 꿈을 꿨다. 취준 시기에도 나는 글또 5기 (글 쓰는 개발자 커뮤니티)에 참여하고 있었다. 개발 블로그를 비정기적으로 운영하기도 했고, 나중에 글이 쌓였을..
글또 5기 마무리 어느덧 글또 5기에서 활동한 지 5개월이나 지났다. 글또 5기의 다짐글을 다시 읽어보고 마지막 글로 후기를 쓴다. 글또를 통해 좋은 사람들을 많이 알게 되었다. 또 스스로의 변화도 있었다. 결과적으로 만족스러웠던 5개월이었다. 글또를 활동하면서 작성했던 글 [글또] 글또 5기 완주를 다짐하며 석사 과정을 끝마친 2020년, 성장하는 2021년을 꿈꾸며 Transfer Learning in NLP DLS Course 1 - Neural Networks and Deep Learning [서평] 『여덟 단어』 박웅현 [서평] 『1만 시간의 재발견』 안데르스 에릭슨, 로버트 풀 👏 글또 5기의 활동을 되돌아보며 대학원 다닐 적 깃허브 블로그를 하나 만들어 볼 생각에 변성윤님 블로그 포맷을 관심 있게 보다가 글 ..
[서평] 『1만 시간의 재발견』 안데르스 에릭슨, 로버트 풀 한줄평 : '타고난 재능'이란 허상은 없다. 노력의 가치에 대한 재발견! 의식적인 연습의 중요성 별점 : 5 / 5 # 어떤 분야에 1만 시간을 투자하면 그 분야의 전문가가 될 수 있다. .. 과연 그럴까?! 🤔🤔 1만 시간의 법칙은 은 말콤 글래드웰의 저에서에서 나온 법칙으로, 어떤 분야의 전문가가 되기 위해서는 최소한 1만 시간의 훈련이 필요하다는 법칙이다. 여기서 1만 시간은 10년간 거의 매일 3시간을 훈련에 투자해야만 얻을 수 있는 시간이다. 내가 좋아하는 피아니스트 손열음 연주가도 실제로 초등학교 때부터 중학교까지(약 10년) 하루도 쉬지 않고 매일 3시간은 피아노 연습을 했다고 말하며 이 법칙을 증명했다. 1만 시간의 재발견은 기존의 1만 시간의 법칙에 의문을 던진다. 양치질을 1만 시간을 ..
DLS Course 1 - Neural Networks and Deep Learning 앤드류 응 선생님의 딥러닝 전문가 코세라 강의. 2017년에 나온 강의기에 최신 트렌드를 담았다고 볼 수는 없으나 딥러닝 기초를 다지기에 좋은 강의이다. 이미 머신러닝과 딥러닝의 기초적인 내용은 학부와 대학원 시절 강의들을 통해 충분히 배웠지만, 시간이 지나서인지 기초가 가물가물해지기 시작했다. 🤔처음에는 석사 과정에서 다시 기초를 듣는다는 것이 머뭇거려졌지만, 첫 주차 강의를 듣고 그 생각이 바뀌었다. 강의를 통해 이론을 복습하고 실습을 통해 구현 연습을 하니 도움이 많이 되었다. 다른 사람들도 이 강의를 통해 딥러닝 AI 지식 기초를 다질 수 있을 것이라 확신한다. 구글 부트캠프 2020 코스에서도 본 강의를 들으면 머신러닝 엔지니어 기초 자격을 획득했다고 가정하니 좋은 강의임에 틀림없다. 본 코스는..
Transfer Learning in NLP KcBERT를 활용한 Transfer Learning 학습 일지 이번 석사 졸업 논문에 댓글을 논쟁적인 측면에서 분석하는 모델을 싣고자 했는데, 태스크가 새로운 것이다 보니 충분한 양의 데이터를 확보하기도 힘들었고, 기존 모델로는 괜찮은 성능이 나오지 않았다. 😭 이것저것 방법을 찾아보던 중 한국어 댓글 데이터로 학습된 BERT 모델이 최근에 공개된 것을 확인하여 연구 마무리에 활용하였다. 문제 정의: 논쟁 댓글 이 연구에서 댓글의 논쟁성이란, 댓글에 대한 공감과 비공감 수치가 유사하게 나타나는 댓글을 논쟁 가능성이 높은 논쟁 댓글, 반대로 공감과 비공감 수치가 극적으로 차이가 보이는 댓글을 비논쟁 댓글이라 정의내렸다. 다시 말해 논쟁 댓글이란, 공감률( 공감 / (공감+비공감) )이 0.5에 근사하는 ..
석사 과정을 끝마친 2020년, 성장하는 2021년을 꿈꾸며 🌞 고난 가득했던 2020년의 마무리 석사 학위논문 발표, 고난의 시작 2020년은 나의 많은 것이 달라지는 해였다. 석사 졸업 논문을 발표하고 학부 시절부터 무려 사 년 동안 생활했던 연구실 자리를 정리했다. 연구실 자리를 정리함과 동시에 자취방 계약도 마무리되어서 이사 준비에도 바빴다. 특히 11월부터 12월 학위논문 발표 준비 기간 동안에는 진짜 말 그대로 너무너무 바빴다. 20년 초부터 연구했던 내용을 학위논문에 넣으려 했는데 그 연구가 타 대학교와 협업하여 진행했던 연구여서 아예 새롭게 갈아엎었어야 했다. 당시에 동일한 내용을 국내 학회에 게재하기 위해 서론부터 결론까지 논문 작업을 하고 있었는데 내용을 똑같이 적으면 안 된다는 것을 11월 초에 알게 되었다. 타 대학교와 협업한 연구이기에 내가..

티스토리툴바