본문 바로가기

AI

 (3)
'Attention is all you need' 논문 리뷰 선정 배경최근 AI 산업에서 가장 화두로 떠오른 LLM뿐만 아니라, Computer vision, Recommender System 등 여러가지 분야에서 Transformer기반의 모델들이 준수한 성능을 보이고 있는 가운데, Transformer의 등장 배경과 그 자세한 원리를 파악하고자 리뷰를 작성하게 되었습니다.AbstractTransformer는 Attention 메커니즘으로만 구성된 모델로서, recurrence와 convolution 연산 과정 없이 구성된 모델이라고 할 수 있다. WMT 2014 English-German 번역 task에서 Transformer는 28.4 BLEU로 기존의 SOTA에 비해 2BLEU 뛰어난 성능을 보이기도 했다.BLEU : Generated Sentence의 단..
Optimization - Cross validation, Bias & Variance, Bootstrapping Deep learning에서 중요한 요소인 optimization에 대해 정리해보려 한다. Optimization에는 수많은 요소들이 있고 이를 전부 다 알고 있을 수는 없지만 그 중에서도 가장 널리 쓰이고 중요한 개념들만을 정리할 것이다. Generalization(일반화) 학습시킨 모델이 학습에 사용된 데이터 말고도 다른 데이터에 대해 얼마나 잘 Fit 하는지에 대한 개념 Underfitting vs Overfitting underfitting의 경우, 모델(파란선)이 데이터를 전체적으로 잘 표현하지 못하며 대략적인 추세만을 나타낸다. overfitting의 경우, 모델이 데이터에 과도하게 맞춰져있어 학습에 사용된 데이터는 잘 표현할 수 있지만 그렇지 않은 데이터에 대한 설명력은 떨어진다. Cross..
Book Rating Prediction 네이버 부스트캠프에서 진행했던 첫번째 내부 대회인 'Book Rating Prediction'에 대해 정리해 보려고 합니다. 목차는 'EDA', 'Feature Engineering 및 Modeling' 순으로 구성됩니다. [EDA] Datasets train_ratings.csv 유저들이 평가한 책에 대한 평점 user_id, isbn, rating 대략 300k의 interaction존재 (-> 306795) users.csv 유저 정보 user_id, location, age books.csv 책(아이템) 정보 isbn(unique id), book title, author, year of publication, publisher, img_url, language, category, summary,..

티스토리툴바