airoot의 인공지능 이야기

RAG(Retrieval-Augmented Generation) 모델은 Facebook AI Research (FAIR)에서 2020년에 처음 제안했다. Facebook AI 팀은 생성 기반 모델의 한계를 보완하기 위해, 외부 데이터를 실시간으로 검색하고 이를 바탕으로 더욱 정확한 답변을 생성할 수 있도록 하기 위해 RAG를 개발했다. 이 연구는 특히 GPT-3와 같은 대형 언어 모델들이 훈련된 데이터에 의존해 답변을 생성하는 방식을 개선하고자 했다.FAIR 팀이 발표한 논문에서는 RAG의 구조와 효율성을 설명하며, RAG가 대규모 언어 모델이 직면하는 몇 가지 문제(예: 최신 정보에 대한 접근 부족, 고정된 지식 문제)를 해결할 수 있는 방법으로 제안되었다. RAG는 인공지능 모델, 특히 자연어 처리(..

BERT(Bidirectional Encoder Representations from Transformers)는 2018년 구글 AI에서 개발한 자연어 처리(NLP) 모델로, 트랜스포머(Transformer) 아키텍처를 기반으로 한다. BERT는 다양한 NLP 작업에서 혁신적인 성능을 보여주었고, 이후 많은 연구 및 응용 모델들의 기초가 되었다. BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingWe introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from T..

GPT-1(Generative Pre-trained Transformer 1)은 2017년 Google의 트랜스포머 아키텍처 발명에 이은 OpenAI의 첫 번째 대규모 언어 모델입니다. 2018년 6월, OpenAI는 "Improving Language Understanding by Generative Pre-Training"이라는 제목의 논문을 발표했으며, 이 논문에서 생성형 사전 훈련된 트랜스포머의 일반적인 개념과 함께 초기 모델을 소개했다. Improving Language Understanding by Generative Pre-Training그 시점까지 가장 성능이 좋은 신경망 NLP 모델은 주로 수동으로 레이블링된 대량의 데이터로부터 지도 학습을 사용했다. 지도 학습에 대한 이러한 의존은 주석..

"Attention Is All You Need"는 Google에서 일하는 8명의 과학자가 저술한 기계 학습 분야의 2017년 기념비적 연구 논문으로, 2014년 Bahdanau 등이 제안한 어텐션 메커니즘을 기반으로  자연어 처리(NLP) 분야에서 큰 혁신을 일으킨 트랜스포머(Transformer) 모델을 소개하고 있다. 이 논문은 전통적인 순차 처리 방식의 RNN(Recurrent Neural Network)이나 LSTM(Long Short-Term Memory)과는 달리, 완전히 Attention 메커니즘에 기반한 모델을 제안하여 성능과 효율성 면에서 뛰어난 결과를 보여준다. Attention Is All You NeedThe dominant sequence transduction models ar..