airoot의 인공지능 이야기

BERT(Bidirectional Encoder Representations from Transformers)는 2018년 구글 AI에서 개발한 자연어 처리(NLP) 모델로, 트랜스포머(Transformer) 아키텍처를 기반으로 한다. BERT는 다양한 NLP 작업에서 혁신적인 성능을 보여주었고, 이후 많은 연구 및 응용 모델들의 기초가 되었다. BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingWe introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from T..

GPT-1(Generative Pre-trained Transformer 1)은 2017년 Google의 트랜스포머 아키텍처 발명에 이은 OpenAI의 첫 번째 대규모 언어 모델입니다. 2018년 6월, OpenAI는 "Improving Language Understanding by Generative Pre-Training"이라는 제목의 논문을 발표했으며, 이 논문에서 생성형 사전 훈련된 트랜스포머의 일반적인 개념과 함께 초기 모델을 소개했다. Improving Language Understanding by Generative Pre-Training그 시점까지 가장 성능이 좋은 신경망 NLP 모델은 주로 수동으로 레이블링된 대량의 데이터로부터 지도 학습을 사용했다. 지도 학습에 대한 이러한 의존은 주석..