#### 요약 - GPT의 뜻은 Genrative Pretrained Transformer이다. 자연어를 생성하는 사전 훈련된 모델이라는 뜻인데, 여기서 Transformer는 2017년 구글이 내놓은 딥러닝 아키텍처를 의미한다. "Attention is all you need"라는 논문을 통해 발표한 이 아키텍처는 기존 RNN 기반이 가진 문장 길이에 대한 제약을 해소하고 인코더와 디코더 모두를 어텐션으로 만든 모델이었다. #### 메모 - GPT (Generative Pretrained Transformer) - 오픈AI가 공개한 대규모 언어 모델. GPT는 ‘Generative (생성하는) Pre-trained(미리 학습된) Transformer (트랜스포머)’의 약자입니다. GPT 이름 자체가 언어 모델의 특징 3가지를 잘 나타내고 있습니다. 첫째, ‘Generative (생성하는)’. GPT는 자연어를 생성하는 모델입니다. 이 모델은 이전 단어를 기반으로 다음 단어를 맞추는 방식으로 단어를 생성합니다. 둘째, ‘Pre-trained (미리 학습된)’. GPT는 대규모의 사전 학습을 통해 성능을 개선했습니다. 셋째, ‘Transformer’. GPT는 2017년 구글이 한 기념비적인 딥러닝 아키텍처인 트랜스포머를 기반으로 만든 언어 모델입니다. 트랜스포머는 단어와 단어 사이의 맥락을 학습시켜 컴퓨터의 언어 이해 수준을 크게 끌어올렸습니다. GPT로 할 수 있는 여러 응용 서비스 중 하나가 ‘챗GPT’입니다. 챗GPT는 자연어를 구사하는 대화형 AI이지요 - 류현정. (2023.4.18.) 블룸버그GPT도 나왔다...블 대리, 이제 좀 친절해질까?. **조선일보.** https://www.chosun.com/economy/tech_it/2023/04/13/5K3N55LSONEHREZCH2QBZX4FTY/ #### 내 생각 - 개념이 어렵다. RNN, SeqToSeq. ㅎㅎ 그래소 트랜스포머 모델이 어텐션을 기반으로 한다는 걸 알게 됐다. 더 나중에 확인해보자. 체리비의 칼럼에 좋은 이미지들도 있어서 참고하기 ---- ###### 출처(참고문헌) - 류현정. (2023.4.18.) 블룸버그GPT도 나왔다...블 대리, 이제 좀 친절해질까?. **조선일보.** https://www.chosun.com/economy/tech_it/2023/04/13/5K3N55LSONEHREZCH2QBZX4FTY/ - 체리비.(2023.7.15.). Transformer 모델이란? : AI 혁신을 주도하는 트랜스포머 알고리즘. **SUPERB AI**. https://blog-ko.superb-ai.com/what-is-the-transformer-model/ ###### 연결문서 -