원문: https://arxiv.org/abs/1706.03762 AI 공부를 시작하고, 몇 개월만 지나도 Attention이라는 말을 참 많이 듣게됩니다. 해당 논문이 나온 때는 2017년 12월이고, 이 글을 쓰는 현재 2021년 11월이지만 현재 SOTA 논문들을 봐도 Attention이라는 말이 참 많이 보인다는 점을 알 수 있습니다. 이만큼 Attention이 중요하다는 점인데요, 이 글을 통해 Transformer 내에서 문장이 어떻게 변하는지 이해하셨으면 하는 바램입니다. 제 글을 보고 있는 독자분들께서는 아마, 1. 현재 Attention에 대한 관심이 있고, 2. Attention을 이해하려 다른 블로그 글 또는 유튜브 강의를 들었으나, 3. 명확하게 이해가 되지 않아, 이 글까지 오게 ..