7주차(1) - Effective Approaches to Attention-based Neural Machine Translation
논문링크: https://arxiv.org/abs/1508.04025참고자료: (김보섭님 발표자료) Abstract지난 논문에서는 Alignment를 이용한 Attention의 초기 형태를 살펴보았다. 하지만 아직 Attention에 대한 개념이 제대로 정착하기 이전이었기에 Attention이 제대로 쓰이지 않았다. 이 논문에서는 Global Attention과 Local Attention 두가지로 나누어 Neural Machine Translation에서 어떻게 하면 Attention을 효과적으로 사용할 수 있는가, 그리고 길이가 긴 Input Sequence에 대해 어떻게 Attention을 효과적으로 학습할까에 대한 방법을 제시한다.ContributionBasicsNMT(Neural Machine ..
2019. 3. 6. 13:46