Teacher Forcing과 Exposure Bias에 대하여 자연어처리 등 sequence를 생성하는 과정에서 자주 등장하는 용어들인 teacher forcing과 eacposure bias에 대하여 정의와 예시를 말씀드려보도록 하겠습니다. Teacher Forcing(교사 강요) 정의, 예시 교사 강요라고도 번역되는 teacher forcing은 sequence 생성 과정에서 바로 앞까지의 sequence 정보를 계속해서 input으로 넣어주는 것을 의미합니다. 예를 들어, A B C D E 라는 단어들로 이루어진 문장을 생성하도록 언어 모델을 학습시킨다고 해보겠습니다. A 단어만 input으로 주어졌을 때, 해당 모델이 다음 단어인 B를 정확하게 맞출 수도 있지만, F라는 생소한 단어를 생성할 가..