Teacher Forcing이란? / Exposure Bias란?

Teacher Forcing과 Exposure Bias에 대하여

자연어처리 등 sequence를 생성하는 과정에서 자주 등장하는 용어들인

teacher forcing과 eacposure bias에 대하여 정의와 예시를 말씀드려보도록 하겠습니다.

 

 

Teacher Forcing(교사 강요) 정의, 예시

교사 강요라고도 번역되는 teacher forcing은 sequence 생성 과정에서

바로 앞까지의 sequence 정보를 계속해서 input으로 넣어주는 것을 의미합니다.

 

예를 들어, A B C D E 라는 단어들로 이루어진 문장을 생성하도록

언어 모델을 학습시킨다고 해보겠습니다.

 

A 단어만 input으로 주어졌을 때, 해당 모델이 다음 단어인 B를 정확하게 맞출 수도 있지만,

F라는 생소한 단어를 생성할 가능성도 충분히 있습니다.

 

그런데 다음 과정에서 우리는 A B 문장에 대하여 C를 뒤에 예측하도록 학습시키고 싶은데,

A F 문장을 그대로 input으로 주게된다면 뒤에 따라오는

C D E sequence에 대한 정보를 학습시키기 어려워집니다.

 

따라서, 학습 단계에서는 A 다음에 B 단어를 맞추지 못했더라도,

다음 input으로는 A B를 강제로 주어 C를 예측하게 학습시켜

주어진 sequence 전체를 배울 수 있도록 하는 것이 teacher forcing의 예시라고 할 수 있습니다.

반응형

Exposure Bias 정의, 예시

이제 학습이 완료된 언어 모델에 대하여

새로운 문장으로 테스트 혹은 추론을 진행한다고 가정해보겠습니다.

 

학습 단계에서는 A 다음 B가 아닌 F를 예측했더라도 teacher forcing으로 교정이 가능했지만,

테스트 단계에서는 A 다음 F로 잘못 예측을 했다면, B라는 답을 알려줄 수 없기에

A F라는 생소한 sequence에 대하여 다음 단어를 예측해야하는 상황에 놓이게 됩니다.

 

이후 A F 뒤에 예측된 엉뚱한 단어를 포함한 문장에 대해서도 또 다음 단어를 예측해야하고,

전체 sequence의 의미가 산으로 갈 수 있게 되는 것입니다.

 

이렇게 추론 단계에서 중간 sequence의 잘못된 예측으로

뒤의 sequence까지 영향을 받을 수 있는 문제를 exposure bias라고 하며,

현재 언어 모델 등 sequence 생성 모델에 대하여 근본적으로 해결해야하는 문제로 꼽힙니다.