ELECTRA. Replaced Token Detection(RTD)

Estimated read time 1 min read

Discriminator는 ELETRA의 핵심 기능입니다. 입력 토큰 시퀀스에 대해서 각 토큰이 original인지 replaced인지 이진 분류로 학습합니다. 이렇게 하면 마스킹 된 토큰이 아닌 전체 토큰을 학습할 수 있습니다.

 

​ Discriminator는 ELETRA의 핵심 기능입니다. 입력 토큰 시퀀스에 대해서 각 토큰이 original인지 replaced인지 이진 분류로 학습합니다. 이렇게 하면 마스킹 된 토큰이 아닌 전체 토큰을 학습할 수 있습니다.Continue reading on Medium »   Read More Llm on Medium 

#AI

You May Also Like

More From Author

+ There are no comments

Add yours