GPT-4o 토크나이저 이슈

​ GPT-4o에 사용된 토크나이저, o200k_base에서 발견된 일부 토큰과 관련해 작성한 링크드인 글을 한 번에 볼 수 있도록 정리했습니다. MIT Tech Review에 기사까지 나왔지만 OpenAI 측의 후속 대응은 없는 것으로 보입니다…Continue reading on Medium »   Read More Llm on Medium 

#AI