MoE란?

MoE는 여러 개의 작은 전문가 모듈을 두고, 질문마다 그중 일부만 골라 쓰는 모델 구조다. 전체 크기는 크지만 실제 계산에 쓰는 부분은 작아 비용이 덜 든다.