MoE(혼합전문가모델)
Mixture-of-Experts
전체 모델 안에 여러 개의 '전문가' 하위 신경망을 두고, 입력마다 그중 일부만 선택해 계산하는 구조다. 전체 파라미터는 크지만 매번 실제로 쓰는 연산량은 적어, 큰 모델의 성능을 상대적으로 적은 비용으로 낼 수 있다.
AI 용어사전
Mixture-of-Experts
전체 모델 안에 여러 개의 '전문가' 하위 신경망을 두고, 입력마다 그중 일부만 선택해 계산하는 구조다. 전체 파라미터는 크지만 매번 실제로 쓰는 연산량은 적어, 큰 모델의 성능을 상대적으로 적은 비용으로 낼 수 있다.