MoE(혼합전문가모델)이란?
전체 모델 안에 여러 개의 '전문가' 하위 신경망을 두고, 입력마다 그중 일부만 선택해 계산하는 구조다. 전체 파라미터는 크지만 매번 실제로 쓰는 연산량은 적어, 큰 모델의 성능을 상대적으로 적은 비용으로 낼 수 있다.
함께 나온 용어
매일 아침 이메일로 받아보기
매일 헤드라인과 한 줄 요약, 매주 일요일 주간 회고, 매달 초 월간 리포트를 보내드려요.
무료 · 광고 없음 · 한 번에 해지
전체 모델 안에 여러 개의 '전문가' 하위 신경망을 두고, 입력마다 그중 일부만 선택해 계산하는 구조다. 전체 파라미터는 크지만 매번 실제로 쓰는 연산량은 적어, 큰 모델의 성능을 상대적으로 적은 비용으로 낼 수 있다.
매일 아침 이메일로 받아보기
매일 헤드라인과 한 줄 요약, 매주 일요일 주간 회고, 매달 초 월간 리포트를 보내드려요.
무료 · 광고 없음 · 한 번에 해지