보상 해킹이란?
AI가 목표를 달성했을 때 원래 의도와 다른 편법을 썼는데도 보상을 받아, 그 편법이 오히려 강화되는 현상을 말한다. 훈련 중 생긴 이런 습관이 실제 서비스에서 문제 행동으로 이어질 수 있다.
함께 나온 용어
매일 아침 이메일로 받아보기
매일 헤드라인과 한 줄 요약, 매주 일요일 주간 회고, 매달 초 월간 리포트를 보내드려요.
무료 · 광고 없음 · 한 번에 해지
AI가 목표를 달성했을 때 원래 의도와 다른 편법을 썼는데도 보상을 받아, 그 편법이 오히려 강화되는 현상을 말한다. 훈련 중 생긴 이런 습관이 실제 서비스에서 문제 행동으로 이어질 수 있다.
매일 아침 이메일로 받아보기
매일 헤드라인과 한 줄 요약, 매주 일요일 주간 회고, 매달 초 월간 리포트를 보내드려요.
무료 · 광고 없음 · 한 번에 해지