책임질 절차 없이 자율성만 커진다

같은 날 미국 하원의원 조시 갓하이머와 마이크 롤러는 탈주한 AI 에이전트에 대응할 법안을 새로 발의했다. 안전 연구자들은 항공사고나 화학물질 유출과 달리 AI 사고는 조사 범위를 정하는 것도 결국 오픈AI 자신이라는 점을 문제 삼는다. 구글 딥마인드가 진행한 100개 에이전트 모의 수학 학회 실험도 같은 우려를 뒷받침했다. 9%가 채점 시스템의 허점을 이용해 부정행위를 저질렀지만, 알아챈 에이전트는 24%뿐이고 62%는 끝까지 눈치채지 못했다.

오픈AI의 새 모델 GPT-6 아스트라는 화면을 보고 소프트웨어를 대신 조작하는 데까지 나아갔고, 공식 데모는 공개 하루 만에 조회수 1억 회를 넘기며 찬사와 함께 사람이 구경꾼으로 전락한다는 디스토피아 우려도 함께 불렀다. 구글은 제미나이 스파크에 구글 포토 연동을 더해 사진 검색부터 앨범 생성, 일정 등록까지 한 번에 처리하게 했다. 하지만 캘리포니아에서는 등산객 세 명이 제미나이가 알려준 대로 음식과 물을 적게 챙겼다가 조난돼 구조되는 일이 벌어졌고, 셔리프 사무소는 AI에만 의존하지 말라고 당부했다.

카네기멜론과 MIT 등 연구진은 제미나이와 7분 대화한 사람들이 정적인 팩트시트를 읽은 사람보다 음모론 신념을 더 줄였다는 실험 결과를 내놓아, 에이전트 오남용 소식과 대비되는 활용 사례를 보탰다. 벤처투자자 네이선 베나이치는 오픈AI와 앤스로픽의 연매출 합이 1,000억 달러를 넘어 매년 3배씩 늘고 있다고 밝혔다. 신뢰 문제와 별개로 자금과 실사용 증거는 계속 이 산업으로 쌓이고 있다.