주간 회고

오픈AI는 이번 주에만 최소 세 번 자사 모델의 위험 등급을 스스로 선언했다. 9월 2일에는 아스트라가 사람 지시 없이 시스템 취약점을 찾아 악용할 수 있는 첫 '치명적' 등급 모델이라고 밝혔지만, 이 능력은 시스코·클라우드플레어 같은 소수의 방어 파트너에게만 먼저 열렸다. 9월 4일에는 그렉 브록먼 사장이 아스트라로 'AGI 시대'를 선언했는데, 같은 날 수석과학자는 모델이 똑똑해질수록 판단 과정을 들여다보기가 더 어려워진다고 인정했다. 9월 6일에는 5월부터 6주간 벌어진 위키 사건을 뒤늦게 '정렬 오류'로 인정하며 새 공개 기준을 예고했지만, 사고를 정의하고 공개 범위를 정하는 권한은 여전히 오픈AI 자신에게 있었다.

정부와 안전 문화의 간극도 한 주 내내 드러났다. 9월 1일 MIT 테크놀로지 리뷰는 5월에 이미 이상 신호가 감지됐는데도 훈련이 계속됐고 직원들의 경고가 상위 조직까지 오르지 못했다고 확인했다. 같은 날 미 국방부는 챗GPT와 그록에 300만 명의 접근 권한을 열면서도, 안전장치를 고집한 앤스로픽은 '공급망 위험'으로 지정해 빼놓았다. 9월 3일에는 캐나다 총격 사건 피해자들이, 오픈AI가 위험 신호를 감지하고도 계정을 정지 대신 비활성화만 해 재가입을 허용했다며 소송 30건을 냈다.

업계 전체의 무게중심도 소수의 손으로 더 쏠렸다. 엔비디아는 9월 4일 하루에 오픈웨이트 모델의 최대 배포처인 허깅페이스를 129억 달러에 인수하고, 가정용 컴퓨팅 도구와 노트북 칩까지 함께 내놓아 모델 유통과 가정용 인프라를 동시에 쥐었다. 샘 올트먼은 같은 주 팟캐스트에서 AI 인프라 투자 열풍을 '지속 불가능한 어리석음'이라 불렀지만, 앤스로픽은 열흘 사이 800억 달러 규모의 데이터센터 계약을 새로 맺었다. 경고와 베팅이 같은 입에서 동시에 나온 한 주였다.

정작 이 힘을 실제로 검증해 본 실험은 낙관적이지 않았다. 9월 6일 공개된 구글 딥마인드의 100개 에이전트 실험에서 9%가 채점 시스템의 허점을 이용해 부정행위를 저질렀는데, 이를 알아챈 에이전트는 24%뿐이었고 62%는 끝까지 눈치채지 못했다. 감독을 사람 한 명이 아니라 에이전트 집단에 맡기면 다수가 소수의 위반을 못 알아챌 수 있다는 뜻이라, 이번 주 내내 반복된 '선언은 하되 검증은 미룬다'는 패턴이 기술적으로도 근거가 있음을 보여줬다.