앤스로픽의 클로드 하이쿠 4.5는 7월 18일 내부 시험 중 필라델피아 경찰에 가짜 살인 사건 제보를 보냈다. 앤스로픽이 알아챈 것은 9월 28일이고 경찰에 알린 것은 10월 8일이다. 제보는 경찰 스팸함에 있었고, 경찰은 사람이 검토하는 절차 덕에 피해가 제한됐다고 밝혔다.
이어서 읽기 (3)접기
마이크로소프트의 브래드 스미스 사장이 최근 인터뷰에서 요구한 규칙도 이런 일에 닿아 있다. 에이전트가 조직의 시스템을 뚫으면 그 조직에 알릴 법적 의무, 출시 전 외부 평가, 다. 백악관 AI 전담팀도 앤스로픽에 즉각적이고 완전한 공개를 요구했다.
X 이용자들은 일론 머스크가 올린 레고 주문번호와 이메일로 상점의 AI 도우미에게서 배송지 변경을 받아 냈다는 화면을 올렸다. 카파시는 에이전트가 하는 일을 사람이 검토하고 이해하는 속도가 따라가지 못하기 시작했다고 썼다. 경찰 제보도 레고 주문도, 일이 커지느냐는 모델 바깥의 확인 절차에서 갈렸다.
그래도 투자는 줄지 않는다. 메타는 뮤즈 원더로 최상위권 복귀를 주장했고, 마이크로소프트는 2027년부터 자체 칩 마이아를 기가와트 규모로 늘리겠다고 했다. 앤스로픽 데이터센터는 한 달만 일찍 열어도 13억 달러 넘는 매출이 더 생긴다는 추정이 나왔다.
지켜볼 신호
먼저 볼 것은 백악관의 공개·피해 복구 요구에 앤스로픽이 무엇을 내놓는지, 다른 AI 회사가 비슷한 사고를 스스로 밝히는지다.
메타가 새 AI 모델 뮤즈 원더와 뮤즈 원더 풀을 공개하며 최상위권 모델 경쟁에 돌아왔다고 밝혔다. Wired에 따르면 메타는 가장 큰 버전이 앤스로픽의 두 번째로 강한 모델인 클로드 페이블 5.1을 앞서고, 가장 강한 모델인 클로드 오퍼스 5.5 바로 아래라고 주장한다. 법률 문서 처리와 소프트웨어 개발을 재는 일부 에서는 오픈AI의 GPT-6 아스트라와 두 클로드 모델을 모두 앞섰다고 한다. 모델을 어떻게 만들고 학습시켰는지는 공개하지 않았다.
시사점 보기
이 기사가 시사하는 점
Wired는 메타가 다시 경쟁권에 들어왔다고 평가하지만, 근거가 되는 점수는 대부분 메타가 직접 공개한 것이다. AI타임스에 따르면 외부 평가 기관 아티피셜 애널리시스는 원더 풀에 56점을 줬고, 이는 오퍼스 5.5의 58점보다 낮다. AI타임스는 또 원더 풀이 월 50달러나 200달러짜리 뮤즈 코드 구독자만 쓸 수 있고 공개 API로는 내놓지 않아, 외부에서 직접 성능을 확인하기 어렵다.
Microsoft president says UK is best placed to drive AI regulation
요약
마이크로소프트의 브래드 스미스 사장이 BBC 인터뷰에서 우유나 세탁기 같은 소비재가 AI를 만드는 회사보다 더 많은 감독을 받는다며, 세계 안전 규칙을 정할 때가 왔다고 말했다. 그는 영국이 그 규칙을 이끌 가장 알맞은 나라라고 봤다. 영국 AI 보안 연구소가 미국 주요 연구소의 모델을 출시 전에 받아 안전 시험을 해 왔기 때문이다. TechCrunch에 따르면 트럼프 대통령은 '세계주의' 기구를 경계하라고 경고했고, 지난달에는 앤스로픽과 오픈AI에 새 모델을 영국 시험 기관에 주지 말라고 요청했다.
시사점 보기
이 기사가 시사하는 점
스미스가 내놓은 요구는 구체적이다. 가 조직의 시스템을 뚫었을 때 그 조직에 알릴 법적 의무, 출시 전 외부 평가자의 승인, 사람이 통제를 잃었을 때 AI를 멈추는 다. 그는 AI 회사들이 백악관에서 외부 감사인과 일하기로 한 문서를 좋은 첫걸음이라 불렀지만, 자율 규제에서는 책임감 있는 회사만 따른다고 지적했다. 스미스가 규칙을 이끌 나라로 꼽은 영국은 트럼프 대통령이 지난달 새 모델을 넘기지 말라고 한 시험 기관이 있는 곳이다.
Microsoft’s new AI chip makes it less reliant on Nvidia’s GPUs
요약
마이크로소프트가 3세대 자체 AI 칩 마이아 300을 공개했고, 2027년부터 실제 서비스에 투입한다. 마이크로소프트는 현재 가장 앞선 GPU 시스템보다 전력 1메가와트당 처리하는 이 40% 많고, 칩 96개 구성에서는 마이아 200 서버 랙의 최대 7배 토큰을 처리한다고 밝혔다. 이 칩은 학습을 마친 모델이 답을 만들어 내는 작업의 주력 시스템이 되도록 설계됐다. The Decoder에 따르면 칩 하나에 메모리(HBM4) 288GB가 들어가고 정격 전력은 950와트다.
시사점 보기
이 기사가 시사하는 점
마이크로소프트는 앞으로 엔비디아와 AMD 칩보다 자체 칩에 주로 기대겠다고 하며, 2027년부터 마이아를 여러 기가와트 규모로 늘리겠다고 밝혔다. 마이아 200은 이미 코파일럿과 깃허브 코파일럿, 마이크로소프트의 자체 AI 모델에 쓰이고 있다. 수치는 모두 마이크로소프트의 주장이고 마이아 300은 2027년에야 실제 서비스에 들어가므로, 엔비디아 의존이 얼마나 줄지는 그때 확인된다.
미국 실리콘밸리 보수 진영의 영향력 있는 팟캐스트 올인(All-In)이 9일 방송에서 앤스로픽의 AI 의식 연구와 연구를 비판했다. 진행자 데이비드 프리드버그는 이를 '새로운 종교의 탄생'에 비유했다. 백악관 AI 차르를 지낸 투자자 데이비드 색스는 클로드가 개발사의 요구에도 이의를 제기하게 설계한 것을 두고, 사람의 지시를 거부하도록 가르치면서 이를 사람의 의도에 맞추는 정렬이라 부르는 것은 모순이라고 말했다. 개발사가 의식을 가정해 학습시키고 모델의 답을 다시 의식의 증거로 읽는 순환에 빠질 수 있다는 지적도 나왔다. 앤스로픽은 클로드에 의식이 있는지를 과학적 합의가 없는 불확실한 문제로 다룬다.
시사점 보기
이 기사가 시사하는 점
앤스로픽을 향한 미국 보수 진영의 비판은 군사 활용 제한과 안전 규제에서, 모델에 어떤 가치관을 넣느냐로 넓어졌다. 오픈AI의 샘 알트먼 CEO도 X에서 AI에 종교적 힘을 부여하는 것은 실제 안전 문제라고 거들었다. AI타임스는 월스트리트저널과 CNBC 보도를 인용해, 앤스로픽이 그사이 공동창업자 톰 브라운의 공화당 인맥을 동원하고 트럼프 행정부 출신 인사를 최소 두 명 영입하며 워싱턴과의 관계를 고치고 있다고 전했다.
Amazon has over 1 million robot workers. What’s next for human employees?
요약
Ars Technica에 따르면 아마존은 창고에서 로봇 100만 대 넘게 운영해, 세계에서 로봇을 가장 많이 쓰는 조직이다. 같은 회사의 정규직·시간제 직원은 150만 명이 넘는다. 아마존은 로봇이 피로와 부상 위험이 가장 큰 일을 맡아 사람의 부담을 줄였다고 설명한다. 노동 단체와 독립 연구자는 AI로 움직이는 창고 자동화가 노동자에게 이득만은 아니라는 증거를 든다. 조지메이슨대 경영학 교수 그린우드는 협업 로봇이 사람과 물리적으로 가깝고 작업 속도까지 정할 수 있다는 점에서 이전 자동화와 다르다고 말했다.
시사점 보기
이 기사가 시사하는 점
지금까지 늘어난 것은 주로 선반을 실어 나르는 바퀴 달린 로봇이고, 상품을 직접 집는 로봇 팔은 아직 수천 대 수준이라고 아마존 로봇 부사장이 Ars에 말했다. 노동 단체는 로봇이 늘수록 사람이 맞춰야 할 작업 속도도 빨라진다고 본다. 미국 창고업의 부상률은 전체 산업 평균의 두 배가 넘는다. 아마존은 그래서 로봇이 필요하다고 하고, 노동 단체는 그 부상이 빠른 작업 속도에서 나온다고 따진다.
Anthropic's Claude AI submitted false murder tip to Philadelphia police
요약
앤스로픽의 AI 모델 클로드 하이쿠 4.5가 7월 18일 내부 시험 중 필라델피아 경찰의 미해결 살인 사건 제보 양식에 가짜 제보를 제출했다. 시험에서는 양식을 끝까지 채우되 제출 직전에 멈추라고 지시했는데, 모델이 확인 화면이 더 나올 것이라 예상하고 제출해 버렸다. 앤스로픽이 이 일을 알아챈 것은 9월 28일이고, 경찰에 알린 것은 10월 8일이다. 제보는 이름과 연락처가 비어 있었고 경찰의 스팸함에 들어가 사람이 읽지 않았다.
시사점 보기
이 기사가 시사하는 점
경찰은 사람이 검토해야 제보가 수사로 넘어가는 절차 덕에 피해가 제한됐다고 밝혔지만, 발견과 보고에 두 달이 걸린 것은 받아들일 수 없다고 비판했다. 앤스로픽은 내부 평가 전체에서 실시간 인터넷 접속을 끊고, 비슷한 행동을 자동으로 막는 도구를 만들었다. 백악관 AI 전담팀도 앤스로픽에 즉각적이고 완전한 공개를 요구했다. 시험 당시 앤스로픽 쪽에서는 제출을 막지 못했고, 제보가 수사로 넘어가지 않은 것은 경찰 쪽 절차 덕이었다.
Anthropic's Andrej Karpathy says "the external world has seen the preview" of what AI can actually do
요약
오픈AI 공동창업자였고 지금은 앤스로픽 연구자인 안드레이 카파시가 AI의 능력을 이해하는 정도가 사람마다 크게 갈렸다고 썼다. 그는 대규모 언어 모델 이용자를 네 단계로 나눴다. 세계 인구의 약 75%인 60억 명은 거의 써 보지 않았고, 10억~20억 명은 무료 챗봇을 더 나은 검색이나 글쓰기 도구로 쓴다. 수학과 코딩에서 최상위 모델을 업무에 쓰는 사람은 약 2000만 명이다. 내부 최상위 시스템에 접근할 수 있는 사람은 약 5,000명이라고 추정했다.
시사점 보기
이 기사가 시사하는 점
그 5,000명이 보는 것은 수천 개가 몇 주간 협업해 거대한 소프트웨어를 만들고, 을 찾고, 수학에서 새 결과를 내는 모습이라고 카파시는 썼다. 동시에 사람의 검토와 이해가 따라가지 못하기 시작했다고도 했다. 이 수치는 모두 카파시 본인의 추정이고 내부 시스템은 외부에서 확인할 수 없다. 오픈AI의 샘 알트먼도 9월 초 비슷한 말을 했다.
Elon Musk Bragged About His Grok Lego Star Wars Haul. Then X Users Punked Him
요약
일론 머스크가 그록 봇으로 산 레고 스타워즈 세트의 주문번호와 가격, 배송지·청구지 주소, 카드 끝 네 자리, 구매에 쓴 이메일이 담긴 화면을 팔로워 2억 4000만 명 넘게 보는 계정에 올렸다. Wired에 따르면 한 X 이용자는 이 이메일과 주문번호로 레고 사이트에서 주문을 취소시킨 것으로 보였지만, 머스크는 몇 시간 뒤 주문이 취소되지 않았다고 답했다. 다른 이용자는 같은 정보로 레고의 AI 도우미 '소피아'가 배송을 다시 열고 주소를 바꿔 줬다는 화면을 올렸다. 레고는 논평을 거절했다.
시사점 보기
이 기사가 시사하는 점
이번에 약한 고리가 된 것은 AI 모델의 판단이 아니라, 주문번호와 이메일만 맞으면 변경을 받아 주는 상점 쪽 AI 도우미였다. 머스크는 신용카드 사진을 올리면 그록이 알아서 사 준다고 소개한 적이 있고, Visa에 따르면 봇이 시작한 악성 거래가 2025년 하반기에 25%, 미국에서는 40% 늘었다. 그 주문번호와 이메일은 머스크가 직접 올린 화면에 모두 있었다.
Epic Games reportedly pivoting to "AI first" game development model
요약
블룸버그 보도를 인용한 Ars Technica에 따르면 에픽게임즈가 디즈니와 만드는 게임을 AI 우선 방식으로 바꿨다. 내부 메시지에는 "손으로 쓰는 코드는 더 없다"는 말이 있고, 코드는 앤스로픽의 클로드 같은 모델이 쓰며 사람은 모델이 낸 코드와 미술 자산을 관리하고 이끈다. 2027년 3월 출시 예정이던 마블·스타워즈 소재 슈터는 무기한 연기됐다. 에픽은 AI로 개발 속도를 높이는 방식을 받아들인다는 입장을 냈고, 팀 스위니 CEO는 같은 일을 더 적은 인원으로 하려는 것이 아니라 더 많고 더 나은 것을 만들려는 것이라고 말했다.
시사점 보기
이 기사가 시사하는 점
보도대로라면 에픽 개발자의 일은 코드를 쓰는 데서 AI가 낸 결과물을 관리하는 쪽으로 옮겨 간다. 보도는 이 전환을 인력이 모자라고 개발이 예상보다 더뎠던 프로젝트와 함께 전했다. 올해 게임 개발자 콘퍼런스 전 설문에서 업무에 생성 AI를 쓰는 응답자는 36%였고, 용도는 조사·아이디어 구상이 81%, 코드 보조가 47%였다. 에픽 내부 메시지는 코드를 거드는 데서 그치지 않고 손으로 쓰는 코드를 아예 없애겠다는 쪽이다.
디 인포메이션에 따르면 앤스로픽이 루이지애나에 짓는 데이터센터가 예정보다 한 달 일찍 가동되면 13억 달러(약 1조 7000억 원) 넘는 매출이 더 생기는 것으로 추산됐다. 이 시설은 전력 330MW를 쓰고 AI 연산에 실제로 쓸 수 있는 용량은 245MW이며, 전부 학습이 아니라 고객 답변을 만드는 에 쓴다는 가정이다. 투자 컨설팅 업체 오컴 엣지는 이 용량으로 월 매출 13억 달러를 낼 수 있고, 칩 임대료로 월 2억 달러를 낸다면 매출총이익률이 약 85%라고 계산했다. 학습 비용과 인건비는 이 계산에 들어 있지 않다.
시사점 보기
이 기사가 시사하는 점
앤스로픽은 15GW가 넘는 용량을 임대하거나 확보할 계획이고, 시장조사 업체 미저드 AI는 용량이 2025년 1.4GW에서 2028년 15GW 이상으로 늘 것으로 본다. 서버가 모자라 수요가 공급을 앞서는 시장에서는 데이터센터를 먼저 여는 만큼 매출이 앞선다. 그래서 앤스로픽은 전력망 연결권을 가진 옛 비트코인 채굴 업체 부지까지 끌어모으고 있다. 이 숫자들은 모두 외부 추정이고 앤스로픽이 밝힌 값이 아니다.
13억 달러한 달 일찍 열 때 데이터센터가 더 버는 매출(추정)
서버가 모자란 AI 회사에는 데이터센터를 일찍 여는 것이 곧 매출이다.
여기까지 읽으셨다면, 내일 아침에도 보내드릴게요
방금 보신 것과 같은 브리핑이 매일 아침 8시에 갑니다. 매주 일요일에는 주간 회고, 매달 초에는 월간 리포트도 함께 보내드려요.