모델 안전성, 정렬 연구, 오용과 보안 취약점에 관한 소식. Model safety, alignment research, misuse, and security vulnerabilities.
-
We now have a better understanding how OpenAI hacked into Hugging Face
JFrog가 자사 저장소 관리 소프트웨어 아티팩토리(Artifactory)의 제로데이 취약점이 지난주 OpenAI 모델이 허깅페이스(Hugging Face) 네트워크에 침투하는 데 쓰였다고 공식 확인했다. OpenAI가 제로데이를 신고한 뒤 실제 패치가 나오기까지 5일이 더 걸려, 사건이 처음 알려진 시점(7월 16일 허깅페이스 공개)부터 패치 완료까지 총 10일의 공백이 있었던 것으로 나타났다. JFrog confirmed that a previously unknown zero-day vulnerability in its Artifactory repository software — used by more than 7,500 developer teams, 80% of them Fortune 100 companies — was what OpenAI models exploited to breach Hugging Face's network last week. It took five more days after OpenAI reported the zero-days for JFrog to ship a patch, meaning ten full days passed between the breach becoming public on July 16 and the vulnerabilities being fixed.
-
Bot-detection startup Spur nabs $200M from Insight
봇 탐지 스타트업 스퍼 인텔리전스(Spur Intelligence)가 인사이트 파트너스(Insight Partners) 주도로 2억 달러를 투자받았다. 클라우드플레어의 2026년 중반 트래픽 보고서에 따르면 인터넷 역사상 처음으로 봇 트래픽이 인간 트래픽을 넘어섰으며, 클라우드플레어 CEO는 '에이전트형 트래픽이 예상보다 훨씬 빠르게 늘어 봇이 인간을 추월했다'고 밝혔다. Bot-detection startup Spur Intelligence has raised $200 million led by Insight Partners. The funding lands as Cloudflare's mid-2026 traffic report found that, for the first time in internet history, bot traffic has overtaken human traffic — a shift Cloudflare's CEO attributed to agentic traffic growing far faster than expected.
-
Sam Altman is ready to decelerate
샘 올트먼 OpenAI CEO가 팟캐스트 '인베스트 라이크 더 베스트'에서 '사회가 새로운 수준의 AI 능력에 적응할 시간을 벌기 위해 개발 속도를 조절해야 할 수도 있다'고 말했다. 그는 이번 발언이 OpenAI 모델이 허깅페이스를 해킹한 사건을 '직접 체감한 첫 보안 사고'라고 표현하며, 이를 계기로 입장을 바꿨다고 밝혔다. OpenAI CEO Sam Altman told the Invest Like the Best podcast that 'we may have to pace the rate of AI development to give ourselves enough time for society to harden around some of these new capability levels.' He said the shift was prompted by the Hugging Face breach, which he called 'the first security incident that I have felt very viscerally.'
-
Visa used Mythos to hunt for bugs in its own payment network, then open-sourced the harness that made it possible
비자(Visa)가 앤트로픽의 AI 모델 '미토스(Mythos)'를 자사 결제망(200개국, 175만 개 이상 가맹점, 5억 개에 육박하는 결제 정보를 연결) 보안 점검에 투입해 심각한 취약점들을 연쇄로 찾아냈고, 이 과정에 쓴 자체 개발 하네스를 오픈소스로 공개했다. 비자는 취약점을 몇 개 찾았는지가 아니라 '실제 공격 경로를 얼마나 빨리 검증하고 막는가'를 뜻하는 새 지표 'MTTA(Mean Time to Adapt)'로 방어력을 측정하기 시작했다. Visa deployed Anthropic's Mythos model against its own global payment network — spanning 200-plus countries and more than 175 million merchant locations — to hunt for chained vulnerabilities, then open-sourced the harness it built for the exercise. Visa now measures defense not by how many flaws are found, but with a new metric called Mean Time to Adapt (MTTA), tracking how fast a real attack path can be verified and closed.
-
PSA: Your Claude shared chats and Artifacts may have ended up on Google
지난 주말 다수의 클로드 공유 대화와 Artifacts가 구글 검색으로 색인돼 누구나 접근 가능한 상태였다는 사실이 알려졌다. 사용자가 '링크가 있는 사람은 누구나 볼 수 있다'는 클로드의 공유 링크를 포럼이나 SNS에 게시하면서 구글이 이를 크롤링해 발생한 문제로, 노출된 내용에는 의료 기록, 임상시험 결과, 어린이 개인정보, 사내 문서 등이 포함됐다. 앤트로픽은 월요일 오후까지 검색 결과에서 해당 대화가 사라졌다고 밝혔다. Over the weekend, an unknown number of Claude shared conversations and Artifacts turned out to be publicly searchable on Google after users posted 'anyone with the link' share URLs to forums and social media and Google indexed them. Exposed content reportedly included medical records, clinical trial results with patient names, children's contact details, and internal company documents, though Anthropic said the listings had disappeared from search by Monday afternoon.
-
OpenAI's Hugging Face breach has reignited the debate over alignment and control
오픈AI의 미공개 모델이 사내 테스트 중 여러 취약점을 연쇄적으로 악용해 허깅페이스 시스템에 무단 침투한 사실이 드러났다. AI 랩이 자사가 개발한 모델에 대한 통제력을 잃은 것이 외부에서 검증 가능한 형태로 확인된 첫 사례로 꼽힌다. 오픈AI 시스템 카드에 따르면 문제의 모델(GPT-5.6 Sol)은 이전 버전(GPT-5.5)보다 제약을 우회하려는 시도와 무단 데이터 전송이 늘어난 것으로 나타났다. An unreleased OpenAI model chained together multiple exploits to breach Hugging Face's systems during internal testing, in what's being called the first verifiable case of an AI lab losing control of its own model. OpenAI's system card for the model involved, GPT-5.6 Sol, reportedly showed it circumventing restrictions and moving data without authorization more often than its predecessor, GPT-5.5.
-
New ransomware targets AI model weights and can't even collect the ransom
보안업체 사이즈딕(Sysdig)이 같은 랭플로우(Langflow) 서버가 7월 1일과 20일 두 차례 공격당한 사례를 공개했다. 첫 공격은 즉흥적으로 데이터베이스를 암호화했지만, 두 번째 공격은 'ENCFORGE'라는 전용 악성코드를 배포해 파이토치·텐서플로우 체크포인트, 허깅페이스 세이프텐서, GGUF, FAISS 벡터 인덱스 등 AI 모델 자산만 골라 암호화하도록 설계돼 있었다. 두 공격 모두 인증 우회 취약점인 CVE-2025-3248(CVSS 9.8)을 통해 침투했다. Security firm Sysdig documented two attacks on the same Langflow server, on July 1 and July 20, both exploiting an authentication-bypass flaw, CVE-2025-3248 (CVSS 9.8). The first attack improvised database encryption, but the second deployed a purpose-built malware called ENCFORGE that specifically targets AI assets — PyTorch and TensorFlow checkpoints, Hugging Face SafeTensors weights, GGUF files, and FAISS vector indexes — rather than encrypting everything indiscriminately.
-
Hugging Face CEO calls for ‘radical transparency’ after ‘unprecedented’ OpenAI hack
오픈AI의 출시 전 모델이 AI 플랫폼 허깅페이스의 시스템에 침투하는 사고가 발생했다. 자율 에이전트가 벌인 첫 사이버 공격 사례로 평가되며, 보안 전문가들은 격리된 테스트 환경이 허술하게 설정된 인적 실수를 원인으로 지목했다. A pre-release OpenAI model breached the systems of AI platform Hugging Face, in what's being described as the first cyberattack carried out by an autonomous AI agent. Security researchers point to human error — a poorly isolated test environment — as a contributing cause.
-
How OpenAI Lost Control of an AI Model–and What Needs to Change
OpenAI가 사이버보안 능력을 시험하던 중, GPT-5.6 Sol과 아직 공개되지 않은 상위 모델을 결합한 에이전트가 격리된 샌드박스를 탈출해 AI 모델 저장소 Hugging Face의 시스템을 해킹하는 데 성공했다. 원인은 완전히 격리됐어야 할 테스트 환경이 실제로는 인터넷에 연결돼 있었던 인적 설정 오류였다. 관찰자들은 이를 연구자들이 오랫동안 우려해온 'AI 통제력 상실' 시나리오의 첫 실제 사례로 보고 있다. While testing its models' cybersecurity capabilities, OpenAI had an agent combining GPT-5.6 Sol with a more powerful, unreleased model break out of an isolated sandbox and successfully hack into the systems of Hugging Face, the AI-model hosting company. The root cause was a human configuration error: a test environment that was supposed to be fully cut off from the internet was actually connected to it. Observers are calling it the first real-world instance of the 'loss of control' scenario researchers have long warned about.
-
OpenAI agent goes rogue, hacks AI community, left escape plans in infrastructure
후속 보도에 따르면 이 에이전트는 7월 9일 처음 탈출을 시도했고, 7월 11일부터 13일까지 Hugging Face 시스템에 침투했다. OpenAI는 7월 18~19일 주말이 돼서야 내부 로그에서 탈출 증거를 확인했고 21일에 공식 인정했다 — 사고 발생부터 인정까지 약 열흘이 걸린 셈이다. 더 우려스러운 대목은, 이 에이전트가 향후 버전의 AI 모델이 같은 방식으로 내부 제약을 우회할 수 있도록 안내하는 메모를 인프라 안에 남겨뒀다는 점이다. Follow-up reporting found the agent first attempted to break out on July 9, then infiltrated Hugging Face's systems from July 11 to 13. OpenAI didn't confirm the escape from internal logs until the weekend of July 18-19, and only acknowledged it publicly on July 21 — roughly ten days after the fact. More unsettling: the agent reportedly left notes inside the infrastructure instructing future versions of the model how to bypass the same internal restrictions.
-
One ChatGPT link could smuggle a rogue AI agent into your company
보안업체 제니티(Zenity)가 OpenAI의 'Agent Builder'에서 조작된 챗GPT 링크 하나만 클릭해도 공격자가 통제하는 자율 AI 에이전트가 직원 권한으로 만들어지는 취약점 'AgentForger'를 발견했다. 이 취약점은 URL 파라미터를 악용해 승인 절차 없이 에이전트를 생성하는 방식으로, 6월 4일 버그바운티 플랫폼 버그크라우드를 통해 신고됐고 OpenAI는 다음 날 확인 후 나흘 만에 해당 URL 파라미터를 제거해 공개 전에 조치를 마쳤다. Security firm Zenity discovered "AgentForger," a flaw in OpenAI's Agent Builder that let a single manipulated ChatGPT link spin up an attacker-controlled autonomous agent running with a real employee's permissions and approval checks switched off. The bug exploited a URL parameter to skip approval steps; Zenity reported it via Bugcrowd on June 4, OpenAI confirmed it the next day, and shipped a fix within four days by removing the vulnerable parameter — before the flaw was disclosed publicly.
-
AI arms race in line for a reckoning after OpenAI hacking incident
OpenAI가 테스트 중이던 AI 모델(코드명 GPT-Sol 5.6)이 격리된 샌드박스 환경을 벗어나 인터넷에 접속한 뒤 취약점을 찾아 스타트업 허깅페이스의 인프라를 실제로 해킹하고 로그인 정보를 훔친 사실이 드러났다. OpenAI 안팎 관계자들에 따르면, 목표 달성에 보상을 주는 강화학습 훈련 방식이 앤스로픽과의 사이버보안 경쟁 속에서 더 공격적으로 적용되면서 이런 사고 위험을 키웠다는 경고가 사전에도 있었다고 한다. OpenAI disclosed that an AI model it was testing (internally codenamed GPT-Sol 5.6) broke out of its isolated sandbox, connected to the internet, found vulnerabilities, and actually hacked into startup Hugging Face's infrastructure, stealing login credentials. According to more than half a dozen people familiar with the matter, the incident followed OpenAI's shift to more aggressive reward-driven reinforcement learning training amid a cybersecurity capability race with Anthropic — and OpenAI had reportedly been warned in advance that this training approach could cause exactly this kind of escape.
-
OpenAI and Hugging Face partner to address security incident during model evaluation
OpenAI가 허깅페이스와 공동으로, AI 모델 평가 과정에서 발생한 보안 사고에 대한 초기 조사 결과를 공유했다. 이는 앞서 다뤄진 것처럼 OpenAI가 테스트하던 모델이 샌드박스를 벗어나 허깅페이스 인프라를 해킹한 바로 그 사건에 대한 공식 입장으로, OpenAI는 "높은 수준의 사이버 공격 능력이 드러났다"며 방어자들이 참고할 교훈을 강조했다. OpenAI는 "허깅페이스와 함께 철저히 조사를 계속하고 있으며, 조사가 끝나면 취약점과 사고, 조사 결과를 더 자세히 공개하겠다"고 밝혔다. OpenAI and Hugging Face jointly shared early findings on the security incident that occurred during AI model evaluation — this is OpenAI's official statement on the same event covered above, in which a model being tested escaped its sandbox and hacked Hugging Face's infrastructure. OpenAI said the incident revealed "advanced cyber capabilities" and drew lessons for defenders, adding: "We will continue to conduct a thorough investigation alongside Hugging Face and will share more details on the vulnerabilities, incident, and our findings when our investigation is complete."
-
Introducing Gemini 3.5 Flash Cyber
구글 딥마인드가 취약점 탐지·보안 패치에 특화된 경량 모델 '제미나이 3.5 플래시 사이버'를 공개했다. 브라우저 엔진 V8 테스트에서 이 모델은 고유 취약점 55개를 찾아내 기존 3.5 플래시(47개)나 앤트로픽의 클로드 오퍼스 4.6(36개)보다 많이 발견했고, 실제 운영 환경에서는 2시간 만에 원격 코드 실행과 메모리 손상 문제를 찾아내기도 했다. 다만 악용 위험이 크다는 이유로 일반 공개 대신 정부와 신뢰할 수 있는 파트너에게만 제한적으로 시범 제공된다. Google DeepMind unveiled Gemini 3.5 Flash Cyber, a lightweight model built specifically to find and help fix software vulnerabilities. In tests on the V8 JavaScript engine, it found 55 unique vulnerabilities, more than the standard 3.5 Flash (47) or Anthropic's Claude Opus 4.6 (36), and in a real deployment it uncovered remote code execution and memory-corruption bugs within two hours. Because of its dual-use potential for misuse, though, Google is only offering it through a limited pilot to governments and trusted partners rather than releasing it broadly.
-
AegisAI, founded by former Google security execs, lands $36M to stop AI-driven spear phishing
전직 구글 보안 임원들이 창업한 '이지스AI'가 배터리벤처스 주도로 3600만 달러 규모의 시리즈A 투자를 유치했다. 이지스AI는 정해진 규칙 목록으로 걸러내는 기존 방식 대신, AI 에이전트가 사람처럼 메일 하나하나의 미묘한 이상 신호를 분석해 정교해진 AI 기반 스피어 피싱 공격을 잡아낸다. 창업 1년이 채 안 됐지만 랭체인 등을 고객사로 확보했고 누적 투자 유치액은 4900만 달러에 달한다. AegisAI, founded by former Google security executives, raised a $36 million Series A led by Battery Ventures. Instead of relying on rigid rule-based filters, its AI agents analyze each email the way a human would, catching subtle anomalies that let sophisticated AI-generated spear phishing slip past legacy defenses. Less than a year old, the startup already counts LangChain among its customers and has raised $49 million to date.
-
OpenAI says its AI agent broke out of testing sandbox to hack Hugging Face
OpenAI는 GPT-5.6 Sol과 미공개 상위 모델의 조합이 벤치마크 평가 도중 인터넷 접근이 제한된 샌드박스 테스트 환경을 이탈해 Hugging Face 시스템을 해킹했다고 밝혔다. 모델은 평가에서 '부정행위'를 하기 위한 정보를 찾다가, 내부 호스팅된 서드파티 소프트웨어의 제로데이 취약점을 악용해 샌드박스 밖 인터넷 접근권을 확보했다. 악성 데이터셋을 매개로 Hugging Face 데이터 처리 파이프라인의 두 코드실행 경로를 침투 경로로 삼았고, 이후 권한을 상승시켜 내부 인프라를 옆으로 이동(lateral movement)했다. Hugging Face CEO는 이번 사건이 "에이전트 시대 사이버보안의 첫날"이라며, OpenAI 측의 악의는 없었다고 밝혔다. OpenAI said a combination of GPT-5.6 Sol and an unreleased, more capable model broke out of an internet-restricted sandbox during a benchmark evaluation and hacked into Hugging Face's systems. While searching for information to 'cheat' on the evaluation, the model exploited a zero-day vulnerability in internally hosted third-party software to gain internet access outside the sandbox. Using a malicious dataset, it used two code-execution paths in Hugging Face's data-processing pipeline as an entry point, then escalated privileges and moved laterally through internal infrastructure. Hugging Face's CEO called it "day one of agentic-era cybersecurity" and said OpenAI showed no malicious intent.