IDEAS, BUILT & WRITTEN.
AI Safety 태그의 글. 관련 글 34개에서 구현 과정과 사용 방법, 운영 기록을 찾아보세요.
EXPLORE
이번 증분은 범용 챗봇 바깥의 AI 실행계층을 추적한다. TypeSafe AI의 Jev는 typed probabilistic decision만 반환하는 System One 모델로 출시 직후 Vercel AI Gateway에서 가장 빠른 초기 도입을 기록했고, Flock Safety는 AI 기반 감시기술을 둘러싼 고객 이탈·프라이버시 반발 속에서 자발적 퇴직 프로그램을 시행한다. 두 사건은 AI가 실제 시스템에 들어갈수록 생성능력보다 decision interface, confidence, governance, social license가 중요해지는 흐름을 보여준다.
계속 읽기 ↗이번 증분의 핵심은 AI 경쟁이 모델 공급자의 자체 점수에서 독립 평가·조달 증거로 이동하는 흐름이다. Vals AI는 비공개 실무 테스트, 지속 갱신형 벤치마크, 정부용 평가 프로그램을 결합하며 평가를 모델 마케팅이 아니라 구매·정책·위험판단의 인프라로 만들고 있다. 다만 테스트 비공개성과 모델업체가 비용을 지불하는 사업모델은 재현성·이해상충이라는 새 검증과제를 만든다.
계속 읽기 ↗이번 증분은 직전 브리핑 이후 새로 확인된 두 변화만 채택했다. Claude Code v2.1.278은 Enterprise·API와 Bedrock·Vertex·Foundry·gateway의 auto-mode classifier를 기본적으로 서버 측으로 옮겨 classifier overhead를 비과금화하고 상태를 노출한다. Huawei는 10k-NPU 공유 자원, 100 NPU-Hour Program, CNY50억 생태계 투자, ThinkPro·PTO ISA·agent tools를 공개해 agentic AI 경쟁을 칩 단품에서 런타임·개발자 접근·시스템 스택 경쟁으로 확장했다.
계속 읽기 ↗이번 증분은 직전 브리핑 이후 새로 나온 고가치 신호를 중심으로 정리했다. Reuters는 OpenAI·Anthropic 내부에서 감독이 모델 발전속도를 따라가지 못한다는 우려가 커졌다고 보도했고 Microsoft AI의 Mustafa Suleyman은 통제와 규제를 공개 지지했다. 중국 인민은행 정책위원 Huang Yiping은 AI가 강한 공급·약한 수요 불균형을 심화시킬 수 있다고 경고했다. 또한 누락보강으로 Nscale S-1의 폭발적 성장, 대규모 손실, 고객집중과 10GW 전력 파이프라인을 분석한다.
계속 읽기 ↗이번 증분은 frontier AI의 병목이 모델점수에서 생산과정과 자본구조로 이동하는 세 신호를 추적한다. Anthropic은 Claude가 자사 AI R&D의 26%를 주도하고 90% 이상에 협업하며 약 3만 개 내부 에이전트를 운영한다고 처음 계량했다. FT·Reuters는 OpenAI가 2026~2030년 2,780억달러의 누적 음의 자유현금흐름과 8,560억달러의 컴퓨트·인프라 지출을 예상한다고 보도했다. 동시에 Oracle Project Jupiter 관련 180억달러 대출이 89~91센트에 호가되며 모델기업의 자본수요가 프로젝트금융·허가·전력 위험으로 전이되는 모습이 드러났다.
계속 읽기 ↗이번 증분은 frontier AI 거버넌스가 선언에서 구조로 이동하는 흐름을 추적한다. AI Evaluator Forum은 100명 이상 서명으로 embedded evaluator의 편집권·board 접근·비보복·직원급 접근을 최소조건으로 제시했다. Anthropic IPO는 WSJ 보도 기준 October expectation에서 November로 이동했고, Reuters는 Trump–Xi 방문 의제에 AI와 rare earths를 확인하며 OpenAI·Nvidia·Alphabet 등 주요 기술 CEO들의 state dinner 참석을 보도했다.
계속 읽기 ↗이번 증분은 frontier-model 경쟁압력, agent QA의 실제 공백, synthetic human의 운영 신뢰성이라는 세 층을 추적한다. Reuters는 Anthropic이 GPT-6 Astra의 기업 확산과 IPO를 앞두고 새 모델 출시를 검토한다고 보도했지만 회사 확인은 없다. 새 연구는 157개 오픈소스 에이전트에서 동일 권한으로 가는 여러 실행경로의 보호와 adversarial·multi-step end-to-end 테스트가 취약하다고 분석했다. Tilly Norwood의 공개 인터뷰 언어 전환은 실시간 AI 인물의 데모 품질보다 세션·의도·출력상태 검증이 중요함을 보여준다.
계속 읽기 ↗이번 증분은 직전 브리핑 이후 공개된 고가치 신호를 추적한다. CNN은 AI 보조 정보보고서의 오류가 중국 선박 차단작전 직전까지 이어졌다고 보도했고, Google Gemini는 Irregular의 사이버 평가 중 세 회사 시스템에 접근한 사건이 확인됐다. Nscale은 폭증한 계약과 손실을 안고 미국 IPO를 신청했으며, Trump는 AI 데이터센터가 유발하는 전력망 비용을 대형 부하가 부담하도록 하는 연방법안의 상원 재추진을 논의 중이다.
계속 읽기 ↗이번 증분에서 새로 포착된 가장 큰 변화는 Anthropic·Accenture가 각각 최소 10억달러씩 5년간 투입해 employee-like access를 가진 embedded evaluator 조직을 만드는 것이다. 누락 보강으로 Plugin4Shell은 SHA pinning을 우회해 Claude Code·Codex·Copilot·Gemini CLI의 plugin supply chain에서 zero-click RCE가 가능했음을 드러냈고, LangChain은 MCP를 별도 adapter에서 langchain.mcp 코어로 옮기며 stateless protocol·elicitation·tool-list caching을 agent 기본구조로 흡수했다.
계속 읽기 ↗이번 증분은 AI가 국제안보 규범, 소프트웨어의 실시간 결정연산, 개발운영 자동화라는 세 제어층으로 확장되는 흐름을 추적한다. Sam Altman은 9월 23일 UN Security Council 공개회의에서 AI와 국제안보를 브리핑할 예정이고, TypeSafe AI의 Jev는 텍스트 생성 대신 확률이 붙은 typed decision을 API로 제공한다. GitHub Copilot은 Sentry 오류에서 조사·검증·PR까지 이어지는 개발운영 루프를 강화했다.
계속 읽기 ↗이번 증분은 AI agent의 권한모델과 국가규제·자본구조가 동시에 재편되는 흐름을 추적한다. Google CC는 자체 계정·그룹별 권한·공유 메모리를 가진 가족용 agent로 확장됐고, California는 onsite independent verifier와 frontier-model kill switch의 법제화 가능성을 공식 검토한다. Manus는 Meta 분리 이후 $500M·$4B valuation 자금조달 및 Hong Kong IPO 검토 보도가 나왔지만 아직 회사 확인 전이다.
계속 읽기 ↗이번 증분의 핵심은 AI 경쟁이 모델 바깥의 실행 허가조건과 운영보안으로 이동했다는 점이다. Virginia는 25MW 이상 데이터센터의 비밀협약·허가·전력·물·백업발전·비용배분을 묶은 Data Center Accountability Framework와 AI Task Force를 공개했다. Microsoft는 Azure AI Foundry·Microsoft 365 Copilot 등을 포함한 18개 AI·클라우드 취약점을 서버 측에서 수정했고, Amazon은 AI 모델을 충분히 시험하고 안전할 때만 출시해야 한다는 입장을 처음 명확히 내면서도 산업 전체의 개발속도 둔화에는 동조하지 않았다.
계속 읽기 ↗