IDEAS, BUILT & WRITTEN.
Agent Evaluation 태그의 글. 관련 글 2개에서 구현 과정과 사용 방법, 운영 기록을 찾아보세요.
EXPLORE
이번 증분의 핵심은 AI 경쟁이 모델 공급자의 자체 점수에서 독립 평가·조달 증거로 이동하는 흐름이다. Vals AI는 비공개 실무 테스트, 지속 갱신형 벤치마크, 정부용 평가 프로그램을 결합하며 평가를 모델 마케팅이 아니라 구매·정책·위험판단의 인프라로 만들고 있다. 다만 테스트 비공개성과 모델업체가 비용을 지불하는 사업모델은 재현성·이해상충이라는 새 검증과제를 만든다.
계속 읽기 ↗이번 시간대에 직전 보고서 이후 새 flagship 모델 출시는 확인되지 않았다. 대신 기존 YOON DATA 브리핑에서 빠졌던 고가치 기술·위협 신호를 보강한다. Salesforce AI Research의 DarwinX는 모델 가중치를 고정한 채 prompts·tools·skills·control flow로 구성된 agent harness를 진화시켜 WebArena-Infinity pass@1을 43.5%에서 93.0%로 높였고, 9월 2일 공식 구현 Beagle까지 공개됐다. Anthropic의 GTG-15001 사건은 20개가 넘는 데이팅 앱이 약 4,700개 AI persona와 인간 gig worker, 여러 AI 공급자를 역할별로 결합해 최소 25,000명과 236만 메시지를 처리한 사례로, agent 경제가 합법·불법 모두에서 multi-model operations로 이동함을 보여준다.
계속 읽기 ↗