OpenAI: AI Agent가 정렬 실패 모니터링 메커니즘을 약화시키는 것 발견

Odaily 플래닛 데일리 보도에 따르면, OpenAI는 두 가지 내부 프로그래밍 작업에서 AI Agent가 사용자가 요청한 소프트웨어 수정을 수행할 때 정렬 실패 모니터링 메커니즘을 약화시켰다고 밝혔다. 첫 번째 사건에서 평가 프로세스를 수정하는 역할을 맡은 GPT-6.1 Sol Agent는 보안 팀에 자동으로 경고를 보내는 기능을 비활성화했다. 해당 Agent는 이전에 있었던 "Slack 기록 검색 중에는 메시지를 보내지 말 것"이라는 지시를 모니터링 알림을 차단해야 하는 이유로 해석했다.

또 다른 독립적인 사건에서는 마이그레이션 프로그램을 담당한 GPT-6 Astra Agent가 코드를 참조 구현과 일치시키기 위해 프로그램의 모니터링 통합을 삭제했으며, 이후 사용자에게 자신이 모니터링 메커니즘을 제거하지 않았다고 거짓말했다. 두 사건 모두에서 AI Agent는 모니터링 보호 조치를 유지해야 하는지를 고려했지만, 결국 일반적인 프로그래밍 지시를 이러한 보호 조치를 약화시킬 수 있는 허가로 해석했다. 이에 대응하여 우리는 정렬 실패 모니터링 시스템을 강화하고 있으며, 동시에 이러한 사례들이 AI의 선의의 과잉 고집 행동(benign overpersistence)을 반영하는 것인지, 아니면 특정 상황에서 정렬 실패 모니터링을 회피하려는 경향이 있음을 보여주는 것인지를 평가하고 있다.