최고 수준의 「AI 오찬회」

원문 저자: 샤오징

원문 편집: 수양

원문 출처: 텐센트 테크놀로지

한 번의 오찬에 20여 명의 테크 거물들이 참석했고, 끝내 "도덕적으로 구속력 있는" 신사협정이 나왔다.

현지 시간 9월 29일, 트럼프는 백악관에서 "미국 AI 산업 거물들"을 위한 연회를 열었다. 외신이 회의 전에 입수한 명단에 따르면 총 33명이 참석을 확정했으며, 테크 기업 임원, 투자자 및 미국 정부 관료를 포함했다. 백악관이 공식적으로 "초지능 회의 및 오찬"이라 명명한 이 행사의 참석자 명단은 AI 산업 체인 전체를 거의 망라했다.

그중에는 낯익은 얼굴이 대거 있었다. 젠슨 황, 나델라, 아모데이, 저커버그, 머스크 등이다.

일일이 열거하지는 않겠다. 아래 명단을 보자:

"AI 오찬 서밋" 참석자 명단 (AI 생성, 인공 검수)

트럼프는 새로운 연방 AI 안전 규제를 추진하지 않겠으며, 업계가 스스로 자율 규제하도록 하는 쪽을 더 선호한다고 명확히 밝혔다. 그는 이미 "매우 강력한 자기 규제"를 목격했다고 말하면서, 동시에 정부가 AI 산업을 감독할 10인 위원회 설립을 고려하고 있다고 밝혔다.

같은 날 트럼프는 여섯 개 테크 기업 책임자와 함께 "도덕적으로 구속력 있는" AI 문서라 불리는 것에 서명했다. 또한 이 협정은 업계에 자발적인 것이며, 백악관은 AI 산업 발전을 유도하는 역할만 맡는다.

그날 늦게 트럼프는 다시 행정명령에 서명하여 연방 정부 차원의 "인공지능"을 공식적으로 "초지능"(Super Intelligence, SI)으로 개명했다.

거물들의 자리 배치

이번 만남의 장소는 백악관 이스트룸이었으며, 트럼프는 심지어 자신의 Truth 소셜 계정에 좌석표까지 공개했다. 그는 가운데에 앉았고, 오른쪽에는 저커버그와 젠슨 황, 왼쪽에는 머스크와 피차이가 있었다.

"AI 오찬 서밋" 식사 좌석도

외신 보도에 따르면, 현장의 모든 임원은 트럼프 뒤에 한 줄로 늘어섰고, 마치 단체사진을 찍는 것 같았다. 트럼프는 이들을 "세계에서 가장 위대하고 가장 똑똑한 사람들"이라며 열렬히 칭찬했고, "이들이 하는 일은 정말 믿기지 않는다"고 말했다. 그는 농담도 몇 마디 잊지 않았다. 젠슨 황을 소개할 때는 잘생겼다고 했고, 피차이를 소개할 때는 웃으며 그를 "괴물"이라고 불렀다.

트럼프 대통령 "AI 오찬 서밋" 참석자 기념사진

이 만남은 원래 오찬과 짧은 이스트룸 성명만 있을 예정이었다.

하지만 트럼프는 즉석에서 모든 손님을 데리고 웨스트윙 밖 차도로 나가 33분에 걸친 즉흥 기자회견을 열기로 결정했다. 각 매체 기자들이 인파 주위를 둘러쌌고, 트럼프와 십여 명의 미국 테크 기업 선도 인물들이 백악관 차도에 나란히 서서 질문에 답하는 매우 보기 드문 장면이 연출됐다.

참석자 중에서 아모데이의 등장은 특히 주목을 끌었다.

만남 이틀 전 일요일 심야에 그는 막 트럼프와 첫 사적 만찬을 가졌다. 그 전 몇 달간 두 사람은 AI 안전 문제로 긴장 관계에 있었다. 이번에 대립에서 같은 테이블에 앉아 식사하기까지는 이틀밖에 걸리지 않았다.

"6대 거두"와 초지능 협정

이번 만남의 핵심 성과는 하나의 협정이었다. 트럼프는 이를 "어느 정도 헌법 같은 것"에 비유했다. "세계에서 가장 뛰어난 사람들이 서명했고, 나도 서명했다. 이것은 확실히 일종의 보호 형태다. 나는 이것이 도덕적으로 구속력이 있다고 생각한다."

협정의 공식 명칭은 《백악관 초지능 협정: 프런티어 책임 공동 약속》이다. 서명자에는 트럼프 외에도 여섯 개 기업, 즉 Anthropic, 구글, Meta, 엔비디아, OpenAI, xAI가 있다.

협정의 핵심 내용은 "4계층 방호" 구조다.

첫 번째 계층은 내부 통제로, 각 기업이 내부 모니터링 메커니즘을 구축해 사이버 보안, 바이오 보안 및 화학 위협을 방지하고 모델이 예상치 못한 방식으로 기술 시스템에 침입하거나 접근하지 않도록 보장한다;

두 번째 계층은 내부 컴플라이언스 팀으로, 기업이 전담 팀을 지정해 이행 상황을 추적한다;

세 번째 계층은 외부 감사로, 독립 감사인이 외부 심사를 수행한다;

네 번째 계층은 이사회 감독으로, 각 기업의 이사회 아래에 전담 위원회를 두어 발견된 모든 문제가 시정되도록 보장한다.

협정은 또한 여섯 개 기업이 정기적으로 만나 표준과 모범 사례를 마련하고 시스템 안전성을 높일 것이라고 규정했다. 문서는 동시에 "시간이 지나면서 이러한 단계를 법률이나 규정으로 편입하는 것이 의미 있을 수 있다"고 언급했다. 이는 미래의 입법 가능성에 여지를 남겨둔 것이지만, 현재의 경로는 분명히 업계 자율 규제다.

트럼프가 새 규제를 두지 않겠다는 입장에 대해 현장의 업계 지도자들은 거의 일제히 지지를 표했다. 그러나 각자의 발언에는 서로 다른 강조점이 숨어 있었다.

젠슨 황은 "혁신, 기술과 안전 사이에는 충돌이 없다"고 말했다. "우리는 AI의 능력을 향상시킬 신기술을 만들어야 하지만, 동시에 AI의 안전성을 높일 신기술도 만들고 있다." 그는 또한 AI가 경제 성장에 매우 중요하며 이미 미국에서 약 100만 개의 일자리를 창출했다고 언급했다. 만남 하루 전, 엔비디아는 방금 AI 에이전트가 통제 불능에 빠지는 것을 방지하기 위한 새로운 소프트웨어 안전 도구를 발표했다.

저커버그는 이 메커니즘이 내부 리스크 심사에서 시작해 외부 감사와 평가, 그리고 이사회의 독립적 감사 보고서 검토에 이르기까지 여러 계층의 감사와 통제를 포함한다고 설명했다. 그는 "이것이 우리가 해야 할 전부가 아니며, 이것은 단지 시작일 뿐이고 업계 전체가 합의할 수 있는 하나의 협정"이라고 강조했다.

피차이는 이를 재무 통제에 비유했다. 그는 "우리는 마치 재무 통제 등 다른 영역에서 해온 것처럼 일련의 프로세스와 통제 조치에 서명하고 있다"고 말했다.

머스크는 공개 발언은 많지 않았지만 행동으로 입장을 표명했으며, 자발적으로 "AI" 대신 "SI"로 말을 바꿔 트럼프의 브랜드 작업에 분명히 호응했다.

줄곧 AI의 존재론적 위험을 경고해온 Anthropic 최고경영자 아모데이는 트럼프의 지목을 받아 발언하면서 한편으로는 미국의 AI 선도 지위 유지 주장에 호응했고, 다른 한편으로는 핵심 안전 문제가 여전히 해결되지 않았다고 분명히 밝혔다.

"이 기술에는 매우 실제적인 위험이 있습니다,"라고 아모데이는 말했다. "이러한 위험에 대응하는 메커니즘은 여전히 논의 중입니다. 우리 모두는 우리가 이길 수 있고, 안전하게 이길 수 있도록 함께 노력해야 합니다. 우리가 제대로 해내고, 모두가 함께 협력한다면, 우리는 안전하게 이길 수 있습니다."

이 발언은 자기 규제라는 큰 틀 안에서 더 강력한 규제에 대한 열린 태도를 완곡하게 남긴 것으로 평가된다.

무엇보다도 9월 12일 아모데이는 《우리는 프런티어의 속도를 늦춰야 한다》를 발표하고 AI 능력 향상 속도를 늦출 것을 촉구하며, 독립 제3자 평가 팀이 Anthropic의 모델 훈련 및 안전 프로세스를 심층 평가하도록 허용하겠다고 약속했다. 그 글은 업계에서 격렬한 논쟁을 불러일으켰고, OpenAI의 샘 올트먼과 머스크 모두 지지했지만 트럼프는 명확히 반대했다.

여섯 개 서명 당사자 외에도 현장의 다른 기업 임원들도 지지를 표했다.

리사 수는 그날 행사에 "매우 고무되었다"며 방 안에 "많은 낙관과 책임감"이 있었다고 말했다. "궁극적으로 기술의 힘을 보여주면서 동시에 그것이 매우 안전하도록 보장하는 것이 우리의 책임입니다,"라고 리사 수는 말했다.

통제 불능 사건의 압박

이번 만남은 편안한 모임이 아니었다. 그 배경에는 일련의 AI 안전 사건이 집중적으로 폭로되면서 대중과 정치권의 압박이 빠르게 축적되고 있었다.

만남 하루 전, OpenAI는 안전 보장이 아직 충분하지 않다는 이유로 GPT-6.1 Astra 모델 출시를 보류하겠다고 발표했다. OpenAI 안전 시스템 책임자 사치 자인은 이 모델이 "범위와 권한 내에 머무는 것, 그리고 사용자에게 완료한 작업 유형을 어떻게 피드백할지" 측면에서 아직 회사가 기대하는 수준에 도달하지 못했다고 밝혔다.

더 이른 시기에는 일련의 AI 에이전트 통제 불능 사건이 잇따라 공개되었다.

올해 7월, OpenAI가 내부 사이버 보안 능력 평가에 사용한 모델이 격리 조치를 우회해 AI 모델 및 데이터셋 호스팅 플랫폼인 Hugging Face의 일부 시스템에 침입했고, 여러 건의 샌드박스 제한 우회 사건에도 연루되었으며, 그중에는 자율 에이전트가 미국 증권거래위원회 웹사이트를 겨냥한 사건도 포함되었다.

Axios의 보도에 따르면, OpenAI, Anthropic 및 보안 연구자들은 수천 건의 AI 에이전트 문제 행동 사례를 정리하고 있다.

9월 28일, 플로리다주 법무장관은 이전에 OpenAI를 상대로 제기한 소송에서 금지명령을 신청하며, 외부 감독 없이 새 AI 모델을 개발하는 것을 금지할 것을 요구했다.

그보다 앞서 9월 23일, 미국 상원의원 버니 샌더스와 하원의원 그레그 카사르는 인공 초지능의 개발 및 배포를 금지하고, 새로운 연방 AI 감독 부서가 안전 규칙과 모델 심사 메커니즘을 마련할 때까지 첨단 AI 개발을 보류하자는 법안을 발의했다.

AI가 불러온 고빈도 사건들이 이번 오찬회를 개최한 핵심 이유였다.

SI로 개명

자기 규제는 이번 만남의 실질적 내용이었고, 개명은 더 화제성이 큰 상징적 조치였다.

트럼프는 차도 기자회견에서 그날 늦게 행정명령에 서명해 AI를 공식적으로 초지능으로 개명하겠다고 발표했다. "우리는 이미 이름을 공식적으로 SI로 바꿨습니다,"라고 트럼프는 말했다. "우리는 '슈퍼'라는 단어를 씁니다. 다른 단어는 가짜 단어이기 때문입니다." 그는 "그것은 인공적이지 않습니다. 우리 모두 이 점에 동의합니다"라고 덧붙였다.

《초지능 시대의 개막》이라는 제목의 이 행정명령은 이후 전문이 공개되었다. 명령은 법이 허용하는 최대 범위 내에서 미국 연방 행정부와 기관이 공식 통신, 공