AI 지형을 바꾼 결별: OpenAI와 Anthropic의 은밀한 앙금의 역사

원문 저자: 龙玥

원문 출처: 华尔街见闻

2020년 12월, OpenAI의 전원 화상 회의 마지막 몇 분은 AI 업계의 판도를 완전히 바꿔놓았다.

당시 OpenAI 정책 책임자였던 Jack Clark이 채팅창에 "I love you all"이라고 입력하자 화면이 곧바로 검게 변했다——OpenAI 핵심 멤버 7명이 동시에 회의에서 추방되고, 이메일 권한이 회수되고, Slack 계정이 삭제되고, 노트북이 원격으로 잠겼다. 이것은 사고가 아니라, 오랫동안 준비해온 결별의 종착점이었다.

이 일곱 명은 Dario Amodei가 데려간 사람들이었다. 당시 그는 OpenAI 연구 부사장이었고, GPT-2와 GPT-3의 핵심 추진자였으며, 내부에서 26페이지 논문을 작성해 대형 모델 기술 노선을 정립한 사람이기도 했다. 그가 떠난 이유는 돈도, 직책도 아니었다. 그는 OpenAI 경영진——특히 Sam Altman——을 전혀 신뢰할 수 없다고 생각했기 때문이다.

9월 29일, 《대서양月刊》 기자 Kevin Roose가 수년간 150명 이상의 관계자를 인터뷰한 끝에 밝힌 바에 따르면, 이 결별의 근원은 2017년 'Countries Plan'이라는 내부 방안, 그리고 그 후 3년간 축적된 의심과争吵, 배신감으로 거슬러 올라간다.

5년 후, 그 일곱 명이 창립한 Anthropic은 이미 수천 명의 직원을 보유하고 있으며, OpenAI와 나란히 AGI를 향해 질주하고 있다. 하지만 Dario와 Altman의 관계는, 여러 관계자에 따르면, 지금도 여전히 "서로를 경멸"하고 있다.

그 26페이지 논문, 그리고 Amodei의 야심

2016년, Dario Amodei는 Google을 떠나 OpenAI에 합류했다.

그는 둥근 테 안경을 쓰고 갈색 곱슬머리를 하고 있었으며, 긴장하거나 생각할 때 손가락으로 머리카락을 감는 습관이 있었다. 동료들은 그를 "천재지만 고집스럽다"고 말했다.

Dario Amodei 영상 캡처

그가 관점을 표현하는 방식은 장문을 쓰는 것이었다.

2017년, 그는 《계산 대团》(Big Blob of Compute)이라는 26페이지 분량의 내부 글을 썼다. 이 글에서 그는 기계 지능은 본질적으로 규모의 함수——모델이 클수록 더 똑똑해진다고 주장했다.

이 판단은 OpenAI의 연구 방향을 대형 언어 모델(LLM)로 직접 이끌었고, 이후 GPT-2와 GPT-3의 기초를 마련했다.

당연히 Amodei의 커리어는 절정에 있었다. 그의 팀은 모델 성능 향상을 예측하는 "스케일링 법칙(Scaling Laws)"을 제시했을 뿐만 아니라, 모델이 유해한 출력을 내지 않도록 하는 "인간 피드백 기반 강화학습(RLHF)" 기술도 개척했다.

하지만 그는 점점 더 확신하게 되었다. 자신은 GPT-4를 개발하기 위해 남지 않을 것이라고.

"Countries Plan": 그를 완전히 실망시킨 그 방안

Amodei는 회사 경영진에 대한 신뢰를 잃었다.

그는 Sam Altman을 "양다리를 걸치는 조종자"로, 사장 Greg Brockman을 "권력에 집착하고 무모한 인물"로 여겼다. 그는 이들이 OpenAI를 상업화하려는 결정에 반감을 가졌고, 이것이 "재정적 수익 창출 필요에 제한받지 않는다"는 초심을 배반한다고 생각했다.

더욱 그를 불쾌하게 한 것은 내부 파벌 싸움이었다.

한때 Amodei와 교류했던 관계자는 Amodei가 당시 OpenAI를 "소란극"이자 "성실성 결여된 사람들이 운영하는 곳"으로 여겼다고 전했다. 이 관계자는 "매일 새로운 위기가 터졌고, Dario가 한 번 제대로 화를 내지 않으면 Sam이 24시간 안에 또 새로운 미친 짓을 벌였다"고直言했다.

도화선은 2017년에 이미 묻혀 있었다.

당시 머스크가 OpenAI에서 철수하고 있었고, 회사는 자금이 절실했다. 다섯 명의 관계자에 따르면, Brockman과 Ilya Sutskever는 "국가 계획"("Countries Plan")이라는 자금 조달 방안을 구상했다. 미국을 비롯한 주요 강대국 정부 간에 경매를 열어 OpenAI의 미래 AGI 기술에 대한 권리를 판매하는 것이었다.

Brockman과 Sutskever의 논리는 이러했다. AGI는 국가 안보적 의미가 극히 강하기 때문에, 조만간 정부가 민간 기업 손에서 빼앗아 갈 것이다. 어차피 넘겨야 한다면, 지금 팔아서 발전 자금을 확보하는 게 낫지 않은가?

"이건 마치 기술업계 사람들이 미친 스타트업을 홍보하는 것처럼 들렸다. 그들에게는 기상천외한 계획이 있었고, 마지막 단계는 결국 '정부가 비용을 대줄 것이다'였다."라고 이 계획 발표를 들었던 한 관계자는 회상했다.

Amodei는 경악했다. 그는 정부에 AGI를 팔려는 것이 OpenAI의 사명과 정면으로 배치된다고 생각했다.

2017년 12월, 그는 Brockman, Sutskever 및 기타 경영진에게 이메일을 보냈고, 표현은 직설적이었다.

"내가 보기에 이 계획은 군비 경쟁을 줄이기는커녕 오히려加剧시킬 수 있으며, 인권 유린을 초래할 수 있고…… OpenAI의 도덕적 정당성을 훼손할 것이다." 그는 OpenAI가 "인류에 이롭게" 최적화되어야 한다고 주장했다.

OpenAI 대변인은 이후 《대서양月刊》에 "회사는 OpenAI를 국제 협력 프로젝트로 전환할지 잠시 고려한 적이 있다"면서도 "어느 국가에도 AGI를 판매하는 것은 고려한 적이 없다"고 밝혔다.

이 방안은 결국 마이크로소프트의 참여로 보류되었다. 하지만 Dario는 잊지 않았다. Brockman과 Sutskever가 그가 "도덕적으로 역겹다"고 생각한 아이디어를 진지하게 논의했다는 사실을.

신뢰가 조금씩 소진되다: 숨겨진 명단, 거부된 인수 조항, 그리고 칸예 사건

이후 2년 동안 균열은 계속 커졌다. Amodei는 Altman에게误导당했다고 생각하는 순간들을 기록하기 시작했다.

예를 들어, GPT-3 비공개 테스트 기간에 Amodei는 Altman에게 승인된 고객 명단을 요청했다. Altman은 한 부를 보내줬다. 하지만 Amodei는 이후 더 긴 승인 명단을 발견했고, Altman은 이에 대해 전혀 언급하지 않았다고 주장했다.

또 다른 예로, 마이크로소프트와 10억 달러 투자를 협상할 때, Amodei는 OpenAI 정관의 "합병 및 지원 조항"——더 안전한 AGI 프로젝트가 나타나면 OpenAI는 경쟁을 중단하고 상대를 지원해야 한다는——을 유지하려고极力 주장했다. 그는 마이크로소프트가 OpenAI의 미래 가능한 인수를 거부할 권리가 없다고 고집했다(이것이 합병 지원을 실현하는 가장 유력한 방식이었다).

Altman은 마이크로소프트가 이 조항에 동의하지 않는다고 말했다. 하지만 Amodei는 Altman이 거래를 서둘러 성사시키기 위해 양보했거나(혹은 아예 언급하지 않았거나), 그에게 거짓말을 했다고 굳게 믿었다.

더욱이 겉보기에 황당해 보이는 일부 비즈니스 결정은 Amodei가 도저히 견딜 수 없게 만들었다. 2020년, Altman은 래퍼 Kanye West를 만나 GPT-3 비공개 테스트에 참여시키자고 제안했다. 당시 Kanye는 그래미 트로피에 소변을 보는 듯한 영상을 막 공개한 상태였고, 정신 상태가 극도로 불안정했다. 정책 총괄 Jack Clark이 결국 나서서 이 위험한 아이디어를 저지했다.

이런 일들을 개별적으로 보면 사직할 정도는 아니었을지 모른다. 하지만 Amodei의 머릿속에서 이것들은 하나의 결론으로 모였다. AGI처럼 강력한 기술을 이런 사람들 손에 절대 맡겨서는 안 된다는 결론으로.

"봉제인형 자문단", 그리고 점점 고립되는 안전파 소그룹

Amodei의 여동생 Daniela Amodei도 OpenAI에 염증을 느꼈다.

정계에서 일한 경험이 있고 감성 지능이 높은 관리자였던 Daniela는 오빠의 기술적 열정을 보완하는 존재가 되었다. 하지만 그녀가 더 많은 기술 팀을 맡게 되면서, 경영진과의 갈등은 날로 커졌다.

Daniela Amodei 영상 캡처

흥미롭게도, Daniela에게는 독특한 갈등 처리 메커니즘이 있었다——봉제인형 자문단.

그녀와 이사회 멤버 Holden Karnofsky는大量的 봉제인형을 모아 역할을 부여했다. Jinji는 게으른 고양이로, 그녀가 회의를 취소하고 일을 덜 하도록 부추겼다. 분홍곰 Maura는 세심한 A형 관리자였다. 판다 Beary Bonds는 "관대함과 공감의 수호곰"이었다. 그녀는 이런 반농담식 방식으로 관리 역할극을 했다.

2020년이 되자, Amodei 남매는 OpenAI 내부에서 자신들만의 핵심 서클을 구축하기 시작했다.

그들은 비공개 Slack 채널을 만들었고, 대화는 비기술자가 이해할 수 없는 "안전 은어"로 가득했다. 전 동료는 회상했다. "Dario에게는 습관이 있었는데, 바로 '우리는 X를 해야 한다. 이것이 도덕적으로 옳은 일이다'라고 직설적으로 말하는 것이었다. 이는 마치 모든 논쟁에서 이기는 지름길 같았다——'안전 때문이다'라는 이유로. 이는 비안전 팀을 매우 짜증나게 했다."

19년, Amodei는 한때 포기하고 싶었고, DeepMind로 이직까지 고려했다. 하지만 스케일링 법칙 연구를 담당했던 물리학 교수 Jared Kaplan이 더 전복적인 아이디어를 제시했다. 이념이 맞지 않는다면, 안전을 중시하는 모든 사람을 데리고 직접 회사를 차리면 어떨까?

2020년, GPT-3가 발표된 해에 Amodei는 7명의 공동 창립자를 모았다.

완전히 결별하기 전, Amodei는 Altman에게 일련의 잔류 조건을 제시했는데, 여기에는 안전 팀에 신제품 출시에 대한 "일괄 거부권"을 부여하는 것도 포함되었다. 그는 이것이 거절당할 가능성이 높다는 것을 알았고, 단지 이를 빌미로 Altman을 압박해 양보를 이끌어내고 싶었을 뿐이었다.

협상 기간 동안, 이 7명은 "BATNA"라는 비밀 Slack 채널을 만들었다——이것은 경영대학원 용어로 "협상 합의의 최선의 대안"을 의미하며, 언제든 떠날 준비가 되어 있었다.

네트워크 케이블을 뽑고, 화면이 갑자기 검게 변하다

Altman이 요구를 충족시키지 않을 것임을 확인한 후, "BATNA" 팀은 변호사를 고용하고 "이혼"이라고 불리는 조건 협상을 시작했다.

양측은 합의에 도달했다. 퇴사 팀은 몇 주 안에 원하는 직원을 스카우트할 수 있고, 그 대가로 이후 1년간 스카우트 금지 약속을 한다. 일부 내부 연구 문서를 가져갈 수 있다. 양측은 상호 비방 금지 협약에 서명하고, 공개 석상에서 상대를 헐뜯지 않는다.

2020년 12월, 운명을 결정할 OpenAI 전원 온라인 회의가 열렸다.

Altman은 평소처럼 회의를 시작하며 연구 진행 상황을 보고했다. 이어서 그는 발언권을 Amodei에게 넘겼다.

Amodei는平静하게 자신과 다른 6명의 경영진이 사직하고, 안전에 집중하는 AI 조직을 설립할 것이라고 발표했다. 회의 채팅창은 순식간에 충격 이모티콘과 느낌표로 뒤덮였다. 모두가 추측했다. 누가 GPT-4를 훈련시키지? 내 새 매니저는 누구지?

화면 가득한 경악 속에서, Jack Clark은 채팅창에 마지막 문장을 입력했다. "I love you all."

그리고 바로 다음 순간, 이 7명의 화면이 모두 검게 변했다.

OpenAI는 그들을 회의에서 직접 추방하고, 이메일과 Slack 권한을 회수하고, 노트북을 원격으로 잠갔다.

몇 시간 후, 이 새로 실직한 창립자들은 첫 화상 회의를 열었다. 컴퓨터도, GPU도, 데이터도 없었고, 회사 도메인 이름조차 정하지 못했다(원래 Sparrow Systems라고 하려다가 최종적으로