인류의 재앙을 경고하는 AI 기업, 왜 2조 달러를 꿈꾸는가

앤트로픽의 상장 추진이 드러낸 기술 발전과 안전, 자본의 모순

인공지능(AI) 기업 앤트로픽이 미국 증시 상장을 추진하면서 AI 기술이 인류에게 초래할 수 있는 치명적 위험을 투자자들에게 경고했다. AI의 발전이 인간의 통제 능력을 넘어설 수 있다는 우려를 제기해 온 기업이 동시에 세계 최대 규모의 기업공개(IPO)를 추진하고 있다는 점에서 기술의 발전과 안전, 기업의 성장 사이에 놓인 모순이 드러난다.

앤트로픽은 2026년 10월 26일 미국 증권거래위원회(SEC)에 제출한 상장 등록서류에서 고도화된 AI가 인류에 재앙적 또는 실존적 위험을 초래할 가능성을 명시했다. 335쪽에 달하는 투자설명서 가운데 93쪽을 위험 요인에 할애했다. 투자자에게 기업의 재무적 위험뿐 아니라 기업이 개발하는 기술 자체의 위험까지 공개한 것이다.

미국 언론들은 앤트로픽의 기업가치가 상장 과정에서 최대 2조 달러에 이를 가능성을 보도했다. 다만 이는 보도된 목표치이며, 최종 기업가치와 공모 조건이 확정된 것은 아니다. AI가 인류에게 미칠 위험을 경고하는 기업이 그 기술의 발전을 기반으로 역사적인 규모의 자본 조달을 추진한다는 사실은 이번 상장 논의의 핵심적인 쟁점이다.

AI 안전을 위해 출발한 기업

앤트로픽은 2021년 오픈AI 출신 연구자들이 설립했다. 다리오 아모데이 최고경영자(CEO)와 다니엘라 아모데이 사장 등 공동창업자들은 AI의 능력이 급격히 향상되는 상황에서 안전성과 통제 가능성을 확보하는 문제를 기업의 중요한 과제로 내세워 왔다.

앤트로픽이 개발한 생성형 AI 클로드(Claude)는 기업용 소프트웨어 개발과 업무 자동화 등 다양한 분야에서 활용되고 있다. 회사는 AI가 생산성을 높이고 과학적 발견을 촉진할 가능성을 강조하는 한편, 기술이 악용되거나 인간의 의도와 어긋나게 작동할 위험도 제기한다.

상장 등록서류는 AI 시스템의 자율성이 높아지고 인간의 감독 없이 중대한 행동을 수행할 수 있게 될 경우, 시스템의 오류나 인간의 의도와 다른 목표 추구가 대규모 피해로 이어질 가능성을 언급했다. AI가 사이버 공격이나 허위 정보 유포, 위험한 무기 개발 등에 악용될 가능성도 위험 요인으로 제시했다.

이러한 경고는 AI가 반드시 인간의 통제를 벗어나거나 인류를 멸망시킨다는 예측과는 다르다. 기업이 기술의 잠재적 위험을 투자자에게 공식적으로 고지하고, 안전을 확보하려는 노력이 실패할 가능성까지 공개했다는 점에 의미가 있다.

위험을 경고하면서 개발 경쟁을 계속하는 이유

문제는 위험을 인식하는 것과 기술 개발을 멈추는 것이 서로 다른 결정이라는 데 있다.

아모데이는 AI의 능력이 빠르게 발전하는 만큼 안전성 평가와 통제 장치도 그 속도를 따라잡아야 한다고 주장해 왔다. 그러나 앤트로픽 역시 경쟁력 있는 모델을 개발하고 고객을 확보해야 하는 기업이다. 상장 이후에는 성장에 대한 투자자의 기대와 시장의 평가에도 대응해야 한다.

첨단 AI 개발에는 막대한 자본과 컴퓨팅 자원이 필요하다. 더 많은 자원을 확보하면 모델의 성능을 높이고 안전성을 연구할 여지도 커질 수 있다. 반면 개발 경쟁이 격화되면 안전성 검증이 충분히 이뤄지기 전에 제품 출시를 서두를 유인도 생긴다.

앤트로픽의 상장 추진은 이 두 가지 방향이 한 기업 안에 공존할 수 있음을 보여준다. 안전을 위해 기술을 발전시키려는 노력과 시장에서 우위를 확보하기 위해 기술 개발을 가속화하려는 요구가 언제나 같은 방향으로 움직이는 것은 아니다.

회사가 위험을 공개했다는 사실만으로 안전에 대한 책임을 충분히 이행했다고 판단할 수도 없다. 실제로 위험한 기능의 출시를 미루거나 개발을 중단할 수 있는지, 안전성 평가 결과가 좋지 않을 때 사업적 손실을 감수할 수 있는지가 더 직접적인 판단 기준이 된다.

상장 이후에도 안전을 지킬 수 있을까

앤트로픽은 기업의 장기적 사명과 공익을 고려할 수 있도록 공익법인(Public Benefit Corporation) 형태의 지배구조를 유지하고, 공동창업자들의 의결권을 보장하는 별도의 구조를 마련할 계획이다. 회사가 밝힌 취지는 단기적인 시장 압력에만 좌우되지 않고 책임 있는 AI 개발이라는 목표를 지키려는 것이다.

그러나 제도적 장치가 있다는 사실과 그 장치가 실제 경영 판단을 얼마나 제약할 수 있는지는 구분해서 살펴봐야 한다. 상장 이후 주주와 경영진의 이해관계가 충돌하거나 경쟁사보다 개발이 늦어질 때도 안전을 우선할 수 있을지는 앞으로 검증해야 할 문제다.

기업의 책임은 위험을 설명하는 데서 끝나지 않는다. 위험이 현실화할 가능성이 커졌을 때 어떤 행동을 선택하는지가 책임의 실질을 결정한다.

이 문제는 앤트로픽만의 과제가 아니다. 고도화된 AI를 개발하는 기업들은 기술의 잠재적 이익을 확대하면서 동시에 그로 인해 발생할 수 있는 피해를 통제해야 한다. 기업 간 경쟁이 치열해질수록 개별 기업의 자율적인 안전 조치만으로 충분한지, 공통의 평가 기준과 외부 감독이 필요한지도 중요한 쟁점이 된다.

기업가치는 기술의 사회적 가치와 같은가

최대 2조 달러라는 기업가치 전망은 투자자들이 AI 산업의 성장 가능성을 얼마나 크게 평가하는지 보여주는 지표다. 그러나 기업의 시장가치가 높다는 사실이 기술의 사회적 가치나 안전성을 증명하는 것은 아니다.

AI가 생산성을 높이고 의료와 과학의 발전을 촉진할 수 있다는 기대는 상당하다. 동시에 기술이 특정 기업에 집중되거나, 소수의 사업자가 핵심 인프라와 의사결정에 큰 영향력을 행사할 경우 부와 권력이 편중될 가능성도 있다. 앤트로픽 역시 상장 등록서류에서 AI가 부와 권력을 집중시켜 사회를 불안정하게 만들 가능성을 위험 요인으로 언급했다.

여기서 중요한 것은 기업이 이윤을 추구한다는 사실 자체가 아니다. 기술의 위험을 줄이기 위해 필요한 비용과 책임을 누가 부담하는지, 기술로 창출되는 이익이 누구에게 돌아가는지, 피해가 발생했을 때 누가 책임지는지를 묻는 일이다.

AI 안전을 기업의 선의에만 맡길 수 없는 이유도 여기에 있다. 기업이 성장과 안전 사이에서 어려운 선택을 해야 하는 상황이라면, 안전을 우선하는 결정이 단기적인 경쟁력 상실로 이어지더라도 사회적으로 감당할 수 있는 제도적 기반이 필요하다.

앤트로픽의 상장은 AI 기술의 미래를 둘러싼 논의를 한층 구체적인 문제로 끌어낸다. 인류에 대한 위험을 경고하는 것과 위험을 줄이기 위해 실제로 비용을 부담하는 것은 다르다. 기술의 가능성을 설명하는 것과 그 기술이 초래할 결과에 책임을 지는 것도 다르다.

AI 산업의 미래를 평가하는 기준은 기업이 얼마나 높은 가치를 인정받느냐에만 머물러서는 안 된다. 기술의 발전이 인간의 삶을 개선하는 동시에 그 위험을 통제할 수 있는지, 그리고 기업이 이익과 안전이 충돌하는 순간 어떤 선택을 하는지까지 살펴봐야 한다.

AI가 얼마나 많은 가치를 창출할 수 있는가라는 질문과 함께, 그 가치를 추구하는 과정에서 무엇을 위험에 빠뜨리고 있는가라는 질문을 놓치지 않아야 한다.

너답뉴스 김해수 기자 youdabnews@naver.com