초지능

보스트롬은 초지능 정렬 문제에 대한 대중의 공포가 인간 자체의 정렬 실패를 제대로 보지 못한 데서 나온 면이 있다고 지적했습니다.

기계 초지능의 가치가 어긋나는 실존적 위험도 크지만, 특정 인간이 초지능을 독점해 미래를 일방적으로 정하는 시나리오도 그 못지않게 치명적이라고 분석했습니다.

사람의 뇌가 초지능 수준으로 증강되면 성격과 판단이 어떻게 달라질지 예측하기 어렵다며 「어느 쪽이든 두렵기는 마찬가지」라고 말했습니다.

백악관이 한국 시각 9월 30일 오전 「초지능 시대의 개막」 행정명령을 공개했습니다.

법이 허용하는 범위에서 행정부가 공문과 대외 발표, 웹사이트, 보고서, 정책 문서에 Artificial Intelligence와 AI 대신 Super Intelligence와 SI를 쓰도록 했습니다.

이미 나온 규정과 대통령 지시, 계약과 보조금 문서는 고치지 않습니다.

트럼프 대통령은 유엔총회 연설에서 AI를 통제하려는 어떤 글로벌주의적 시도도 거부한다고 말했습니다.

「인공」이라는 말이 지능을 가짜처럼 보이게 한다며 미국 공식 문서에서 AI 대신 「초지능(SI)」이라는 이름을 쓰겠다고 밝혔습니다.

로봇의 반란이나 인류 파멸 같은 경고는 거짓 선동이라고 일축하고, 기술 패권을 쥐는 쪽이 이긴다고 강조했습니다.

그는 현재 기업들이 일반 직업군을 하나씩 대체하는 대신 “AI 연구 개발 자체를 자동화하는 전략”을 취하고 있다고 설명했습니다.

수많은 AI 군집이 데이터센터 내에서 자율적으로 코드를 읽고 작성·수정하며 차세대 모델을 스스로 개발해 내는 구조입니다.

안전성과 품질 관리가 뒷전으로 밀린 채 개발 경쟁만 가속화되는 현 상황을 “공룡을 통제해야 하는 쥐라기 공원”에 비유했습니다.

코코타일로는 초지능이 완성되는 순간 “그 힘이 실물 경제 전체로 폭발하듯 뻗어나갈 것”이라 경고했습니다.

전 오픈AI 거버넌스 연구원 다니엘 코코타일로는 초지능 이전 단계에서도 경제적 폭발이 일어날 수 있다고 봤습니다.

인간 최고 전문가 수준의 AI에서 발전을 멈추더라도, 이를 탑재한 로봇의 생산량을 늘려 노동력을 전면 대체하면 경제 규모는 기하급수적으로 커진다는 설명입니다.

로봇이 로봇을 생산하고 자원 채굴부터 제조까지 전 과정을 자동화하면서, 불과 10년 만에 전체 경제 규모가 100배 이상 성장할 수 있다고 분석했습니다.

“이 수준의 AI에 도달하면 물질적 풍요는 더 이상 우리의 문제가 되지 않을 것입니다.

우리는 풍요 속에 빠져들게 될 것입니다.” 그는 물질적 결핍이 사라지는 대신 완전히 재편될 경제와 일자리 구조, 그리고 수반되는 위험을 해결하는 것이 인류의 주요 과제가 될 것이라고 강조했습니다.

버니 샌더스(Bernie Sanders) 상원의원은 주요 빅테크 리더들조차 통제 불능을 인정하는 상황이라며, “첨단 AI 개발의 즉각적 중단과 초지능(superintelligence)에 대한 영구 금지 법안을 발의하겠다”고 밝혔습니다.

나아가 “인류의 미래를 소수 빅테크 과두세력의 손에 맡길 수 없다”며, 기술 특이점이 초래할 일자리 소멸과 사회적 위협을 막기 위해 국제적 공조와 강력한 규제가 시급하다고 강조했습니다.