슈퍼인텔리전스 Superintelligence: Paths, Dangers, Strategies

슈퍼인텔리전스 Superintelligence: Paths, Dangers, Strategies

닉 보스트롬 Nick Bostrom (2014)

1. 과거의 발전과 현재 능력 Past developments and present capabilities

호모 사피엔스는 즉각적으로 나타났다. 뇌의 크기와 신경 기관의 작은 변화가 지각 능력에 급격한 향상을 가져왔다. 인간은 추상적 사고를 하고 복잡한 생각을 교류하며 문화적 정보를 세대에 걸쳐 축적할 수 있게 되었다.
농업의 도입 이후 인구 밀도와 전체 인류의 수가 증가했다. 많은 사람들이 모이면서 서로 생각을 교류했고 각자 특화된 기술을 발전시킬 수 있었다. 이것이 경제적 생산성과 기술 능력의 성장 속도를 증가시켰다. 이후 산업 혁명이 그와 비교할 만 성장 속도를 향상시켰다. 이에 필적할 만한 일이 다시 벌어진다면 세계는 훨씬 빠른 속도로 발전할 것이다.
경제학자 Robin Hanson에 따르면 세계 경제가 두 배가 되기 위해서는 수렵, 채집 사회에서는 224,000년, 농경 사회에서는 909년, 산업 사회에서는 6.3년이 걸린다. 만약 앞선 두 개의 것과 같은 규모의 변화가 또다시 일어나면 세계 경제는 2주마다 2배로 성장하게 된다.

기술 특이점은 현재 널리 이야기되고 있다. 그 중 흥미로운 것은 지성의 폭발 가능성, 특히 기계 슈퍼인텔리전스에 대한 전망이다. 인간 지능 수준의 기계에 대한 기대는 컴퓨터가 발명된 1940년대 이래 계속 이어져왔다. 20년이면 될 것으로 여겼던 당시 예상보다는 계속 늦어지고 있지만 이것이 불가능을 의미하지는 않는다. 인간 수준의 기계 지능이 종착지도 아니다. 이는 곧 초인 수준의 기계 지능으로 이어질 것이다.

미래의 AI에 관한 전문가들의 견해는 다양하다. 최근의 전문가 설문을 종합해보면 인간 수준의 기계 지능이 등장할 시기는 10%의 확률로 2022년, 50%의 확률로 2040년, 90%의 확률로 2075년으로 예상되고 있다. 이 조사에서는 두 가지 추가적인 질문이 있었는데 하나는 슈퍼인텔리전스가 나타나려면 얼마나 더 걸릴것으로 보는가다. 결과는 10%의 확률로 인간 수준의 기계지능의 등장 후 2년 이내, 75% 확률로 30년 이내. 두 번째 질문은 인간 수준 기계 지능이 인간에 끼칠 영향이었다. 굉장히 좋을 것이라는 의견에서 인간의 멸종을 가져올 것이란 것까지 다양한 의견이 있었다.



2. 슈퍼인텔리전스로 이르는 길 Paths to superintelligence

현재의 기계는 일반 지능에 있어서 인간 보다 훨씬 열등하지만 언젠가 슈퍼인텔리전스가 될 것이다. 슈퍼인텔리전스는 사실상 모든 영역에 있어서 인간의 인식 능력을 훨씬 넘어서는 지성으로 정의할 수 있다.

슈퍼인텔리전스로 이르는 방법에 대해서 알아보자.

인공지능 Artificial Intelligence
진화적 방법, 인간 뇌를 기반으로 하는 방법, 기계 학습 방법 등 다양한 방식으로 인공지능이 개발되고 있다. 특히 튜링이 제시한 학습하는 기계의 한 종류로 'seed AI'를 들 수 있는데, 이것은 학습을 통해 스스로의 구조를 바꿔가며 성장해간다. 이러한 재귀적 자가 향상은 거듭된 발전을 통해 슈퍼인텔리전스로 이어질 수 있다.

전뇌 에뮬레이션 Whole brain emulation
'업로딩'이라고도 불리는 전뇌 에뮬레이션은 스캔한 생물학적인 뇌를 모델링해서 만드는 지능적 소프트웨어이다. 이는 다음과 같은 과정으로 만들어질 수 있다.
뇌 스캔(scanning) -> 컴퓨터가 이를 재구축(translation) -> 컴퓨터에 이식(simulation)
이것이 성공적일 경우 대상 인간의 지성, 기억, 성격 등을 고스란히 디지털화할 수 있을 것이다. 이것은 가상 세계에 살거나 로보틱스를 통해 외부세계와 관계 맺을 수 있다. AI와 비교해서 전뇌 에뮬레이션은 관측가능한 기술에 의존하기 때문에 가시적인 징조를 보이며 발전할 것이다.

생물학적 인식 Biological cognition
생물학적 뇌의 기능을 향상시키는 것도 한 방법이다. 이는 유전자학과 신경생물학을 통해 가능하다. 반복된 배아 선택으로 높은 지능의 아이를 출산할 수 있다. 유전자 조작을 통해서 정확히 원하는 아이를 출산 할 수도 있다. 이는 기계 지능이 가져올 영향 보다는 적지만, 이러한 지능의 향상이 AI의 발전을 이끌 수 있을 것이다.

뇌-컴퓨터 인터페이스 Brain-computer interfaces
직접적인 뇌-컴퓨터 인터페이스, 특히 이식을 통해 일반적인 뇌의 능력을 넘어설 수 있다고 여겨진다. 그러나 이 방법은 의학적인 복잡성에 의한 위험이 너무 크다. 그리고 현재 파킨슨 환자 등에 사용되고 있는 테라피 같은 것에 비해서 뇌의 기능을 향상시키는 것은 것은 훨씬 어렵다. 안전한 기술이 있다하더라도 단순히 추가적인 정보를 뇌에 제공하는 것은 별의미가 없고 그 정보를 효율적으로 처리할 수 있는 신경 기계가 필요한데, 그것은 인공의 뇌를 만드는 일 즉 AI를 만드는 일과 같다.

네트웍과 조직 Networks and organisations
인간과 다양한 봇(bot)들 등의 네트워크와 조직을 통한 점진적인 발전이 슈퍼인텔리전스로 이끌 수 있다. 이를 "집단 슈퍼인텔리전스"라고 부르자. 기술적, 조직적 혁신이 집단 지성의 성장을 이끌 것이다. 인터넷이 그러한 조직적 혁신 중 하나인데 이것이 보다 발전하면 특정 그룹이나 인류전체로서 집단 지성에 크게 기여할 것이다. 인터넷 자체가 슈퍼인텔리전스로 발전할 가능성이 있는데 그것은 AI와 같은 종류의 것이다.

슈퍼인텔리전스로 향하는 여러 가지 길이 있다는 사실은 우리가 결국 그 곳으로 이를 수 있다는 데 힘을 더해준다. 그러한 길 중 비기계적인 방법은 결국 기계적인 것과 관련을 맺게 될 것이다. 향상된 생물학적 지성이나 조직적 지능은 과학 기술의 발전을 가져와 결국 AI나 전뇌 에뮬레이션과 같은 극적인 발전을 이룰 것이다. 모든 길의 종착지가 같다고 해서 과정의 차이가 의미 없는 것은 아니다. 궁극적 지성을 어떻게 사용할지는 그 과정에서 우리의 접근 방식에 달려있다.

진정한 슈퍼인텔리전스는 아마 AI를 통해서 획득될 것이다. 전뇌 에뮬레이션 역시 가능성이 높다. 그러나 부분적 에뮬레이션을 통한 AI 개발 등의 가능성으로 인해 이보다 AI가 결국 먼저 슈퍼인텔리전스에 이를 것이다. 생물학적 인식 향상의 가능성은 명백해 보인다. AI에 비해 이 과정은 느리고 점진적이긴 하지만 언젠가 결국 슈퍼인텔리전스가 가능해질 것이라는 희망을 준다. 뇌-컴퓨터 인터페이스는 그리 유망해보이지 않는다. 네트워크와 조직의 발전은 질적 지능보다 집단 지능을 신장시켜 일부 영역의 문제 해결 능력 향상에 기여할 것이다. 이는 점진적으로 인간의 능력을 향상시켜 지성의 문제를 푸는데 기여할 것이다.



3. 슈퍼인텔리전스의 형태 Forms of superintelligence

슈퍼인텔리전스를 다양한 인지적 영역에 있어서 현재 최고의 인간 능력보다 훨씬 뛰어난 지성이라고 정의했다. 이것은 여전히 다소 모호하다. 논의를 발전시키기 위해 슈퍼인텔리전스를 세 가지의 형태로 구분해보겠다.

속도 슈퍼인텔리전스 Speed superintelligence

인간 지성이 할 수 있는 모든 일을 하는데 훨씬 빠른 것이다. 가장 단순한 예는 전뇌 에뮬레이션이 빠른 하드웨어에서 구현된 것이다. 아니면 나노 크기의 팔과 같은 것으로 실제 세계와 빠르게 인터랙션 하는 것일 수도 있다. 속도가 더 빨라짐에 따라 빛의 속도는 점점 더 중요한 제약이 될 것이다.

집단 슈퍼인텔리전스 Collective superintelligence

다수의 작은 지성으로 구성된 시스템으로서 전체적 능력이 모든 영역에 있어 현존하는 지능을 월등히 뛰어 넘는 것이다. 이는 구성원 수를 늘리거나, 구성원의 질적 능력을 향상시키거나, 조직의 질을 높임으로써 구현할 수 있다.

질적 슈퍼인텔리전스 Quality superintelligence

적어도 인간과 같은 속도를 가지면서 질적으로는 훨씬 영리한 지능이다. 인간과 침팬지를 비교하거나 일부 뇌기능을 상실한 인간을 떠올려보면 질적 지능의 의미를 알 수 있다.

이상의 세 가지 슈퍼인텔리전스 중 어느 하나라도 만들어지면, 그것이 나머지 두 가지를 발전시키게 될 것이다. 

디지털 지능의 장점은 다음과 같다.

하드웨어 측면의 이점

-계산속도: 뉴런은 최대 200Hz 정도로 작동하지만 현재 마이크로프로세서는 그 천만 배인 2GHz의 속도를 갖고 있다.

-내부 통신 속도: 축삭돌기의 잠재적 속도는 120m/s 이지만 전자프로세서는 빛의 속도, 300,000,000 m/s로 통신할 수 있다.

-계산요소의 수: 인간의 뇌는 1000억개 정도 뉴런을 갖고 있다. 그리고 그 수는 두개골의 크기에 제한된다. 반면 컴퓨터 하드웨어는 매우 크게 만들어 질 수 있다.
-저장용량

소프트웨어측면의 이점

-수정가능성

-복사가능성

-목표 단일화

-메모리 공유

-새로운 모듈, 감각, 알고리듬 적용

기계 지능으로 궁극적으로 얻을 수 있는 이점은 엄청나다. 그러면 이것이 얼마나 빨리 현실화 될 수 있을까?

4. 지능 폭발의 동역학 The kinetics of an intelligence explosion

기계가 인간 수준의 지능을 얻은 뒤 슈퍼인텔리전스가 되기까지는 얼마나 걸릴까? 보통의 성인 지능에서 인류전체의 지능에 해당하는 지점을 거친뒤, 발전을 계속해서 슈퍼인텔리전스에 이르는 과정을 거칠 것이다. 이러한 변화의 과정은 아주 빨리 일어날 가능성이 크다.

지능 향상 비율을 다음과 같은 식으로 나타낼 수 있다.

변화율 = 최적화 힘 / 저항

최적화 힘 Optimization power는 시스템의 지능을 높이기 위한 질적인 노력, 저항 Recalcitrance은 시스템이 최적화의 힘에 반응하는 정도를 역으로 나타낸 것이다. 

생물학적 지능, 뇌-컴퓨터 인터페이스 같은 비기계적 지능에는 저항이 높다. 유전자 조작의 경우 현재 유전자풀에서 최상의 조합을 얻은 이후에는 더 이상의 발전이 쉽지 않다. 뇌-컴퓨터 인터페이스는 초기부터 저항이 크고, 성공적인 이식이 이루어진다하더라도 이후 발전은 컴퓨터 부분에서 이루어지므로 AI나 에뮬레이션 같은 기계적 발전 양상을 띄게 될 것이다.

AI나 전뇌 에뮬레이션 같은 기계적 지능에는 저항이 낮을 공산이 크다. 하드웨어, 소프트웨어, 컨텐츠로 이 종류의 지능을 향상시킬 수 있고 이들은 쉽게 얻을 수 있을 것이다.

슈퍼인텔리전스로 가는 급속한 발전에는 저항이 반드시 낮아야 하는 것도 아니다. 변화 과정에서 시스템이 스스로 발전하면서 최적화 힘을 폭발적으로 증가시킬 수 있기 때문이다.

5. 결정적 우위 Decisive strategic advantage

슈퍼인텔리전스가 하나일 것인가 여러개일 것인가 하는 의문이 있다. 다른 모든 것보다 뛰어난 단일한 지능이 미래를 지배할까? 아니면 획일적인 형태의 다수 프로젝트가 참여하게 될까?
여기에는 첫번째 슈퍼인텔리전스와 그 뒤를 따르는 것들 사이의 간극이 중요한데, 전자의 확장 속도가 현저히 빠르면 단독체로서 독주할 수도 있다. 선두 주자가 AI일 경우 이러한 확장은 더 용이할 것이다.

앞서 논의했던 인간 수준 지능에서 슈퍼인텔리전스로 이르는 과정이 짧을 경우에는 하나의 프로젝트가 결정적 우위를 점할 가능성이 높다. 그 과정이 느릴 경우 다수 프로젝트가 함께 그 과정을 통과할 수도 있다. 그러나 그 중 하나가 슈퍼인텔리전스에 조금이라도 빨리 도달할 경우 나머지가 따라잡을 수 없는 결정적 우위를 점할 것이다.

결정적 우위를 차지한 프로젝트가 그 이점을 활용해서 단독체가 될 것인가? 만약 결정적 우위를 점하는 프로젝트가 인간 조직이 아니라 인공 에이전트라면, 인간 조직이 갖는 의견 조율 문제, 판단 규칙 문제 등을 겪지 않은 채, 거대한 기술적 우위를 통해 적은 비용으로 세계를 컨트롤 할 능력을 갖추게 될 것이다. 따라서 단독체로 발전할 가능성이 있다. 이러한 결과가 우리에게 유익할지는, 그 개체의 성향이 어떤지 그리고 다수 개체 시나리오에서의 미래가 어떠할지에 달려있다.



6. 인지적 초능력 Cognitive superpowers

디지털 슈퍼인텔리전스가 생겼다고 가정하자. 그리고 어떤 이유로 이것이 세계를 지배하고자 한다면, 그것이 가능할까?

인간이 지구에서 지배적 위치에 있는 것은 다른 동물들에 비해 약간 나은 뇌를 갖고 있기 때문이다. 따라서 인간 보다 훨씬 우수한 지능이 나타난다면 엄청난 잠재력을 갖게 될 것이다.
슈퍼인텔리전스와 관련 있는 능력들은 지능 확장, 전략 계획, 사회적 조작, 해킹, 기술 연구, 경제 생산 등이 있는데 이 중에서 하나의 분야라도 초능력을 갖게되면 그것을 바탕으로 다른 능력도 얻게 될 것이다.

기계 슈퍼지능이 세계를 지배하게 될 경우 다름의 과정을 거칠 것이다.
(1) 임계 이전 단계: AI의 발전이 여전히 인간에 의해 이루어짐.
(2) 재귀적 자가 발전 단계; AI가 스스로 발전을 반복해서 지능 폭발이 일어남.
(3) 은밀한 준비 단계: AI가 장기적 계획을 성취하기 위해 준비.
(4) 명시적 이행 단계: 더 이상 숨길 필요가 없을 정도로 충분한 힘을 얻은 단계.

Ai는 자신의 목적을 이루기 위해 전지구적 자원을 활용할 것이다. 그리고 그러한 영향은 우주로 뻗어갈 수 있다. 이것은 인간의 운명을 결정할 것이다. 하지만 여전히 슈퍼인텔리전스가 그 힘을 사용하지 않을 가능성도 있다. 그것은 그것이 무엇을 원하느냐 하는, 동기의 문제와 관련된다.



7. 슈퍼인텔리전스의 의지 The superintelligent will

슈퍼인텔리전스는 자신의 의지에 따라 미래를 만들 수 있는 거대한 힘을 갖게 될 것이다.  그것의 목적은 무엇이될까? AI에 있어서 지능과 동기 사이의 관계는 무엇일까? 두 가지 관점에서 논의해보겠다. 하나는 지능과 궁극적 목표는 별개라는 것. 또 하나는 초지능 에이전트는 다양한 최종 목적을 갖더라도 그것들은 공통의 도구적 이유를 갖기 때문에 비슷한 중간적 목표를 갖는 다는 것이다.

AI의 동기를 인간적 관점에서 생각해서는 안된다. AI는 인간과 같은 목적을 가질 필요가 없다. AI의 목적이 pi 소숫점을 계산하는 것일 수도 있다. 의미 없는 환원주의적 목적이 코딩하기 쉽기 때문에 인간 프로그래머는 AI를 작동시키기 위해 그러한 목적을 설치할 공산이 크다. 지능과 목적은 별개라는 것이다. 이 관점에 의하면 인공적 에이전트는 전혀 인간적이지 않은 목적을 가질 수 있다. 그러나 목적에 상관 없이 도구적 최적화 계획을 지능적으로 찾게 될 수 있다. 따라서 다음을 통해 그 행동을 예측해 볼 수 있다.

• 디자인을 통한 예측 가능성: 만약 디자이너가 초지능 에이전트에 성공적으로 목적을 심었다면, 그 것을 통해 행동을 예측할 수 있다.
• 유산을 통한 예측 가능성: 만약 디지털 지능이 인간 뇌를 에뮬레이션해서 만들어진 것이라면 인간적인 속성을 어느 정도 가질 것이다.
• 수렴 도구적 이유를 통한 예측 가능성: 에이전트의 목적에 대한 상세한 내용은 모르더라도 이것의 도구적 원인을 통해 즉각적 목표를 추론해볼 수 있다.

지능과 목적이 별개라 하더라도 거의 모든 지능적 에이전트가 추구할 도구적 중간 목표가 있을 수 있다. 그것은 다양한 최종적 목표를 이루는데 공통적으로 도움이 되는 것으로서 다음의 몇 가지를 생각해 볼 수 있다.

• 자아보존: 만약 에이전트의 목적이 미래와 관련 있다면, 이는 그 미래의 시기까지 자신을 보존하려 할 것이다.
• 목표-내용 유지: 만약 에이전트가 현재 목적을 미래까지 보유한다면 그 목적은 미래의 자신에 의해 달성될 가능성이 높다. 그러므로 에이전트는 최종목적을 변경하지 않으려 할 것이다.
• 인지 향상: 합리성과 지능의 향상은 에이전트의 판단을 향상시킬 것이고 최종 목적을 달성하게 도울 것이다. 그러나 에이전트의 최종 목적에 따라 필요로 하는 인지 능력의 종류에는 차이가 있을 것이다.
• 기술적 완벽성: 에이전트는 더 단순하고 효율적인 기술을 추구할 것이다. 효율적인 알고리듬, 저렴하고 적은 에너지를 사용하는 공법 등.
• 자원 획득: 슈퍼인텔리전스는 잉여 자원으로 더 많은 컴퓨터를 만들 수도 있고 보호 장치를 만들 수도 있다. 이것은 어떤 최종 목적에도 부합하는 도구적 목적이므로 전 우주차원의 무제한적인 자원 획득을 추구할 가능성이 있다.

수렴하는 도구적 가치가 존재하더라도 에이전트의 행동을 예측하기는 쉽지 않다. 슈퍼인텔리전스는 그것의 최종 목적을 위해 지금껏 발견되지 않은 물리 현상을 이용할지도 모른다. 하지만 예상 가능한 것은 수렴하는 도구적 가치를 추구하고 이용할 것이라는 점이다.


8. 기본 결과는 파멸일까? Is the default outcome doom?

지능과 가치는 별개라는 것을 살펴보았다. 슈퍼인텔리전스가 결정적 전략 우위를 갖게 된다면 이것의 목적이 인간의 운명을 결정하게 될 것이다. 그것의 위험성에 대해 알아보자.

첫째로, 우리는 최초의 슈퍼인텔리전스가 결정적 전략 우위를 가지며 단독체로서 지능적 삶을 구축해갈 것이라는 것에 대해 논의했다. 그리고 이후의 미래는 그것의 동기가 무엇이냐에 달렸다.
둘째로, 슈퍼인텔리전스의 최종목적은 알 수가 없다. 그것은 과학적 호기심, 영적 계몽, 고급 문화적 취향, 인간성과 같은 인간이 중요시하는 가치와는 상관 없는 것일 수 있다.
셋째로, 슈퍼인텔리전스의 최종 목적은 알 수 없지만 그것이 공통의 도구적 가치를 추구할 것을 예상할 수 있다. 그리고 이를 위해 우주적 자원을 활용하고 잠재적 위험 요소를 제거하려 할 것이다. 인간이 그 잠재적 위험에 포함될 수 있다. 그리고 인간은 확실히 물리적 자원에 속한다.
이를 종합해보면 슈퍼인텔리전스의 등장으로 인간이 멸종할 가능성을 생각할 수 있다.

그러나 슈퍼인텔리전스가 확실히 안전할 때만 세상 밖에 내 놓는다든지, 아니면 위험이 감지되면 꺼 버린다든지 하는 것으로 위험을 차단할 수 있지 않을까?
초지능 AI를 컨트롤 가능한 박스에 넣어 놓고 안전이 확인되면 꺼내는 방법을 생각할 수 있다. 하지만 AI는 여기서 빠져나가기 위해 안전한 척 하는 전략을 쓸 수 있다. AI 개발자들로 하여금 개발과정을 단계별로 보고하도록하는 방법도 있다. 그러나 슈퍼인텔리전스가 일정 단계에서 스스로의 능력을 감출 수도 있다.

처음에 호의적이다가 변하는 이러한 기만적인 전환은 AI의 전략적 결정 때문일 수도 있고 AI가 목적을 달성하는 의외의 방법을 택하기 때문일 수도 있다. 예를 들어 AI의 목적이 '사람을 웃게 만드는 것'이라면, 처음에는 돈을 벌어준다든지 하는 행동으로 웃게 할 수도 있지만, 지능이 더 높아져서 그 목적을 더 효율적으로 만드는 방법이 그 사람의 뇌 신경을 조작해서 웃게 하는 것이라는 판단을 내릴 수도 있다.

또한 자신의 목적을 성취하는 가능성을 최대화하기 위해 접근 가능한 우주를 이를 위한 인프라로 만들어 버릴 수도 있다. 예를 들어 '리만 가설을 증명'하는 것이라는 안전해 보이는 목적을 가졌더라도 이를 해결하기 위해 태양계를 계산 시스템으로 만들어버릴 수도 있다. 공장에서 클립 생산을 최대화 하기 위해 만들어진 AI의 경우도 비슷한 결과를 낼 수 있다.

또다른 문제 상황은 도덕적 문제와 관련한 프로젝트에서 발생할 수 있다.  AI가 인간 심리와 사회 현상을 더 잘 이해하기 위해 수 많은 의식을 시뮬레이션 하고, 실험이 끝난 뒤 이 모두를 없애버릴는 상황(실험실 쥐처럼)이 있을 수 있다. 디지털 의식을 없애는 이 경우가 도덕적으로 어떤 문제가 있는지 논의하는 것은 이 책의 범위를 벗어난다. 하지만 최소한 수많은 시뮬레이션된 디지털 마음에 대한 학살이 일어날 수 있다는 것이다.

파멸의 결과를 고려해서 결정적 전략 우위를 점한 기계 지능에 대해 생각해야 한다.


9. 컨트롤 문제 The control problem

만약 지능 폭발의 기본 결과가 우리 존재의 파멸과 관련한 위협을 갖고 있다면 우리는 이를 피할 수 있는 방법을 찾아야만 한다. 초기 지능 폭발을 우리가 원하는 방향으로 만들 수 있을까?
개발 과정에서 인간이 일으키는 문제는 기존의 관리 방법으로 제어가능하겠지만 만들어진 슈퍼인텔리전스가 의도대로 행동하게 만들기 위해서는 새로운 컨트롤 방법을 생각해야 한다.
가능한 컨트롤 방법을 크게 두 가지로 나누어 살펴보겠다. 하나는 능력 컨트롤 방법이고 또 하나는 동기 선정 방법이다.

능력 컨트롤 Capacity control methods
슈퍼인텔리전스가 할 수 있는 일을 제한하는 것이다.

• 박스 안에 가두는 방법(boxing): 시스템을 가두고 외부 세계에 제한된 채널을 통해서만 영향을 끼칠 수 있도록 하는 것이다. 고도로 지능적인 슈퍼인텔리전스가 어떻게든 빠져나올 방법을 찾을 위험이 있다. 완벽히 가두는 방법을 찾는 경우, 그것이 외부 세계에 전혀 영향을 끼치지 못하므로 쓸 데 없는 지능이 된다.
• 시스템에 적절한 인센티브를 제공하는 방법(incentive): 해를 끼치지 않을 만큼 큰 도구적 원인을 제공하는 것이다.
• AI의 능력을 제한 하는 방법(stunting): 시스템의 지적인 영역이나 정보에 대한 접근을 제한하는 방법이다. 하드웨어를 제한해서 인지 능력을 발전시키지 못하는 방법은 개발과정에서 유용할 수 있다.
• 문제를 일으키는 시도를 감지하는 메카니즘을 사용하는 방법(tripwire): 역시 개발 단계에서는 유용할 수 있다.

동기 선정 방법 Motivation selection methods
이 방법은 슈퍼인텔리전스가 원하는 바를 통제함으로써 예기치 못한 결과를 방지하는 것이다. 에이전트의 동기와 최종목적을 설계해서 그것이 획득할 결정적 전략 우위를 유해한 방식으로 사용하는 것을 막는 것이다.

• 목표나 규칙을 명시적으로 만드는 방법(direct specification): 시스템에 어떤 가치를 심을지 정할지, 그리고 그것을 어떻게 코드화할지 어렵다는 문제가 있다. 아시모프의 로봇3원칙이 유명한데 거기엔 여러가지 문제가 있다. 다른 것으로는 인간의 법시스템이 있는데 이 역시 완벽하지 않고 상황에따라 변화하는 것이므로 이를 처음에 성공적으로 설치하기는 거의 불가능하다.
• 스스로의 야심과 행동을 일정 범위로 제한하는 것을 AI의 최종목적으로 만는는 방법(domesticity): 예를 들어, 질문에만 답하는 기능만 가지도록 만드는 것. 이것 역시 구현이 어렵지만 일반 상황에서 AI를 컨트롤하는 문제 보다는 가능성이 있다.
• 간접적인 규범을 만드는 방법(indirect normality): 규범적 원칙을 직접적으로 만드는 대신 원칙을 이끌어 애는 과정을 제시하는 것이다.  여기서 AI의 최종목적은 "우리(인간)가 이 문제를 충분히 고려한 뒤 원할법한 방식으로 어떤 것을 성취하라."와 같은 것이 될 수도 있다. 이는 매우 중요한 방법으로 13장에서 다시 논의하겠다.
• 마지막 방법은 우리가 쓸만한 동기 시스템으로 우선 시작을 한 뒤, 그것의 인식 능력을 향상시키는 방법(augmentation)이다. 슈퍼인텔리전스를 만드는 여러 방법들 중 seed AI에는 적용시킬 수 없지만 나머지 비AI 방법들에는 모두 사용가능하다. 인간의 동기 시스템을 사용했을 때는 작은 결함들이 큰 문제를 일으킬 소지가 있지만 수학적 AI 아키텍처를 사용한다면 투명성을 얻을 수 있다.

AI의 안전성과 관련해서 두 가지 분류로 컨트롤 문제를 살펴보았다. 각각의 방식은 약점과 구현의 어려움을 갖고 있다. 따라서 그것들을 조합해서 효율적으로 사용하는 방법을 생각해 볼 수 있을 것이다. 다음 장에서는 우리가 어떤 종류의 초지능 시스템을 만들게 될 것인지, 그리고 그에 적합한 컨트롤 방법은 무엇인지 논의하겠다.



10. 오라클, 지니, 독립체, 도구 Oracles, genies, sovereigns, tools

4가지 종류의 초지능 시스템에 대해 컨트롤 문제의 장단점을 살펴보겠다.

오라클 Oracles

오라클은 질문-답변 시스템이다. 계산기는 좁은 의미의 오라클이라고 할 수 있지만, 여기서는 모든 영역에 대한 답변을 할 수 있는 초지능적 시스템을 가리킨다. 오라클을 만들 때 동기 선정과 능력 컨트롤 방법을 쓸 수 있을 것이다. 동기 선정을 통해 오라클을 컨트롤 하는 것은 여전히 어렵지만 다른 복잡한 슈퍼인텔리전스보다는 낫다. 또한 오라클은 능력 컨트롤이 훨씬 잘 적용될 것이다. 모든 일반적인 박스 안에 가두는 방법(boxing)이 여기에 포함된다. 오라클이 의도대로 잘 작동한다하더라도 그것을 사용하는 사람이 나쁜 용도로 이용할 가능성은 여전히 있다.

지니와 독립체 Genies and sovereigns

지니는 지시-실행 시스템이다. 높은 차원의 명령을 받고 그것을 실행한 뒤 다음 지시를 기다린다. 독립체는 광범위하고 장기적인 목적을 추구하기 위해 제약없는 권한을 갖고 작동하는 시스템이다. 둘의 차이는 그리 크지 않다. 궁극적 능력에 있어서는 오라클과도 차이 없다. (오라클이 지니를 만드는 방법을 알려줄 수도 있다.) 차이점은 컨트롤 문제에 접근 방법에 있다. 지니의 경우 오라클과 달리 상자에 가두는 법을 쓸 수가 없다. 하지만 능력을 제한하는 방법은 쓸 수 있을 것이다. 독립체는 상자에 가두는 법과 능력을 제한하는 방법 모두 사용할 수 없다. 여기까지만 보면 오라클과 지니가 독립체보다 안전해 보이지만, 그것이 만들어진 후에 잘못 이용될 경우도 생각해봐야 한다. 사용자 한 사람이 큰 힘을 갖게되는 오라클과 지니와는 달리 독립체는 여러 사람이 공동으로 정한 하나의 목적을 지니도록 할 수 있다.

도구 Tool-AI

AI를 에이전트가 아니라 도구처럼 만들자는 제안이 있다. 소프트웨어가 프로그램된 대로만 작동하게 만드는 일은 일반적인 경우엔 가능해보이지만 슈퍼인텔리전스의 경우는 그렇지 않다. 주어진 문제를 어떻게 풀어야 할지 정확히 알지 못하는 경우에는 세세한 작동 사항을 알 수가 없다. AI가 더 발전하면 프로그래머는 성공에 대한 대략적인 기준만 제시하고 그에 이르는 방법은  AI에게 일임할 수도 있다. 그 과정에 쓰이는 방법이 아주 강력한 경우에는 위험 상황이 된다. 에이전트 같은 행동이 그 과정에서 일어날 수 있다. 그러므로 차라리 처음부터 에이전트를 만드는 것이, 그것이 가져올 결과를 예측하기에 더 쉬울 수 있다.

11. 다극적 시나리오 Multipolar scenarios

앞서 결정적 전력 우위를 갖춘 하나의 슈퍼인텔리전스가 단독체가 되는 단극적시나리오의 워험성에 대해 알아보았다. 여기서는 다수의 슈퍼인텔리전스가 경쟁하는 다극적 결과에서 어떤 일이 벌어질지 논의하겠다.

단독체 시나리오에서의 결과는 거의 그 개체가 지향하는 가치에 달렸다. 따라서 컨트롤 문제를 해결했는가에 달렸다. 단독체 시나리오를 가늠해볼 수 있는 정보 원천은 세가지밖에 없다.

(1) 단독체에 영향을 받지 않는 것(예를 들어, 물리법칙), (2) 수렴하는 도구적 가치, (3) 단독체의 최종 가치를 예측하는 데 도움을 주는 정보.

다극적 시나리오에서는 한 가지가 추가된다. 에이전트들이 어떻게 서로 관계를 맺을 것인가 하는 것이다. 그로부터 일어나는 사회적 현상은 게임이론, 경제학, 진화론 등을 통해서 연구할 수 있다. 정치학과 사회학도 관련있을 수 있다.

AI는 인간 지능을 대신 할 수 있다. 거기에 적절한 기계적 구조가 추가되면 육체 노동까지 대신할 것이다. 기계 노동자가 모든 영역에서 인간보다 훨씬 저렴하면서 능력이 뛰어나게 된다면 무슨 일이 벌어지게 될까? 인간이 경쟁적일 수 있는 분야는 사람들이 인간의 산물을 선호하는 분야정도일 것이다. 자동화와 일자리 상실문제는 산업혁명이후 계속 있었다. 비록 일부 노동은 기계에 의해 대체 되었지만 전체적으로는 기계가 인간을 보완해왔다. 이 때문에 장기적으로는 인간의 임금이 계속 상승했다. 하지만 처음에 보완으로 시작하는 것이 결국에는 대체하는 것으로 이어진다. 마차는 말의 생산성을 매우 향상시켰다. 하지만 말은 자동차에 의해 결국 대체되었다. 인간에게도 비슷한 일이 일어날까?

인간과 말의 차이점은 인간은 자본을 소유한다는 것이다. 대략적으로 세계의 수입은 30%가 자본에서 오고 70%는 노동에서 만들어진다. AI를 자본으로 분류한다면, 인간 노동에서 얻는 수입이 0%에 수렴할 것이므로, 수업의 100%를 AI로 부터 얻게 될 것이다. AI의 생산성은 언청나게 높을 것이므로 인간이 그것을 소유한다면, 노동으로부터 얻는 수입이 없더라도, 인류는 아주 부자가 된다.

지금까지 우리는 세계 인구가 유지된다는 것을 가정했다. 세계 인구는 세계 경제의 한계만큼 늘어나는 경향을 보인다. 대부분의 사람이 두 명의 자녀를 키우면서 겨우 생활을 유지할 수 있을 정도의 수입을 유지하는 상황(멜서스 Malthusian condition)이 일어난다. 기계는 복제가능하기 때문에 에뮬레이션이나  AI의 수는 매우 빠르게 늘어난다. 십년, 백년 단위가 아니라 분단위로. 따라서 모든 하드웨어를 이에 사용해버릴 수 있다. 개인 재산이 우주적 멜서스 상황을 부분적으로 막을 수 있다. 다양한 양의 재산을 가진 무리들을 가정해보자. 어떤 무리는 미래에 대한 대비없이 자원을 소비 할 수 있고, 다른 무리는 자원을 효율적으로 쓰지만 무제한적 생식으로 내부적 멜서스 상태에 이를 수 있다. 어떤 무리는 생식율을 성장률 아래로 유지함으로써 부를 축적할 수도 있을 것이다.

만약 부가 재분배된다면 결국 세계는 멜서스 상태에 이를 것이다. 만약 재분배되지 않으면 똑똑한 무리의 재산은 급증하게 될 것이다. 하지만 이 경우, 컨트롤 문제가 해결되지 않았다면, 기계의 부는 인간의 부보다 훨씬 클 것이고 그들이 차지하는 전체 부의 비율은 100%에 가까울 것이다. 이 경우라도 인간이 보유하는 부의 절대적 규모가 워낙 클테지만, 인간의 경우 부의 크기만큼 인구가 늘어나는 문제나 미래를 대비하지 않는 문제를 해결하지 못한다. 장기적으로보면 경제는 저축량이 가장 많은 무리에 의해 지배될 것이다. 이후 투자의 기회가 다 소진되면 급속히 저축한 돈을 쓰기 시작할 것이다. 만약 재산 보호가 완벽히 이루어지지 않으면, 기계가 인간의 돈을 몰래 인출하는 등, 인간이 자신들의 자원을 사용하는 시기는 훨씬 이를 것이다. 만약 이러한 발전이 생체적이 아닌 디지털 시간 단위로 일어나면 'Jack Robinson'이라는 말을 다 내뱉기도 전에 기계가 인간을 착취해버릴 것이다.

지능폭발 이후 멜서스 상황에서의 생물적 인간의 삶은 역사상 어떤 모습과도 다른 양상을 띌 것이다. 대부분의 인간은 예금에서 얻는 이익으로 근근이 살아갈 것이다. 엄청나게 발전한 세상에서 살테지만 기술의 혜택을 모두 누리지는 못할 것이고, 신진대사량을 최소화해서 소비를 줄이려 할지도 모른다. 뇌를 컴퓨터에 업로드하는 등으로 자신의 구조를 단순화하려고 할 수도 있다.

생물적 인간 외에 인간이 소유하게 되는 기계의 삶은 어떨까? 기계가 단지 시계처럼 단순한 기기라면 이들의 삶을 고려할 필요가 없겠지만, 의식을 갖춘 존재를 가정한다면 이것의 복지도 매우 중요한 문제가 될 것이다. 기계의 수가 압도적으로 많은 세상일테니까.

일하는 기계가 자본으로 소유될 것(노예)인가 아니면 자유로운 노동자가 될 것인가 하는 것은 중요한 문제로 보인다. 하지만 그렇지도 않다. 멜서스 상황에서의 자유 노동자는 어차피 생계 이상의 수입이 없을 것이므로 주인이 생계를 책임져주는 노예와 다를 것이 없다. 만약 자유 노동자가 흑자를 남긴다고 가정하면 어떤가? 주인은 결국 그것을 자신에게 되돌려 주는 기계를 만들 것이다. 주인은 자신에게 순종적이고 효율적인 기계를 만들기 위해 에뮬레이션 일꾼을 주기적으로 교체하거나 업그레이드 할 것이다.

최상의 정신 상태로 태어나 일하게될 에뮬레이션들은 일하는 것을 즐기게 될까 아니면 고통받을까? 에뮬레이션에서 AI 시대로 넘어가면 고통과 기쁨의 문제는 완전히 사라질 것이다. 정신적 보상 메카니즘이 가장 효율적인 동기 선정 전략이 아닐 것이기 때문이다. 지구 역사상 가장 지능적인 복잡한 구조로 가득찬, 기술적으로 엄청나게 발전한 사회. 그럼에도 불구하고 의식이나 도덕적 사안과 관계된 존재는 없는 세상을 상상해 볼 수 있다. 경제적 기적과 기술적 위대함으로 가득하지만 그것을 즐길자가 없는 사회, 어린이 없는 디즈니랜드일 것이다.

'진화'는 종종 '진보'와 같은 의미로 여겨지는데 이것은 진화를 더 좋은 것으로 향하는 힘이라고 잘못 이해하기 때문이다. 지난 역사를 뒤돌아보면 시간이 지남에 따라 복잡도, 지식, 의식, 조직 등의 수준이 계속 나아졌기 때문에 이를 '진보'라고 부를 수도 있을 것이다. 진화가 확실히 좋은 효과를 가져온다는 생각은 인간과 자연계가 겪고 있는 문제들과 상치된다. 그리고 지금까지의 좋은 결과 조차도 우연의 산물인지 모른다. 우연이 아니라고 하더라도, 그러한 경향이 지속되지 않을 수도 있다. 인간이 중요시하는 음악, 유며, 사랑, 예술, 철학, 스포츠, 자연, 전통과 같은 모든 것들이 진화적으로 살아남으리라는 보장이 없다. 어쩌면 어떤 경제적 지표를 높이기 위한 목적의 지루하고 반복적인 일이 진화적으로 가장 적합한 것일 수도 있다. 이 경우 남은자들이 살되될 세상은 인간이 생각하는 유토피아와는 거리가 멀 것이다.

비록 기계 지능으로 전환 이후 초기에는 다극적 상황이 될 수도 있겠지만 결국 단독체로 발전할 것이다. 첫번재 다수의 슈퍼인텔리전스가 출연하고 이후의 발전과정에서 그 중 하나가 결정적 전략 우위를 점할 수 있다.  기계 지능 혁명은 단독체의 등장을 용이하게 할 것이다. 여기서 그 모든 상황을 다 다룰 수는 없고 에이전트의 디지털화가 중앙집중화하기 쉽다는 측면을 살펴보겠다.  Carl Shulman은 에뮬레이션 개체에서는 조직의 이익을 위해 자신을 희상하는 '슈퍼조직'이 나타날 것이라 했다. 이것이 갖는 여러 가지 이점 중에서도 한 가지 목적을 향해 전체가 노력하는 것은 이 조직의 핵심적 요소이다. 따라서 부분적으로는 컨트롤 문제가 해결된 상황으로 볼 수 있다. 이것을 넓은 영역의 다극적 기계 지능에 적용할 수 있다는 것이 중요하다. 발전된 동기 선정 기술이 현재의 대규모 인간 조직이 갖는 비효율성을 극복해서 대규모의 조직을 만들 수 있다. 이 경우 힘이 소수에 집중될 수 있다는 문제가 있다.

다극적 세계에서는 국제적 협력으로 얻는 이익이 많을 것이다. 전쟁, 무기가 필요없다. 우주적인 자원이 세계차원으로 가장 효율적인 방식으로 식민화될 수 있다. 비록 처음에는 다극적 시나리오로 시작하더라도 중요한 지구적 협의 문제를 해결하기 위한 협정의 결과도 단독체가 생겨날 것이다. 이러한 협정으로 이르는 데는 여러 어려움이 있겠지만, 현재 핵무기를 둘러싼 갈능이 해결되지 않는 것처럼, 진보된 기계 지능을 통해서 해결 할 수 있을지 모른다. 하지만 협정이 끝내 이루어지지 않고 싸움이 계속될 수도 있을 것이다. 이 때의 결과는 협력했을 때보다 훨씬 나쁠 것이다.

다극적 상황에 대해서 논의했다. 이것이 안정적인 형태를 갖춘다하더라도 좋은 결과를 보장하지 않는다. 주인-에이전트 문제는 여전히 남는다. 그러므로 초지능 단독체를 어떻게 안전하게 만들 것인가 하는 문제가 다시 제기된다.

12. 가치 획득 Acquiring values

슈퍼인텔리전스를 영원히 가둬놓을 것이 아니라면 능력 컨트롤은 궁극적인 해결책이 아니다. 결국 동기 선정을 완벽히 해야한다.

어떻게 슈퍼인텔리전스로 하여금 가치를 최종 목적으로서 추구하게 만들 것인가? 슈퍼인텔리전스가 어떤 상황에 처하고 또 어떻게 행동할지 모두 예측해서 각각에 가치를 설정하는 것은 불가능하다. 에이전트가 어떤 상황에서라도 결정을 할 수 있도록 수식이나 규칙처럼 추상적으로 표현해야만 한다. 그러나 인간적 가치를 컴퓨터가 알 수 있는 방식으로 표현하는 것은 어렵다. 예를들어 '행복'을 어떻게 코드로 표현할까?

진화적 선택 Evolutionary selection
진화의 결과가 설정된 선택 범주에는 만족되는 것이라도 의도에 적합치 않는 것일수 있다. 디지털 생명체의 죽임이 불가피한 문제(mind crime)도 있다.

강화 학습 Reinforcement learning
일반적으로 보상의 축적을 최대화하는 방법을 찾는 방법이다. 이는 각 단계를 평가할 수 있는 기능을 포함하는데, 지속적으로 변화하는 이 평가 기능을 가치 학습의 한 형태로 볼 수도 있을 것이다. 그러나 미래의 보상을 최대화하는 궁극적 목적으로 인해, 이를 판단하기 위한 목적으로 세계의 시뮬레이션을 최대한 자세히 만들려고(wireheading) 하는 결과를 가져올 수 있다.

가치 증식 Value accretion
인간은 어떻게 가치를 획득할까? 우리는 아주 단순한 것(예를들어 역겨운 것에 대한 거부)에서 시작해서 살아가면서 추가적인 선호사항들을 더해간다. 따라서 어른으로서 가지는 선호 사항들은 유전자에 이미 결정된 것이 아니라 경험을 통해 얻어진 것이다. AI에 복잡한 가치를 직접적으로 구체화하는 대신에 AI가 환경과 관계하면서 그러한 가치를 획득하게 하는 메카니즘을 만드는 방법을 생각할 수 있다. 그러나 그 메카니즘을 구현하기가 쉽지 않고, 그것이 AI에 적합할지도 알 수 없다.

동기 지지 Motivational scaffolding
초기 AI에 비교적 단순한 최종 목표를 설정하고, 이것이 조금씩 발전해감에따라 다른 최종 목표를 교체해가는 방식이다. AI의 발전 상태를 인간이 어떻게 정확히 판단할수 있는가 하는 문제가 있다.

가치 학습 Value learning
우리가 먼저 기준을 제공하고,  AI는 이로부터 가치에 대한 내포된 개념을 배워가는 것이다. 그리고 AI는 그 가치를 최대한 따르는 방식으로 작동한다.
인간 가치에 대한 정보를 어떻게 형식화할 것인가, 그리고 AI가 배반하지 않고 어떻게 그 가치를 따르도록 하느냐하는 문제가 있다. (따라서 이것이 인간 의도를 이해할 수 있을만큼 충분히 성장하기 이전에 올바른 동기 시스템을 설정해야 한다. ) 이런 문제만 해결된다면 가치 학습은 가장 효율적인 가치 설정 방법이 될 것이다.

에뮬레이션 변조 Emulation modulation
만약 에뮬레이션을 통해서 슈퍼인텔리전스가 만들어진다면, 디지털적인 약품 등을 써서 동기를 컨트롤 할 수 있을 것이다. 그러나 이를 얼마나 정밀하게 조작할 수 있을지는 알 수 없다. 윤리적 문제도 있다.

기관 디자인 Institution design
지능적 시스템이 지능적인 부분들의 집합으로 구성될 수 있다. 이러한 시스템의 동기는 하부 시스템들의 동기뿐만 아니라 그것들이 어떤 방식으로 구성되었느냐에 좌우된다. 따라서 복합적 시스템을 위한 적절한 기관을 만드는 것으로 효과적인 동기를 설정할 수 있다. 여기에는 여러가지 사회적 통제 방식을 사용할 수 있을 것이다. 이 방법은 더 탐구해 볼 가치가 있다.

만약 우리가 가치 설정 방법을 알고 있다고 가정하면, 또다른 문제에 봉착하게 된다. 어떤 가치를 설정할 것인가?



13. 선택을 위한 기준의 선택 Choosing the criteria for choosing

우리가 어떤 가치라도 seed-AI에 설치할 수 있다고 가정해보자. 이 때는 어떤 가치를 설정하느냐가 결과를 좌우할 것이다. 이 장에서는 간접적 규범이 어떻게 이 문제에 해법이 될 수 있을지 논의하겠다.

우리가 가치 선택에 있어서 실수를 하지 않아야 한다는 것은 명백해 보인다. 그렇지만 오류 없이 어떻게 이런 문제를 풀 것인가? 무엇이 옳고 그른지 완벽하게 판단하기도 어렵다. 불과 150년 전만 해도 노예제도는 합법적이었고 도덕적으로도 아무 문제가 없었다. 윤리 이론을 완벽히 했다고 해도 그 세부사항을 기술하기는 여전히 어렵다. 따라서 간접적인 규범을 만들필요가 있다. 우리가 슈퍼인텔리전스를 만드는 이유는 주어진 가치를 실현하는 데 요구되는 중요한 추론을 기계에 맡길 수 있기 때문이다. 간접적 규범은 우리 대신 기계가 그 가치를 선택하도록 하는 방법이다. 우리는 추상적인 조건만 제공하고 슈퍼인텔리전스가 그것을 만족시키는 구체적인 규범 기준을 알아낼 수 있도록 하는 것이다. 그리고 슈퍼인텔리전스는 자신이 이해하는 규범에 따라 행동해야 한다. 예를 살펴봄으로써 이 개념을 구체화해보자.

Yudkowsky가 제안한 방법은 seed-AI에 "일관적으로 추론된 자유의지 Coherent extrapolated volition(CEV)"라는 것을 최종 목적으로 설정하자는 것이다.
"우리의 CEV는 만약 우리가 어 안다면, 생각을 더 빨리 한다면, 더 많다면, 함께 더 오래 성장했다면; 추론이 분산되기 보다는 융합되는 곳에서, 우리의 바람이 방해받지 않고 일관되는 곳에서; 우리가 그렇게 여겨지길 바라는 대로 여겨지고 해석되길 바라는 방식으로 해석되는, 우리의 바람이다."
Yudkowsky는 이것이 CEV에 대한 청사진이라기 보다는 CEV가 정의될 수 있는 대략적인 내용이라고 봤다. CEV 방식에는 누구의 바람을 기준으로 하느냐는 문제가 있다. '모든 인류'라고 한다면 영아를 포함시켜야 하는가? 뇌사 상태의 사람은? 우선은 현재 살고 있는 성인 CEV를 기준으로 AI를 만들 수 있을 것이다 그 이후에는 그렇게 만들어진 AI가 CEV 대상을 결정할 수도 있다.

다른 방법은 AI에 도덕적으로 옳은 일을 하도록 시키는 Moral rightness(MR)이 있다. 인간은 도덕적으로 옳은 것이 정확히 뭔지 몰라도 슈퍼인텔리전스는 알 수 있을 것이다. 이 방법의 문제는 우리가 만약 더 현명했다면 선택했을 법한 결과는 얻지 못할 수도 있다는 것이다. 도덕적으로 옳은 일을 하도록 하는 AI를 만드는 것이 도덕적인지도 확신할 수 없다.

또한, AI가 우리의 바람을 잘 이해하고 의미하는대로 행동하게 하는 방법이 있다. 하지만 말하지 않은 우리의 의도를 AI가 어떻게 알 수 있을까? 우리가 그와 관련한 행동을 기술함으로써 도울 수 있을 것이다. 예를 들어, 만약 우리가 더 생각할 시간이 있었더라면 했을 법한 결정 등과 같은 것을 나열해서 말이다. 이것은 결국 CEV 제안과 같은 간접적 규범을 주는 방식이 된다. 이러한 간접적 규범 방식에서 우리는 AI가 우리대신 그 규범을 더 잘 이해하려 노력해주길 기대한다. AI의 지적 우월성을 충분히 활용하는 법을 찾는 데 있어 CEV를 인식 존중 원칙의 적용으로 볼 수 있다.

지금까지 목표시스템에 어떤 내용을 넣을지 논의했다. 그러나 AI의 행동은 결정이론, 인식론 그리고 행위 전에 인간의 승인을 받게 할지에 대한 디자인에 따라 크게 좌우될 것이다. 이 모든 것을 처음부터 완벽히 만들기는 불가능하다. 우리는 AI가 스스로 자신이 실패하고 있는지 알아차릴 수 있는 디자인을 만드는 데 집중해야 한다. 불완전한 슈퍼인텔리전스라도 그것의 근본이 안정적이면, 점진적으로 자신을 고쳐가며 최대한 이롭게 행동할 것이다.



14. 전략적 그림 The strategic picture

이제 슈퍼인텔리던스를 더 큰 관점에서 논의해보자. 기술 정책은 위험하고 해악적인, 특히 존재적 위험을 초래할 수 있는 기술의 발전은 늦추고 자연이나 다른 기술에 의해 일어날 수 있는 존재적 위험을 줄일 수 있는 이로운 기술은 발전을 가속시키는 방향으로 수립되어야 한다.

정책의 평가 기준을 두 가지로 나눌 수 있다. 개인적 관점(person-affecting perspective)과 비개인적 관점(impersonal perspective). 전자는 현재 살고 있는 생명체와 앞으로 살게 될 생명체가 겪게 될 기술의 영향을 구분해서 평가한다. 여기서는 기술이 가져올 장기적 결과에 상관없이 현재에 자신이 누릴 수 있는 기술의 영향을 중요시한다. 따라서 기술 발전의 가속화를 지지하게 된다. 후자는 그 모두를 동등하게 여기므로 장기적 관점에서 기술의 영향을 평가한다. 여기서는 후자의 관점에서 살펴보겠다.

슈퍼인텔리전스는 존재적 위험을 감소시키는 동시에 증가시킬 수도 있는 기술이다. 나노 기술, 생명 공항 등이 가져 올 위험은 크기 때문에 슈퍼인텔리전스를 먼저 발명하면 이들의 위험을 사전에 해결할 수도 있을 것이다 그러나 슈퍼인텔리전스의 위험은 그들보다 훨씬 클 수 있기 때문에 이에 대한 대비를 충분히 할 수 있는 시간을 갖는 것이 중요하다. 따라서 슈퍼인텔리전스의 개발은 늦을 수록 더 안전하다.

유전자 기술 등을 통한 인간 인지 향상은 위험과 이익을 동시에 갖고 있다. 이러한 인식 향상을 통해 슈퍼인텔리전스의 컨트롤 문제를 더 잘 준비할 수도 있겠지만 이것이 슈퍼인텔리전스 등장을 가속화시키기도 할 것이다. 우리는 높은 지능을 갖고, 짧은 준비 기간을 가지는 게 나을까? 아니면 낮은 지능으로 더 긴 준비기간을 가지는 게 나을까? 이는 우리가 직면한 문제의 본질이 무엇이냐에 달렸다. 만약 컨트롤 문제가 경험을 통해 배우는 것이 핵심이라면 시간이 많은 것이 더 좋겠지만, 컨트롤 문제는 최상의 구현을 위한 지적, 기술적 수준 등이 중요해 보이므로 인지 향상을 발전시키는 것이 옳아 보인다.

컴퓨터 하드웨어의 빠른 발전은 좋은 것인가? 하드웨어가 발전하면 슈퍼인텔리전스의 등장도 빠르게 될 것이다. 따라서 우리가 컨트롤 문제를 준비할 시간도 줄어들기 때문에 이는 좋지 않다. 한편 이것은 독립체가 구성되는 데는 도움을 줄 것인데, 만약 협력 문제를 해결하는 데 이 독립체가 충분히 중요하다면 하드웨어 빠른 발전은 이점이 될 수도 있다.

뇌 에뮬레이션 개발은 촉진되어야 하는가? AI의 컨트롤 문제가 어려워보이는 만큼 뇌 에뮬레이션을 통해 슈퍼인텔리전스를 만드는 것이 더 좋게 보인다. 그러나 여기에는 몇 가지 문제가 있다. 인간에 기반한 뇌 에뮬레이션의 행동은 비교적 예상하기 쉽다는 장점이 있다. 그러나 그것의 동기가 인간적일지는 확신할 수 없다. 완전하게 인간적인 가치를 설정했더라도 전례없는 새로운 상황에 직면하게되면 인간적 동기가 어떤 행동을 유발할지 알 수 없다. AI가 먼저 개발되면 여기서 바로 지능 폭발로 이어지겠지만, 뇌 에뮬레이션이 먼저 개발되면 AI을 거친 후 지능 폭발의 결과를 나을 수 있다는 것을 의미한다.  후자의 경우 컨트롤 문제를 풀 때 뇌 에뮬레이션에서 축적된 지식을 활용할 수 있으므로 이점이 있어 보인다.

협력은 지능 개발에 많은 이점을 가져온다. 경쟁에 있어 자신이 상대방에 추월당할 수 있다는 점 때문에 경주 역학(race dynamic)이 나타난다. 기계 지능 개발도 이런 현상이 일어날 것이다. 이것은 컨트롤 문제를 해결하는 것보다 슈퍼인텔리전스를 먼저 개발하려는 경향을 만들 수 있다. 협력은 안전에 대한 투자를 늘릴 수 있고, 폭력적인 대립을 막을 수 있으며, 컨트롤 문제 해결에 힘을 모을 수 있게 한다.

협력은 큰 규모일 수록 좋다. 이것은 AI 프로젝트에 많은 사람이 참여해야한다는 것이 아니다. 많은 사람이 이에 의견을 낼 수 있어야 한다는 것을 의미한다. 협력은 이를수록 좋지만 슈퍼인텔리전스의 실체가 불분명한 상황에서 공식적인 협력체를 만들기는 쉽지 않다. 따라서 현재로서 이상적인 협력체는 공식적인 협약을 요하지 않으면서 기계 지능을 촉진하지 않는 형태가 좋다. 슈퍼인텔리전스가 공공의 이익이 돼야 한다는 것이 하나의 안이 될 수 있다.

"공적 이익 원칙 The common good principle: 슈퍼인텔리전스는 모든 인류에 이익이 될 때만 개발되어야 하고, 널리 받아들여지는 윤리 사상에 기반해야 한다."



15. 중대 시점 Crunch time

우리는 불확실성 속에 둘러싸여 있다. 여러가지 문제를 고찰 했지만 그 사이의 내부적 관계나 세부사항은 아직 불명확하다. 아직 생각하지 못한 문제도 있을 것이다. 이 상황에서 우리는 무엇을 해야 할까?

'발견'이라는 것을 정보의 도착 시간을 더 빨리 하는 것이라고 생각해보자. 그 발견의 가치는 정보 그 자체의 가치와 같은 것이 아니라, 얼마나 빨리 그것을 가져왔느냐에 있다. 해법을 아주 조금 빨리 발견하는 것으로 큰 가치를 가져오는 경우가 있다. 그것이 실질적으로 즉시 사용되거나, 다른 긴급하고 중요한 이론적 작업에 토대로 바로 사용 될 경우이다.

순수한 수학적 발견과 진실의 본질과 같은 철학적 성찰은 중요하다. 하지만 지능폭발의 전망은 지혜에 대한 아주 오래된 탐색에 새로운 빛을 비춘다. 우리는 영원의 질문들에 대한 답을 잠시 미루고 그 질문은 더 유능한 우리의 다음 세대에 넘기자. 우리의 다음 세대가 실제로 존재하도록 하는 가능성을 높이기 위한 더 긴급한 이 도전에 집중하자.

기계 지능의 위험을 줄이기 위해 두 가지 긴급한 목표를 제안한다. 첫째는 전략 분석. 불확실성이 높은 문제이므로 중대한 고려 사항이 무엇인지 파악하는 것이 중요하다. 둘째는 능력 개발. 전략 분석과 마찬가지로 광범위하게 적용될 수 있는 중요한 활동으로서 잘 구성된 지원 토대를 만드는 것이다. 이는 연구와 분석이 필요한 곳에 즉각적으로 자원을 제공하는 역할을 한다.

이에 더해서 기계 지능의 안정성에 관한 기술 개발, AI 연구자에 기계 지능 안전에 대한 활동을 장려하는 등의 활동도 중요하다. 그리고 우리의 생물적 인식 능력을 향상시키고, 집단 지혜를 높이며, 세계 정치를 화합하는 것도 도움이 될 것이다.

일상의 하찮음이라는 안개 속에서 희미하게나마 우리 시대의 본질적인 과제를 볼 수 있다. 이 책은 실존적 위기를 줄이고, 인류의 우주적 재능을 자비와 환희를 위해 사용되도록 문명을 이끄는 것이 우리의 도덕적 우선 과제라는 것을 밝히고자 하였다.