2030년의 인공지능과 삶 Artificial Intelligence and Life in 2030

2030년의 인공지능과 삶 Artificial Intelligence and Life in 2030

PREFACE

"인공지능 100년 연구 One Hundred Year Study on Artificial Intelligence(AI100)"는 인공지능 분야 그리고 인공지능이 인간, 인공지능 커뮤니티, 사회에 끼치는 영향에 대한 장기 연구로서 2014년 시작되었다. 5년 마다 전문가 패널을 조직해서 인공지능의 상황를 평가한다.

이 보고서는 최소 100년 간 진행될 연구의 최초 성과물로, 다양한 인공지능 전문가 17명이 패널로 참여했다. 인공지능의 활용과 영향은 사회적, 기술적 여러 발전 상황과 맞물려 일어나는 것 이기에, 특정 분야를 다루는 대신 금번 주제는 '2030년의 인공지능과 삶'으로 정하였다. 제한적인 자원으로 인해 연구 대상 지역은 북미의 도시들로 한정하였다. 군사용 인공지능도 다루지 않는다.

SECTION I: 인공지능은 무엇인가?

인공지능에 대한 아직 합의된 정의는 없지만 Nils J. Nilsson은 다음과 같이 정의했다. "인공지능은 기계를 지능적으로 만드는 것을 다루는 활동이다.  그리고 지능은 어떤 개체가 놓여진 환경에 대한 선견을 갖고 적절하게 행동하는 자질이다." 이에 따르면 계산기와 인간 사이의 차이점은 특별한 것이 아니라 속도, 규모, 자율성의 정도, 일반성에 있다.

어떤 인공지능이 등장한 후 그것에 익숙해지면 사람들은 그것은 더이상 인공지능이 아니라고 여기는 현상(AI effect or odd paradox)이 있다. 1997년 IBM의 딥블루가 인간 체스 챔피언을 이긴 후, 곧 그것은 진짜 지능이 아니라는 반응이 나왔다. 실제로 이후 IBM의 딥블루에 대한 출판물에도 지능이란 단어는 한 번도 언급되지 않았다.

인공지능은 또한 이 분야 연구자들이 무엇을 하는지에 따라 정의할 수도 있다.  이 보고서는 인공지능을 지능을 합성(synthesize)하는 것을 통해 지능의 속성을 연구하는 컴퓨터 과학의 하위 분야로 본다. 지능은 복잡한 현상으로서 이것의 다양한 측면이 심리학, 경제학, 신경과학, 생물학, 공학, 통계학, 언어학 등 여러 분야의 관심을 끌고 있다. 자연히 이같은 여러 관련 분야의 발전이 인공지능에 기여한다.

인공지능은 이미 우리 삶에 스며들고 있다. 인공지능 혁명을 가속화한 가장 중요한 요인은 클라우드 컴퓨팅과 광범위한 웹기반 데이터 수집이 뒷받침한 머신러닝의 성장이다. 머신러닝은 뉴럴 네트워크의 일종인 '딥 러닝'에 의해 크게 발전했다. 하드웨어의 발전과 새로운 시장의 등장이 이러한 알고리듬의 발전에 기여했다. 이러한 경향에서 현재 인기 연구 분야는 다음과 같다.

• Large-scale machine learning: 기존의 알고리듬을 엄청나게 많은 데이터에 적용 가능하게 만드는 것.
• Deep learning: 딥러닝은 컴퓨터 비전 분야에 크게 기여했고 오디오, 스피치, 자연어 처리 등 다른 지각 분야에도 적용되고 있다.
• Reinforcement learning: 전통적 머신러닝이 패턴인식에 집중한 반면, 강화 학습은 의사 결정에 중점을 둔다.
• Robotics: 로봇이 일반화, 예측 가능한 방식으로 세계와 인터랙션할 수 있도록 만드는 것. 다른 분야에 비해 이를 위한 대규모 데이터를 얻기 어렵다는 문제가 있다. 
• Computer vision: 컴퓨터 비전은 현재 가장 중요한 기계 지각이다. 최근 몇 년 사이 비약적으로 발전했고, 처음으로 일부 영역에서 인간보다 뛰어난 성능을 보였다. 현재 연구는 이미지와 비디오 자동설명(captioning)에 집중하고 있다.
• Natural Language Processing: 자연어 처리 역시 활발한 분야이다. 구글은 모바일 검색의 20%가 음성으로 이뤄지고 있다고 발표했고, 최근 실시간 통역의 가능성도 보여주었다. 현재는 제한된 요청에만 반응하는 것이 아니라 대화를 통해 인간과 인터랙션할 수 있도록 하는 시스템에 대한 연구로 넘어가고 있다.
• Collaborative systems: 하나의 시스템이 다른 시스템 혹은 인간과 협력할 수 있도록 만드는 것. 인공지능과 인간의 강점을 상호보완적으로 활용하는 것에 대한 관심이 높아지고 있다.
• Crowdsourcing and human computation: 컴퓨터가 잘 풀지 못하는 문제를 인간의 지능을 활용해서 해결함으로써 컴퓨터의 성능을 높이는 것. 크라우드 소싱은 인간 지능을 창의적으로 활용할 방법을 찾는 것으로, 위키피디아가 잘 알려진 예이다. 현재 연구에서는 인간과 컴퓨터의 능력과 비용을 고려하여 최적의 방식으로 일을 배분하는 방법을 찾고 있다.
• Algorithmic game theory and computational social choice: 인공지능의 경제적, 사회적 측면에 대한 새로운 관심이 생기고 있다.
• Internet of Things (IoT): 다양한 기기들이 연결되어 감각 정보를 수집하고 공유할 수 있게 되고 있고, 인공지능은 이러한 데이터를 지능적이고 유용한 목적으로 사용할 수 있다.
• Neuromorphic Computing: 인풋/아웃풋, 지시-처리, 메모리의 전통적 컴퓨팅 모델에서 벗어난 생물학적 뉴런에 영감을 받은 새로운 컴퓨팅 모델을 개발하여 하드웨어의 효율성을 높이는 것.

데이터 주도 인공지능의 굉장한 성공은 전통적 인공지능 패러다임을 대체했다. 향후 15년 동안에는 인공지능이 특정한 대상과의 인터랙션에 특화된 human-aware 시스템이 집중적으로 개발될 것이다. 인터랙티브하고 확장 가능하게 로봇을 가르칠 수 있는 창의적 교육 방법을 찾는 시도도 많다. 인공지능의 사회, 경제적인 측면이 고려됨에 따라 IoT 타입의 시스템에 대한 관심 역시 증가하고 있다. 앞으로는 새로운 지각/사물인식 능력과 안전한(human-safe) 로봇 플랫폼이 발전할 것이다. 데이터 주도 상품과 시장도 성장할 것이다. 또한 연구자들이 순수 딥러닝의 한계를 피할 수 없음을 인지함에 따라 일부 전통적 형태의 인공지능이 재등장할 것으로 본다.


SECTION II: 인공지능의 영역

인공지능의 다양한 연구와 업무가 머신러닝 같은 동일한 기술을 공유 하기도 하지만 다른 경제, 사회적 영역에서는 차이를 보이기도 한다. 여기서는 8개의 영역에서 인공지능 연구와 활용 그리고 인공지능의 영향과 과제를 알아본다. 이 분석을 기준으로 향후 15년 동안 북미 지역의 경향을 예측해보겠다.


교통 TRANSPORTATION
자율주행 자동차는 곧 일반화 될 것이고 이를 통해 대부분의 사람들은 처음으로 물리적으로 구현된 인공지능을 경험하게 될 것이다. 따라서 인공지능에 대한 대중의 인상에 강하게 영향을 줄 것이다. 차가 인간보다 더 운전을 잘 하게 되면 도시 거주자들은 차를 덜 소유하게 될 것이고 직장에서 멀리 거주하며 시간을 다른식으로 보냄에따라 완전히 새로운 도시 조직을 형성하게 될 것이다. 이러한 변화는 자동차에 국한되는 것이 아니라 비행체와 개인 로봇 등에도 적용되어 사회적, 윤리적, 정책적 이슈를 일으킬 것이다.

• 스마트카 Smarter cars: 자동차가 GPS, 자이로센서, 광센서, 습도센서 등 여러 센서를 장착하여 운전자를 돕거나 일부 영역에서는 완전히 대체하고 있다. 비전과 레이더 기술이 이를 더 발전시킨다. 딥러닝 역시 자동차의 사물인식이나 소리 인지를 향상시키는 데 적용되고 있다.
• 자율주행 운송수단 Self-driving vehicles: 1930년대 과학 소설에 등장한 자율주행 자동차는 1960년대 이래로 인공지능계의 도전 과제였다.  2000년대 이르러 자율주행 운송수단은 바다와 하늘 그리고 화성에서까지 실현되었다. 도시에서 작동하는 자율주행 자동차는 그 복잡성 때문에 연구실 내에만 머물렀는데, 최근 센싱 기술과 머신러닝의 도움으로 크게 발전하였다. 가까운 미래에 운전에 필요한 센싱 알고리듬은 인간 능력을 초월할 것이다. 최근 보고서에 따르면 2020년에는 자율주행 자동차가 널리 보급될 것이고 이것은 개인 운송에만 국한 되는 것이 아니라 원격 조종되는 운송수단, 비행수단, 트럭 등에도 적용될 것이다. 로봇 기술의 발달로 로봇이나 드론 같은 다른 운송 기술도 등장할 것이다. 자율주행은 사고를 줄이고, 출퇴근 시간 동안 다른 일을 할 수 있게 하며, 거주지역에도 영향을 끼칠 것이다. 주차공간의 필요성이 줄어들면서 도시 디자인에도 영향을 끼칠 것이다. 어린이, 노약자, 장애인들의 활동 범위도 넓혀줄 것이다. 자동차 소유에 대한 욕구도 없앨지 모른다. 안전성, 인명사고를 피할 수 없는 경우에 대한 프로그래밍 등의 윤리 이슈가 있다. 2016년 지금 미국의 4개 도시, 캐나다, 영국, 프랑스, 스위스는 공공 도로에서 자율주행 자동차를 테스트할 수 있도록 법을 통과시켰지만, 사고시 책임을 묻는 문제에 대한 법은 없다.
• 교통 계획 Transportation planning: 2005년 경 도시들은 교통상황을 측정할 수 있는 인프라에 투자하기 시작했다. 현재 사용되고 있는 센서는 inductive loop, 카메라, 레이더, GPS 등이 있다. 인공지능은 버스와 지하철 스케쥴 계획, 유동적 고속도로 과금, 유동적 제한 속도 적용 등에 쓰이고 있다. 2006년 이래 구글맵 등의 서비스를 기반으로 실시간 정보를 활용한 경로 탐색이 널리 쓰이고 있다. 이러한 발전에도 불구하고 센싱과 최적화 기술은 개인 사용에 비해 도시 인프라에는 덜 활용되고 있다. 기술 표준의 부재, 비용, 도시마다 다양한 우선순위, 프라이버시 문제 등이 그 이유이다.
• 주문형 교통 On-demand transportation: 우버 같은 주문형 교통은 센싱, 연결성(connectivity), 인공지능의 중심적인 어플리케이션 중 하나다. 
• 인간과 인터랙션 Interacting with people: 미래에는 자동차가 더 스마트해지고 드론도 활용될테지만 2030년 내로는 현재 우리가 사용하는 다른 형태와 기능을 가진 운송 수단이 널리 쓰일 것으로 보이지 않는다. 드론이 일반적인 운송 수단으로 사용되지도 않을 것이다. 자율주행 자동차와 드론을 학습, 실행, 평가하는 데 인간이 파트너가 될 것이다.

가정/서비스 로봇 HOME/SERVICE ROBOTS

지난 15년 동안 가정용 로봇의 발전은 느렸지만 다가 올 15년 동안은 안전성과 사용성에 대한 신뢰가 증가할 것이다. 하지만 기계적인 제품을 만드는 비용과 기술적 제약 때문에 상업적인 기회는 특정한 제품에 제한될 것이다.

• 진공 청소기 Vacuum cleaners: 진공 청소기 로봇인 트릴로바이트Electrolux Trilobite은 최초의 상업적 가정용 로봇으로서 2001년 등장했다. 트릴로바이트는 단순한 길찾기와 장애물 피하는 기능을 갖고 있었다. 프로세싱 파워와 램이 향상됨에따라 이러한 로봇의 인공지능 능력도 비약적으로 발전했다. 단순한 길찾기, 자동 충전, 가득찬 쓰레기 대처 등의 능력이 추가되었다. 최근에는 청소중인 집 내부의 3D 모델을 구축하는 능력도 갖게 되었다. 그러나 우리가 가정용 로봇에 기대했던 기능들은 아직 다 구현되지 않았다. 로봇 청소기는 평평한 곳만 다닐 수 있다. 가정에서 로봇의 이동에 관한 연구는 거의 되지 않고 있다. 이미지 묘사와 3D 사물 인식 등의 기능은 학회에서는 일반적이지만 상품으로 만들어지기까지는 아직 몇 년이 더 걸릴 것이다.
• 2030년의 가정용 로봇 Home robots 2030: 가정용 로봇의 더딘 발전에도 불구하고 다가올 15년에는 변화의 조짐이 보인다. 아마존 로보틱스나 우버 같은 업체는 다양한 집적 기술을 사용하여 거대한 규모의 경제를 발전시키고 있다. 그리고 삼성 같은 모바일칩 생산업체는 System in Module을 쏟아내고 있다. 이는 10년 전 슈퍼컴퓨터보다도 성능이 좋다. 저렴한 기기도 인공지능을 탑재할 수 있게 되리란 것을 의미한다. 클라우드는 많은 집에서 수집된 데이터를 기반으로 머신러닝을 가능케 하고 향상된 기능을 이미 배치된 기기에 적용할 수 있도록 해 줄 것이다. 음성인식과 사물인식 기능의 향상은 로봇과 인간의 인터랙션을 도울 것이다. 저렴한 3D 센서도 가정용 로봇의 도입을 가속화 할 것이다. 지난 3년 동안 저렴하면서 안전한 로봇팔이 등장했는데 2025년 경이면 가정에도 적용 가능할 것이다. 소셜 인터랙션에 집중한 가정용 로봇을 만드는 스타트업들도 있다. 그 결과 새로운 윤리, 프라이버시 이슈가 야기될 수 있다.

의료 HEALTHCARE
인공지능 기술자에게 의료 분야는 오랫동안 전망이 밝은 것으로 여겨졌다. 이는 앞으로 수 백만의 사람들의 건강과 삶의 질을 향상 시킬 것이다. 그러나 먼저 의사, 간호사, 환자의 신뢰를 얻어야 하고 정책, 법규, 상업적 장애물이 제거되어야 한다. 주요 어플리케이션으로는 임상 지원, 환자 모니터링, 수술이나 간호를 보조하는 자동 기기, 의료 시스템 관리 등이 있다. 의료 전문가 그리고 환자와 인터랙션하는 방법을 향상시키는 것이 중요한 과제가 될 것이다.

• 임상 현장 The clinical setting: 인공지능이 임상의를 돕는 것은 진부한 비전이다. 최근 발전을 보이고 있긴 하지만 현재 인공지능에 기반한 의료 시스템은 불행히도 구조적으로 문제가 있어서 발전을 더디게 하고 있다. 전자의료기록electronic health records(EHRs) 활용이 증가하고 있지만 시스템 구현이 나빠 임상의들로 하여금 유용성을 의심하게 만든다. 이러한 문제와 더불어 법규와 구조적인 장애로 인해 전자의료기록 데이터 분석의 가능성이 실현되지 않고 있다. 향후 15년 동안의 인공지능 발전은 인간 임상의에 할당되는 인지적 활동을 변화시킬것이다. 현재 내과 의사는 환자로부터 증상을 듣고 자신이 알고 있는 병과 연결짓는다. 인공지능이 보조하면, 내과 의사는 이러한 과정을 감독하고 자신의 경험과 직관을 사용하여 입력 과정을 가이드하고 인공지능의 결과를 평가하게 될 것이다. 내과 의사의 기본적인 실무능력은 여전히 중요하게 남을 것이다.
• 의료 분석 Healthcare analytics: 수 백만 환자의 의료 데이터를 분석할 수 있는 인공지능의 능력은 더 세부적이고 개인화된 진단과 치료를 가능케 한다. 개인의료정보와 관련한 프라이버시 보호를 위한 방법과 기준이 부족하다는 점 때문에 이 분야의 인공지능 연구와 혁신이 지연되고 있다. 이미지 자동 분석은 크게 발전하고 있다. 그런데 의료 이미지 분석에 이와 같은 혁명이 없다는 것은 놀랍다. 몇 가지 문제가 발전을 늦추고 있다. 대부분의 병원 이미지 아카이브가 디지털화 된 것은 10년 밖에 되지 않았다. 더 중요한 것은, 의료 이미지 분석은 이미지에 무엇이 있는지 인식하는 것이 아니라 이미지를 분석하고 판단을 해야 한다는 것이다. 이러한 중요한 판단에는 엄격한 규제가 있다. 또한 기관 사이에 데이터 교환이 어렵다는 문제도 있다. 하지만 자동화/증강 이미지 분석은 발전을 시작하고 있다. 향후 15년 동안 완전히 자동화된 방사선학이 등장하지는 않겠지만 초기 이미지 분류나 2차적 검사로 의료 이미지 분석의 효율을 향상시킬 것이다.
• 의료용 로봇 Healthcare robotics: 15년 전 의료용 로봇은 과학소설이었지만 최근 수술용 로봇에 대한 연구와 활용은 폭발적이다. 2000년의 다빈치 시스템은 심장 우회수술 보조용으로 나왔는데, 현재의 4세대 다빈치 시스템은 3차원 시각화와 관절기기를 제공한다. 이는 물리적 플랫폼으로서 뿐만 아니라 수술 과정을 연구하는 플랫폼으로서 복강경 수술 처치의 표준으로 간주되고 있고 매년 30만 건의 수술에 사용되고 있다. 병원에서의 지능적 자동화는 덜 성공적이다. 많은 의료 업무가 도움을 받을 것이지만 완전한 자동화는 빠르지 않을 것이다. 바늘을 봉합선 가까이로 유도하는 것은 비교적 쉽다. 이것은 많은 미래의 시스템이 인간과 기계의 밀접한 인터랙션을 수반할 것이고 그 둘의 협업을 돕는 기술이 요구될 것임을 의미한다.
• 모바일 건강 Mobile health: 현재 데이터 기반 의료 분석은 전통적 의료 데이터에 기반하고 있다. 임상 현장에서는 새로운 데이터를 기대한다. 예를들어, 이스라엘의 정신과 의사는 환자의 스마트폰에서 수집된 데이터를 기반으로 행동 패턴을 추출하는 서비스를 환자의 스트레스성 행동의 조기 징후를 파악하는데 사용하고 있다. 모바일 컴퓨팅 혁명이 주도하는 “일상의 생체인식”의 성장은  희망적이면서 예기치 않은 경향이다. 이것이 특수화된 모션추적 기기, 그리고 가정과 건강 모니터링 기기 사이의 연결성과 결합되어 새로운 혁신을 만들고 있다.
• 노인 의료 Elder care: 향후 15년 동안 미국의 노인 수는 50퍼센트 이상 증가할 것이다. 커뮤니케이션 기기, 가정 건강 모니터링, 가벼운 식사 준비 등 이 분야의 많은 가능성에도 불구하고 지난 15년 간 별로 일어난 일이 없다. 하지만 다가오는 세대교체는 노인들의 기술 수용에 변화를 가져올 것이다. 현재 70살인 사람은 개인용 IT를 중년 이후에 처음 경험했을 것이지만 50살인 사람은 기술에 훨씬 더 친숙하다. 그 결과 육체적, 감정적, 사회적, 정신적 건강을 돕는 기술에 대한 관심과 시장이 성장할 것이다. 이는 프라이버시 문제와, 은퇴를 훨씬 지나 유례없이 활발히 활동하는 인구를 수용해야 하는 새로운 과제를 만들어 낼 것이다.

교육 EDUCATION
지난 15년 간 교육에서 인공지능은 상당히 발전했다. 양질의 교육에는 언제나 인간 교사가 필요하겠지만 인공지능은 모든 단계에서, 특히 개인화를 통해 교육의 질을 향상시킬 것이다. 의료에서와 마찬가지로 인간과 인공지능의 면대면 인터랙션을 어떻게 구성할 것인가가 핵심적인 문제다. 향후 15년 간 일반적인 북미 도시에서는, 인공지능 교사나 인공지능 기술이 교실에서 선생을 보조하게 될 것이고, 가정에서도 상당히 널리 퍼질 것이다. 가상현실 어플리케이션 기반의 학습도 성장 할 것이다. 하지만 컴퓨터 기반 시스템이 학교에서 인간 선생의 교육을 완전히 대체하지는 않을 것이다.

• 로봇 교사 Teaching robots: 다양한 언어로 프로그래밍 가능한 새로운 센서 기술을 가진 로봇을 만드는 회사들이 유치원에서 고등학교까지를 대상으로 하는 키트를 생산하고 있다. 어린이들에게 코딩을 가르치는 Ozobot, 로봇 블럭을 조립하는 것으로 논리적 사고를 가르치는 Cubelet, 환경의 다양한 측면에 반응하도록 로봇을 가르치는 것을 통해 어린이들이 생물학을 배울 수 있도록 하는 PLEO rb 등이 있다. 이 것이 널리 활용되기 위해서는 이를 통해 학생들의 학업 능력이 향상된다는 것에 대한 증거가 필요할 것이다.
• 지능적 교습 시스템과 온라인 학습 Intelligent Tutoring Systems (ITS) and online learning: ITS는 원래 연구실에서 개발되었다. 인간-기계 사이의 대화를 지원하여 물리 문제를 풀기위해 만들어진 Why-2 Atlas가 있다. ITS는 연구실의 실험적 단계에서 급속도로 실생활 활용으로 옮겨가고 있다. 음성인식과 자연어 처리를 활용한 외국어 교육뿐만 아니라 고등학교 수학, 지리, 화학, 프로그래밍 등 다양한 분야의 교육에 사용되고 있다. 공군 기술자가 비행기의 전자 시스템을 진단하는 것을 가르치는 데도 쓰이고 있다. 대규모 온라인 강의Massive Open Online Courses(MOOCs)을 포함한 온라인 교육 모델의 확산이 가장 놀랍다. 다수의 대규모 온라인 강의는 자연어 처리, 기계학습, 크라우드 소싱 테크닉 등을 사용해 에세이 질문이나 프로그래밍 숙제의 점수를 매긴다.
• 학습 분석 Learning analytics: 대규모 온라인 강의에서 수집된 데이터는 학습 분석 분야의 급속한 발전을 일으키고 있다. 이는 학습 질의 향상과 이에 대한 과학적 발견에 이바지할 수 있다. 딥러닝, 자연어 처리 등의 인공지능 기술을 활용해 학생들의 참여, 행동, 결과 등을 분석하고 있다. 최근에는 이해, 글쓰기, 지식 습득, 기억과 관련한 인지적 과정을 이해하고 이를 교육에 적용하는 연구가 이뤄지고 있다.
• 도전과 기회 Challenges and opportunities: 지금쯤 학교, 컬리지, 대학에서 점점 더 복잡한 인공지능 기술이 사용될 것이라 기대할 수 있을 것이다. 그렇지 않은 이유는 이러한 기관들의 예산과 기술의 효과를 입증할 데이터가 부족하다는 것이다. 다른 인공지능 분야와 마찬가지로 대규모 온라인 강의의 효과에 대한 기대는 종종 비현실적이지만 새로운 교육 기술의 잠재력에 대한 냉철한 분석도 이뤄지고 있다. 향후 15년 동안에는 인간 교사는 AI의 도움을 받을 가능성이 높다. AI 기술은 교실에서의 교육과 자가 학습 사이의 경계를 지울 것이다. 정규 교육이 사라지진 않겠지만 온라인 학습은 전 세대에 걸쳐 학습의 일부가 될 것이다. 이러한 발전은 학생들이 자신의 페이스에 따라 학습할 수 있도록 도울 것이다. 현재의 출판된 책에서 디지털 미디어로 전환은 교육에서도 일반화 될 것이다. 디지털 독서 기기는 더 스마트해 질 것이다. 기계 번역은 교육 자료의 번역을 쉽게 할 것이다. 온라인 학습은 성인과 전문가들이 자신의 지식을 향상시키는 데도 활용될 것이다.
• 더 넓은 사회적 결과 Broader societal consequences: 교육이 원활하지 않은 나라에서는 온라인 자료가 긍정적 효과를 가질 것이다. 부정적인 면으로는, 학생들이 자신들의 사회적 활동을 온라인으로 한정한다는 데 있다. 만약 교육이 점점 더 온라인화 된다면 학생들의 사회성 개발에 어떤 효과를 가져올까?

빈곤 지역 LOW-RESOURCE COMMUNITIES

인공지능은 북미의 일반 도시의 빈곤 지역의 상황을 향상시킬 수 있는 가능성을 갖고 있다. 이는 세계의 빈곤 지역에도 적용될 수 있다. AI에서는 이들에 대해서 크게 집중하지 않았고 투자자들은 비상업적 분야에는 관심을 가지지 않았다. 인센티브와 지원이 있다면 AI 기술이 빈곤지역의 니즈를 파악하는 데 도움을 줄 수 있다. 

• 기계학습, 데이터 마이닝 접근 Machine learning, data mining approaches: AI의 예측 모델은 정부 기관이 한정된 예산을 더 효율적으로 사용할 수 있도록 도운다.
• 스케쥴링, 계획 Scheduling, planning: 업무분장 스케쥴링과 계획 기법은 남은 음식이 부패하기 전에 분배되도록 하는 데 사용되어 왔다.
• 사회적 관계와 영향 최대화 Reasoning with social networks and influence maximization: 사회적 관계는 대규모 인구를 대상으로한 초기, 저비용 접촉에 활용될 수 있다. 예를 들어, AI는 건광과 관련된 정보를 퍼뜨리는 데 도움을 줄 수 있다. LA에는 5천 명 이상의 청년 노숙인들이 있다. 개별 접촉은 어렵고 비용이 많이 든다. 청년들의 기관에 대한 불신으로 인해 중요 메시지는 그들 중 리더에 의해 퍼진다. AI는 리더를 파악하는 데 도움을 줄 수 있을지 모른다.

공공의 안전 PUBLIC SAFETY AND SECURITY

도시들은 공공의 안전을 위해 벌써 AI를 사용하고 있다. 2030년에 이르면 일반적 북미 도시들은 이에 크게 의존하게 될 것이다. 잠재적 범죄를 감시하는 카메라, 드론, 정책을 위한 예측 시스템 등이 이에 포함된다. 대부분의 이슈에서와 마찬가지로 여기에는 이점과 위험이 있다. 대중의 신뢰를 얻는 것이 중요하다. 가장 성공적인 AI 분석의 활용 중 하나는 신용카드 사기 같은 화이트 칼라 범죄를 발견하는 것이다. AI 도구는 경찰이 범죄 현장을 관리하거나 수색, 구조 상황에서 일의 우선 순위를 결정하고 자원을 배분하는 데 도움을 줄 수 있다.
현재 전세계에 설치된 카메라는 범죄 예방보다는 해결에 더 사용되는 경향이 있다. 이것은 비디오를 통한 사건 분석의 질이 낮고 대규모 비디오를 보고 있을 인력이 부족하기 때문이다. 이 분야의 AI가 발전하면 더욱 정확한 비디오 자동 분석으로 범죄 예방과 기소에 더 큰 도움을 줄 것이다. 이러한 발전은 감시의 폭을 더 늘리는 효과를 가져올 수 있다. 몇몇 도시는 이미 감시용 드론을 항구, 공항, 해안 지역, 공업 시설 등에 사용하고 있고 이는 프라이버시, 안전 등의 이슈를 일으킬 것이다.
기계학습은 언제 어디서 범죄가 발생하고 누가 그것을 일으킬지 예측하는 능력을 상당히 향상시키고 있다. 이것은 죄없은 사람을 지목할 위험이 있지만 인간의 편견을 줄이거나 없앨 가능성도 갖고 있다. AI를 사용한 소셜 미디어 데이터 분석으로 위험 요소를 파악할 수도 있다. 미국 운수 보안국(TSA)를 포함한 기관은 현재 AI를 사용하고 있다. 비전, 스피치 분석, 걸음 분석 등을 활용하여 잠재적 사기와 범죄를 발견하는 데 쓰고 있다.

고용과 직장 EMPLOYMENT AND WORKPLACE

AI 기술은 북미 지역의 고용과 직장에 심대한 영향을 끼칠 것이지만 그것의 긍정적, 부정적 효과를 정확하게 예측하는 것은 어렵다. 현재까지 디지털 기술은 여행사 직원같은 중급 기술에 영향을 끼쳐왔다. 그러나 AI 기술이 발전할수록 디지털 시스템이 할 수 있는 일의 범위도 늘어나고 있다. 또한 AI는 기계가 한 번도 한적이 없던 전문적 일을 포함한 극단의 범위까지 옮겨가고 있다. AI 혁신은 소외되는 인간의 불안을 극복해야 한다. 당분간 AI는 직업을 대체하기 보다는 업무를 대체하게 될 것이고 또한 새로운 직업을 만들어내기도 할 것이다. 고용에서의 변화는 대게 점진적으로 일어난다. 이러한 경향은 AI가 직장으로 천천히 이동함에따라 계속될 것이다. 일부의 대체나 증강에서 완전한 대체까지, 다양한 정도의 결과가 나타날 것이다.
AI는 직장의 규모와 위치에도 영향을 끼칠 것이다. 많은 기관의 규모가 큰 이유는 그들의 기능을 키우기 위해서는 인간을 추가해야만 하기 때문이다. AI가 많은 기능을 대체함에따라 확장성은 더이상 큰 규모를 의미하지 않는다.

AI가 인간의 노동을 대신함으로써 많은 상품과 서비스의 비용이 내려갈 것이고 모두를 더 부자로 만들 것이다. 하지만 경제적 이익을 나누는 것보다 인간에게는 일자리를 잃는 것이 더 중요한 문제이다. 그리고 AI는 삶의 질을 향상시키는 도구로 보다는 일자리에 대한 위협으로 받아들여진다. AI가 한 세대만에 인간의 모든 일을 대체할 것이라는 두려움까지 있다. 이러한 갑작스러운 변화는 거의 일어나지 않을 것이다. 하지만 AI는 점진적으로 거의 모든 고용 분야에 침투할 것이다.

인간의 인지적 직업에 대한 AI의 대체는 제조에 있어서 자동화와 로봇이 인간을 대체하는 효과에 비유된다. 많은 중년 노동자는 보수가 높은 공장 일자리와 그에 수반되는 사회 경제적 지위를 함께 잃었다. 장기적으로 훨씬 많은 노동자가 "인지적" 일자리를 잃게 될 수 있다. 이러한 변화는 순수히 경제적이기 보다는 정치적인 대응을 필요로 하게 될 것이다.

단기적으로는 교육, 새로운 상품과 서비스의 발명 등이 이러한 효과를 경감시킬 것이다. 장기적으로는 현재의 사회 보장망은 의료보장, 교육 혹은 기초 수입 보장과 같은 더 나은 모두를 위한 사회적 서비스로 진화해야 할 것이다. AI을 부의 창출을 위한 급진적으로 새로운 메카니즘으로 볼 수도 있다. 그리고 AI가 만들어낸 보물은 모든 사람에게 주어져야 한다. AI 기술의 경제적 과실을 어떻게 나눌 것인가에 대한 사회적 논의는 이른 것이 아니다. 전통적 사회에서 자녀들이 부모를 부양했듯이 우리의 인공적 "자녀들"은 그들 "지능"의 부모인 우리인간을 부양해야 할 것이다.

엔터테인먼트 ENTERTAINMENT

인터넷 없는 일상을 상상하기는 쉽지 않다. AI의 적용으로 인터넷은 사용자가 생산한 컨텐츠를 정보와 엔터테인먼트의 원천이 되었다. 소셜 네트워크 서비스, 온라인 게임, 온라인 커뮤니티 등이 인터넷 규모로 작동하기 위해서는 AI 기술에 의존해야 한다.  전통적인 엔터테인먼트도 AI를 활용한다. 프로 스포츠는 이제 데이터 분석 대상이 되었다. 통계적 분석을 넘어서, 센서와 카메라를 활용한 현장 모니터링도 이뤄질 수 있다. 컴퓨터 비전과 자연어 처리기술은 무대 공연에도 쓰이고 있다. AI는 예술 역사 연구에도 활용되고 있다.

AI 주도 엔터테인먼트에 대한 열광은 인간적 접촉의 감소에 대한 우려도 함께 일으킨다. 아이들은 밖에서 친구들과 노는 것보다 집에서 게임을 하는 것을 훨씬 좋아한다. AI는 엔터테인먼트를 점점 더 인터렉티브, 개인화, 참여적으로 만들 것이다. 이러한 요소를 어떻게 개인과 사회의 이익으로 연결할 수 있을지에 대한 연구가 필요하다.

• 미래 예측 Imagining the Future: 사람들이 좋아하는 엔터테인먼트의 형태는 다양하고 항상 변화한다. 따라서 15년 후의 양상을 정확히 예측하기는 어렵다. 그럼에도 불구하고, 현재의 경향은 미래 엔터테인먼트 풍경이 보일 최소 몇가지 특징을 암시한다.
  현재까지 정보 혁명은 대부분 소프트웨어적인 것이었지만, 저렴한 센서와 기기의 등장으로 엔터테인먼트 분야의 하드웨어 혁신이 예상된다. 가상현실과 햅틱은 우리의 거실에 도입될 수 있다. 개인화된 동반자 로봇은 이미 개발되었다. 음성인식의 발전으로 인간과 로봇, 엔터테인먼트 시스템과의 인터렉션은 대화에 기반하게 될 것이다. 그러한 시스템은 감정, 공감, 환경적 적응 등의 새로운 특성들을 발전시킬 것이다.
  현재 누구나 비디오 카메라와 소프트웨어로 비교적 괜찮은 영상을 만들 수 있다. 미래에는 더 수준 높은 도구와 앱으로 양질의 컨텐츠를 훨씬 쉽게 만들 수 있게 될 것이다. 예를 들어 음악을 작곡한다던지 아바타를 사용하여 안무를 만드는 등. AI로 창조되는 미디어의 민주화와 확산은 사람들의 취향이 어떻게 변화할지 예측하기 어렵게 만든다.
  디지털 형태로 전달되는 컨텐츠와 소비자의 취향과 특성이 포함된 대량의 데이터는 미디어 기관이 개인단위로 분석하여 컨텐츠를 제공할 수 있게 할 것이다. 미디어 기업이 개인의 생각과 온라인 경험을 컨트롤 할 수 있는 "빅 브라더"가 될 수 있는 것이다. 사회가 이를 막을 수단을 만들어낼 수 있을지는 지켜봐야 할 일이다. 이와 관련해서는 다음 섹션에서 더 자세히 다루겠다.

SECTION III: AI 정책의 전망과 제언

AI 어플리케이션의 목적은 사회를 위해 가치를 양산하는 것이어야 한다. 사람들이 AI 시스템을 이해할 수 있는 능력을 향상시키고 AI를 사용하는 데 참여를 늘리는 전략은 신뢰를 쌓고 극단적 실패를 막는 데 도움이 될 수 있다. 인간의 능력과 인터랙션을 증강/향상시키고 차별을 피하기 위해 노력해야 한다. AI가 가져올 수 있는 광범위한 영향에 대한 새로운 혹은 개편된 법이 필요할 것이다. "더 많은" 혹은 "더 까다로운" 규범 대신, 도움이 될 수 있는 혁신을 독려하고 전문지식을 양산/공유하며, 이러한 기술에 의해 야기되는 사회적 이슈에 대한 기업과 민간의 책임감을 조성해야야 할 것이다. 장기적으로는 AI는 새로운 부의 창출을 가능케 할 것이고, 이에 따라 AI 기술의 경제적 과실을 어떻게 나눌 것인가에 대한 사회적 논의를 필요로 하게 될 것이다.

인공지능 정책, 현재와 미래 AI POLICY, NOW AND IN THE FUTURE
역사적으로 인간은 새로운 기술을 만들어내고 동시에 이에 적응해왔다. AI 기술은 점진적으로 발전할 것으로 전망된다. 그리고 현재 존재하고 있는 것을 토대로 발전해서 적응하기 용이할 것이다. 반면, 기법, 컴퓨팅 파워, 데이터 접근성에 있어 작은 발전이 때로 판을 바꾸는 어플리케이션을 만들어 낼 것이다. AI 어플리케이션의 성공을 가늠하는 척도는 이것이 인간 삶을 위해 만들어 내는 가치일 것이다. 앞으로, 사람들이 AI 어플리케이션을 얼마나 쉽게 사용하고 적응할 수 있느냐도 마찬가지로 AI 성공의 기준이 될 것이다.
반대로, AI는 에러와 실패를 만들어 낼 수 있으므로, 사용자들이 이 결점을 어떻게 받아들이고 참느냐도 AI의 성공에 대한 척도가 될 것이다. AI가 점점 더 이상 생활에 스며들고 중요한 일에 사용됨에 따라, 시스템의 실수는 사용자들의 반발을 일으키고 신뢰에 부정적 영향을 끼칠 수 있다. 예를 들어, 자율주행 자동차는 인간 운전자보다 사고를 일으킬 확률이 적지만, 그것이 일으키는 사고는 더 주목을 받을 것이다. 인간이 AI 시스템과 그것의 판단을 더 잘 이해하게 만드는 디자인 전략이 신뢰를 쌓고 극단적인 실패를 막는 데 도움이 될 수도 있을 것이다.
또 다른 중요한 점은 특정 업무를 대체할 AI 시스템이 어떻게 사람들의 어포던스(affordance)와 능력에 영향을 끼칠 것인가 하는 것이다. 일부 영역에서 기계는 초인간적인 능력을 보이기 때문에, 그에 대한 인간의 능력은 시들게 된다. 이미, 교실에 계산기를 도입함으로 인해 어린이들이 기본적인 계산을 하는 능력이 저하되었다. 인간과 AI는 여전히 서로 보완적인 능력을 갖고 있다. 사람들은 기계가 잘 할 수 없는 일을 강조하는 경향이 있다.
어린이들은 전화기의 개인비서나 테마 파크의 가상 에이전트와 인터력센하는 등 AI 어플리케이션에 이미 노출되어 있다. 삶의 자연스러운 일부가 될 AI와 어린이들이 일찍 AI와 접함으로써 인터렉션 능력이 향상될 것이다. 그 결과, AI의 사회에 대한 영향을 어떻게 받아들이는 것에 젊은 세대와 기성 세대 사이에 차이가 나타날 것이다.
마찬가지로, AI 기술이 사회에 불평등하게 배포된다면, 현재의 기회 불평등을 확대시킬 수도 있다. 예를들어 만약 음성 번역이 영어로만 가능하다면, 영어를 모르는 사람은 불리한 조건에 처하게 될 것이다.
나아가, AI 어플리케이션과 그것이 기반하고 있는 데이터는 어플리케이션 디자이너와 사용자의 편향성을 반영할 수 있다. 이것은 기존의 사회적 편견을 심화시키고 AI의 이점을 시회의 일부에 불평등하게 집중시킬 수 있다. 예를 들어 음성 인식 기술은 여성과 엑센트를 가진 사람들에게는 잘 작동하지 않는다.반면 인간 판단의 편향성에 비교하여, AI 기반 판단 도구는 누구에게 대출을 허락할 것인가 혹은 누구를 감옥으로 보낼 것인가 등에 있는 편향성을 현저하게 감소시킬 수 있는 가능성도 갖고 있다.
AI 기반 감시와 관련한 프라이버시 이슈도 있다. 편향성과 프라이버시에 대한 관점은 개인적/사회적인 도덕적/가치적 판단에 기반하고 있기 때문에 이에 대한 논의는 증가할 것이며, 즉각적인 해결책을 내기는 어려울 것이다. AI가 상당한 부를 양산하고 있고, 특히 AI 전문 지식과 그것이 기반하는 데이터가 소수의 대기업에 집중되어 있기 때문에 AI 기술의 경제적 과실을 어떻게 배분할 것인가에 대한 논의도 증가할 것이다.
급격히 진화하고 있는 AI 기술의 개인적/사회적 함의에 대한 논의와 관련하여 다음의 세 가지 일반적인 정책을 제안한다.
1. AI 전문지식 축적에 대한 계획을 모든 정부 단위에서 정의하라. AI 기술, 정책 목적,  전반적인 사회적 가치 사이의 인터랙션을 이해하고 분석할 수 있는 더 많은 전문가가 필요할 것이다.
2. AI 시스템의 공정성, 안전, 프라이버시, 사회적 영향에 대한 연구를 방해하는 요소를 제거하라.
3. AI의 사회적 영향에 대한 다학제적 연구를 위한 공적/사적 지원을 증가시켜라.

• 정책적, 법적 고려사항 Policy and legal considerations
  AI와 법의 상관 관계를 통합적으로 검토하는 것은 이 리포트의 범위를 벗어나지만, 단기, 중기, 장기적으로 어떠한 법적인 가정이라도 AI에 의해 도전받을 수 있는 가능성이 있다는 점은 명확해 보인다. 법과 정책이 어떻게 AI 발전에 적응하고, AI가 법과 정책에 반영된 가치에 적응할지는 다양한 사회적, 문화적, 경제적 요소 등에 좌우될 것이고 관할 지역에 따라서도 차이를 보일 것이다.
  AI가 다양한 맥락에서 일으킬 수 있는 법적/정책적 이슈를 넓은 분류로 열거해볼 수는 있을 것이다.
  
  프라이버시 Privacy
  AI에 의한 결정과 예측 과정에서 개인의 사적 정보가 노출 될 수 있다.
  
  혁신 정책 Innovation policy
  협력을 촉진시켜 AI 혁신을 장려하는 것과 제3자에 의한 위해를 막는 것 사이의 적절한 균형을 유지하는 것이 중요할 것이다.
  
  책무(공민의) Liability (civic)
  AI가 디자이너가 예측하지 못한 방식으로 행동할 것이라는 전망은, 불법 행위법에서 예측할 수 있는 상해에 대해서만 보상한다는 추정을 도전에 직면하게 만든다. 법원은 임의적으로 책임을 인간 행위자에게 부과할지도 모른다. 아니면 AI가 야기한 피해를 피고가 예측할 수 없었다는 이유로 법원은 책임을 찾는 것을 거부할지도 모른다. 기계의 행위에 있어 인간의 책임이 줄어들면 제품의 책무의 역할이 증가할 공산이 크다.
  
  책무(범죄의) Liability (criminal)
  만약 불법 행위법이 상해가 예측가능해야 한다고 본다면, 형법은 더 나아가 상해가 의도적이어야 한다고 본다. 미국법은 특히 의도에 상당한 무게를 둔다. AI 어플리케이션이 인간이 했더라면 범죄로 여겨질 수 있는 행위에 참여함에 따라, 법원은 어떤 이론에 기반하여 누구에 책임을 물을 것인지 고민해야 할 것이다.
  
  에이전시 Agency
  상기의 이슈는 AI 시스템이 사람 혹은 기업의 대리자로서 기능할 수 있는지 혹은 어떤 상황에서 기능할 수 있는지에 대한 질문을 야기시킨다.
  
  자격 Certification
  "인공 지능"이라는 개념은 인간의 기술과 독창성의 대체를 의미한다. 운전이나 수술을 집도하는 데 있어서 인간은 반드시 어떤 자격이나 면허를 획득 해야만 한다. 따라서 법과 정책은  AI 시스템의 역량을 어떻게 평가할지 고민해야 한다.
  
  노동 Labor
  AI가 인간의 역할을 대체함에 따라 일부 일자리는 사라지고 새로운 일자리가 생겨날 것이다. 일자리와 관련한 결과가 어떻게 될지는 아직 불분명하다. 하지만 노동 시장은 모두에게 공평하게 작용하지 않을 것이다. 몇몇 종류의 기술과 능력에 대한 수요는 현저하게 줄어들 것이고 그와 관련한 기술을 지닌 사람들의 고용율과 임금에 부정적인 영향을 끼칠 것이다. AI 때문에 고용에 영향을 받거나 일자리를 잃은 사람들은 입법기관과 법원에 호소할지도 모른다. 어쩌면 세계 최대 고용법 법률회사인 Littler Mendelson LLP가 로보틱스와 인공지능을 위한 부서를 갖고 있는 이유인지 모른다.
  
  조세 Taxation
  인간 대신 AI를 이용해서 업무를 처리하는 것이 더 빠르고 정확할 수 있다, 그리고 고용 세금을 피할 수 있다. 주 예산의 급여와 소득 세금에 대한 의존 정도에 따라, 이러한 변화는 불안정을 야기시킨다. 또한 AI는 인간과 다른 "습관"을 보일 수 있고, 그 결과 세금 부과 영역을 감소시키게 될 수 있다. 예를 들어서 자율 주행 자동차가 속도 위반이나 주차 위반을 하지 않도록 만들어지는 등.
  
  정치 Politics
  "자동녹음전화robocall"나 소셜미디어의 "봇bot" 등 이미 AI 도구는 정치적 영역에서 사용되고 있다.
  
  이상의 리스트는 완전한 것이 아니고 미국 내의 정책에 집중하고 있다. 한 가지 배울 수 있는 점은 구체적 맥락에 기반해서 AI를 다스리는 현재 방식과, 산업계와 사회 전반에서 AI 기술과 관련하여 공유되고 있는 주제들을 더 광범위하게 고려하는 것 사이의 단절이 커진다는 것이다. 새로운 기관을 만들어 AI 전문 자료를 축적하고 다양한 맥락을 관통하는 AI 기준을 설정하는 것이 매력적으로 보일 수 있다. 하지만 AI에 대한 분명한 정의가 없고 위험과 고려 사항들은 분야에 따라 매우 다르기 때문에 "AI" 일반을 규제하려는 시도는 잘못된 방향으로 흐를 수 있다. 대신, 정책 입안자들은 다양한 정도에서 시간에 따라 여러 산업계가 분명하고, 정적한 규범들을 필요로 할 것이라는 점을 인식해야 한다. 정부는 기준과 기술을 조사하고 필요한 규범을 만들 수 있는 전문가를 필요로 하게 될 것이다.

• 미래를 위한 가이드라인 Guidelines for the future
  AI 기술이 만들어낼 수 있는 심오한 변화를 직면함에 따라 "더 많은" 그리고 "더 엄격한" 법규를 위한 압력을 피할 수 없을 것이다. 무엇이 AI이고 무엇이 AI가 아닌지에 대한 오해는 모두를 이롭게 할 수 있는 기술에 대한 반감을 확산시킬 수 있다. 그것은 비극적인 실수일 것이다.
  다행히 현재의 디지털 기술에 대한 성공적인 법규 원칙을 참고할 수 있다. 프라이버시와 관련하여 스페인과 프랑스와 같이 엄격하고 세분화된 규범들을 가진 나라에서는 기업이 프라이버시를 준법 활동으로 보고 처벌을 피하는 것에 집중했다. 따라서 혁신과 프라이버시 보호, 두 가지 모두를 저해하는 효과를 가져왔다. 반대로 미국과 독일의 모호한 목적과 엄격한 투명성 요건은 기업들로 하여금 프라이버시를 자신의 의무로 여기게 만들었다.
  AI 분야에서의 창의성을 독려하면서, AI를 우리 삶과 사회를 윤택하게하는 방향으로 이끄는 것에 대한 활발한 논의가 중요하고 시급하다. 정책 평가의 기반은 AI 이익의 공정한 분배와,  AI의 민주적 발전이어야 할 것이다. 그리고 미래 AI 기술과 그것의 영향을 완벽히 예측할 수 없음에 따라 정책은  점진적으로 재평가되어야 할 것이다.
  AI와 관련한 상당한 발전은 지난 15년 간 이미 북미 도시에 영향을 끼쳐왔다. 그리고 훨씬 더 중요한 발전이 다음 15년 동안 일어날 것이다. 최근의 발전은 인터넷으로 인해 가능해진 대규모 데이터의 증가와 분석, 센서 기술의 발전과 최근의 "딥러닝"에 기반한다. 앞으로 사람들이 교통과 의료와 같은 영역에서 새로운 AI 어플리케이션을 경험하게 될 것이므로, 신뢰와 이해를 구축하고 인권을 존중하는 방법들이 만들어져야 할 것이다. 혁신을 장려하면서, 정책과 개발 절차에서 윤리, 프라이버시, 안전이 고려되어야 할 것이며 AI 기술의 이익이 공평하게 분배되도록 해야 할 것이다. 이것은 2030년과 그 이후의 북미 도시의 삶에 AI가 긍정적인 영향을 가져올 수 있을 지에 있어 매우 중요할 것이다.

*One Hundred Year Study on Artificial Intelligence (AI100)의 2016년 보고서, "ARTIFICIAL INTELLIGENCE AND LIFE IN 2030"를 요약 번역했다.

존 윌킨스의 분석적 언어

존 윌킨스의 분석적 언어

보르헤스

존 윌킨스는 인류의 사고 전체를 조직하고 담아 낼 수 있는 보편 언어를 만드려는 시도를 하였다.

 윌킨스는 세계를 40개의 범주(종)으로 나누고 그것을 다시 차, 또 그것을 다시 류로 나누었다. 각 종에는 두 글자로 이루어진 단음절 문자를 부여하고, 차에는 자음 한 개, 류에는 모음 한 개를 부여했다. 예를 들어 de는 원소를 의미, deb는 원소중에서도 불, deba는 불꽃을 의미. 여기서 어휘들은 임의적 상징이 아니라 한 글자 한 글자가 다 나름의 의미를 지니고 있다.

 반면, 윌킨스 언어의 토대라 할 수 있는 40진법 조견표에 대한 검토가 필요하다. 여덟 번째 범주인 돌의 범주를 보면, 윌킨스는 돌을 일반석, 값싼 돌, 보석, 투명한 돌, 그리고 용해되지 않는 것 등으로 분류했다. 아홉 번째 범주인 금속은 불완전한 금속, 인공 금속, 재귀성의 금속, 천연 금속 등으로 분류했다. 

 이런 모호함, 중복, 결핍 등은 프란츠 쿤 박사가 중국의 한 백과사전에 대해 지적한 문제점들을 상기시킨다. 이 백과사전에는 동물을 다음과 같이 분류했다. (a) 황제의 소유인 것, (b) 방부처리 된 것, (c) 길들여진 것, (d) 젖을 빠는 돼지, (e) 인어, (f) 상상의 것, (g) 야생의 개, (h) 현재의 분류에 포함된 것, (i) 광분한 것, (j) 셀 수 없는 것, (k) 세밀한 낙타털로 만든 붓으로 그린 것, (l) 기타, (m) 방금 항아리를 깬 것, (n) 멀리서 보면 파리처럼 보이는 것. 브뤼셀 도서 연구소 역시 세계를 1천 개의 하위 단위로 세분하는데, 그 가운데 262번째 분류는 교황이고, 282번째 분류는 로마 가톨릭교회이며, 263번째 분류는 주일이고, 268번째 분류는 주일 학교, 298번째 분류는 모르몬교, 294번째 분류는 바라문교와 불교와 신도와 도교이다. 그 밖에도 아주 이질적인 분류도 있는데, 예를 들어 <동물 학대, 동물 보호, 윤리적 관점에서 본 비탄과 자살, 다양한 흠과 결점, 여러 가지 덕목과 특성들> 같은 179번째 분류이다.

 지금까지 윌킨스와, 중국 백과사전의 저자, 브뤼셀 도서 연구소 등의 자의성에 대해 언급했다. 세상을 분류하는 행위 치고 자의적이지 않은 게 없다. 그 이유는 아주 간단하다. 바로 우리가 세상이 무엇인지 알지 못하기 때문이다. 

 이처럼 우주의 신성한 체계를 통찰한다는 것의 불가능성에도 불구하고 우리는 인간적 체계를 확립하는 일을 결코 단념하지 않는다. 비록 그것이 완전치 못하더라도 말이다. 윌킨스의 분석적 언어 역시 그러한 시도 중 하나이다. 윌킨스 언어 속의 종과 류는 상호 모순적이고 경계도 모호하다. 하지만 어휘를 이루고 있는 철자 하나하나가 각각의 하부 개념과 그 범주를 가리킨다는 전략 자체는 무척 창의적이다. 예를 들어 salmon(연어)이라는 단어만으로는 아무런 의미도 지니지 못하는 데 비해, 연어에 해당되는 윌킨스 언어의 어휘 zana는 (40개 범주와 그 범주가 정하는 종의 구분에 정통한 사람에게는) 육질이 붉고 비늘 덮인, 민물고기를 의미한다. (각각의 존재의 명칭 속에 그 존재의 운명과 과거와 미래가 포함된 그런 언어를 고안해 낸다는 게 이론적으로 보자면 불가능한 것도 아니다.)

 언어에 대해 쓰여진 것 중 가장 명쾌한 것은 아마 체스터턴의 글일 것이다.

 “인간은 자신의 영혼 속에 가을 날 숲의 빛깔들보다 더 현혹스러우며, 더 무한하며, 더 이름 모를 색조들이 있음을 안다… 그러나 그 모든 색조와 그것들의 모든 배합들도 신음과 고함의 임의적인 체계를 통해 정확하게 재현될 수 있으리라고 생각한다. 평범한 주식 중개인이 기억의 미스터리와 욕망의 고통을 의미하는 소리를 정말로 만들어 낼 수 있을 것이라 믿는 것이다.”

*보르헤스의 '존 윌킨스의 분석적 언어'를 요약했다. 아래 글을 참고했다.

한글 1: <만리장성과 책들>에 수록된 버전

한글 2: http://www.qtessay.or.kr/n64a14.htm

영어: https://ccrma.stanford.edu/courses/155/assignment/ex1/Borges.pdf

마음의 아이들 Mind Children

마음의 아이들

한스 모라벡

서문

수십억 년 동안 우리의 유전자는 생존을 위해 서로간의 혹독하고 가열찬 경쟁을 벌인 결과로 마침내 자신보다 더 지혜로운 존재로 진화했다. 그 결과 승자와 패자를 모두 정복할 너무나 위력적인 무기를 만들어냈다. 그 무기는 흔히 생각하는 수소폭탄이 아니다. 핵무기의 광범위한 사용은 오히려 교묘하게 계획되고 있으며, 단지 엄청난 흥밋거리를 간직한 종말을 지연시킬 뿐이다.

 현재의 관점에서 보자면, 우리를 기다리고 있는 것은 핵무기에 의한 소멸이 아니라, 오히려 '후기생물적'이나 심지어 '초자연적'이라는 단어로 묘사할 수 있는 미래다. 그것은 인류가 자신의 문화적 변화에 의해 사라지고, 인간의 손으로 만들어낸 자손에게 그 자리를 내어준 세계다. 중간 단계로 보이는 다수의 예가 가능성만이 아니라 이미 발현되기 시작했다. 하지만 그 궁극적인 귀결이 무엇인지 알 수는 없다. 오늘날까지 우리가 만든 기계는 부모가 신생아를 보살피는 것과 같이 끊임없는 관심을 기울여야 하는, 즉 '지능적'이란 단어를 쓸 만한 가치가 없는 단순한 피조물이다. 그러나 다음 세기 안에 기계는 우리가 우리의 후손이라 자신 있게 말할 수 있을 정도로 인간만큼 복잡한 존재가 될 것이고, 결국은 우리가 아는 모든 것을 초월할 정도까지 성숙할 것이다.

 우리의 마음을 물려받은 자손인 기계는 더 큰 우주 내에서 거대하고 근본적인 도전에 직면할 만큼 성장할 수 있도록 터벅터벅 느리게 진행되는 생물학적 진화의 속도로부터 자유롭게 될 것이다. 우리는 기계의 노동으로부터 여가 시간을 획득했다. 하지만 자연의 섭리에 의해 부모 세대가 사라지고 자손이 자신의 운명을 개척하듯, 조만간 우리는 사라질 것이고 기계는 자신의 운명을 개척할 것이다. 자신에게 이득이 되느냐에 따라 우리에 관한 모든 것, 심지어 개별 인간 마음의 세세한 내용까지 기억할 수 있는 능력이 우리의 인공적인 자손에게 있으므로, 이렇게 운명의 성화를 넘겨준다고 해서 우리가 잃어버릴 것은 거의 없다.

 이러한 변화는 약 1억 년 전 한 유전자 라인에서 우연히 동물이 특정한 행동들을 할 수 있는 능력을 개체가 잉태될 때 유전적으로 물려받는 대신에 살아가는 동안 먼저 태어난 개체로부터 배울 수 있는 능력으로 대체하게 되었을 때부터 시작되었다. 그러한 현상은 1,000만 년 전 우리의 영장류 조상들이 뼈, 나무 막대기, 돌로 만든 도구에 의존하기 시작했을 때 유전정보에 포함되었고, 100만 년 전 불을 이용하고 복잡한 언어를 개발하면서 가속화되었다. 약 10만 년 전 현생인류라는 종이 등장했을 때에 이르러서는 통제할 수 없는 우리의 유전자가 부지불식 중에 구성한 문화적 진화가 거역할 수 없는 관성으로 굴러가게 된 것이다.

 지난 1만 년 동안 인간 유전자 풀 내에서의 변화는 인간 문화에서 눈덩이처럼 커져가는 진보와 비교할 때 대수롭지 않았다. 우리는 먼저 농업혁명을 겪었고, 다음에는 경제적 기반을 위해 세금을 거둬들이는 권력을 지닌 대규모 관료제 정부의 확립, 문자 언어의 발전, 그리고 지적인 관심사에 시간과 에너지를 투자할 수 있는 여유를 지닌 계급의 발흥이 뒤따랐다. 지난 약 1,000년 간 가동 활자 인쇄movable type printing와 더불어 시작된 발명이 문화 정보의 유통과 진화의 속도를 더욱 가속화했다.

 200년 전 산업혁명의 도래와 더불어 우리는 마지막 단계에 진입했는데, 그 단계에서는 물건 들기와 나르기 같은 인간의 신체 기능에 대한 인공적인 대치물이 점점 더 경제적으로 매력적인 것이 되고, 실제로 필수불가결하게 되었다. 그러고 나서는 100년 전 실질적인 계산기의 발명과 더불어 우리는 처음으로 인간 마음의 작지만 성가신 작업을 하는 기능을 인공적으로 복제할 수 있었다. 기계 장치의 계산 능력은 그 이후 매 20년마다 1,000배씩 상승해왔다.

 육체적인 것이든 마음에 관한 것이든 어떤 본질적인 인간의 기능도 인공적인 대응물에 있어서 실질적으로 부족함을 느끼지 않을 때가 가까이 왔다. 아직은 육체나 마음의 세부에 있어서 인간에 미치지 못하지만 이러한 문화적 발전의 집합을 보여주는 전형이 바로 지능형 로봇, 즉 인간처럼 생각하고 행동할 수 있는 기계다. 그런 기계는 우리의 도움 없이도, 그리고 우리를 발생시킨 유전자의 도움 없이도, 자신의 구조물과 점점 더 빨라지는 자기 개선을 통해 우리의 문화적 진화를 이어나갈 수 있을 것이다. 이런 일이 일어날 대 우리 DNA는 진화에 있어서 새로운 경쟁자에게 졌다는 사실과 더 이상 자기의 역할이 없음을 알게 될 것이다.

 초창기 지구에서의 생명 발생에 관해 연구해온 화학자 A. G. 케언스스미스 Alexander Graham Cairns-Smith는 이런 내부 쿠데타를 유전적 인계라고 부른다. 그는 유전적 인계가 이전에도 최소한 한 번은 일어났다고 주장한다. <생명의 기원에 관한 일곱 가지 단서들 Seven Clues to the Origin of Life>에서 케언스스미스는 생명의 전구물질은 단순한 결정성장의 과정으로 복제되는 진흙의 미세한 결정이라고 했다. 대부분의 결정은 결정이 성장함에 따라 증가하는 규칙적인 원자 배열의 변위 패턴에 의해 결정된다. 만일 결정이 나누어져야 한다면 각각의 조각은 그 패턴의 복제물을 물려받을 수 있고, 때로는 그 과정에서 작은 변화가 있을 수 있다. 하지만 이런 미세한 결함은 진흙의 물리적, 화학적 속성에 극적인 결과를 낳을 수 있다. 어떤 변위 패턴을 공유하는 결정은 조밀한 덩어리를 형성할 수 있는 반면, 다른 패턴을 갖는 것은 스펀지 덩어리로 결집될 수 있다. 미네랄을 함유한 물은 전자의 주위를 우회하지만 다른 물질에 있어서는 계속해서 성장에 필요한 기초 물질을 제공하면서 서서히 흘러들어간다. 그 패턴은 또한 환경 내의 다른 분자의 화학반응을 조절함으로써 간접적으로 성장에 영향을 준다. 진흙은 강력한 화학적 촉매다. 작은 결정의 총 표면적은 엄청나고, 문제의 결정과 분자가 지닌 외적 형태에 따라 특정한 배열에 들어붙을 수 있다. 그러므로 이러한 공통된 결정은 다윈설에 따른 진화의 본질적 요소-생식, 유전, 변이, 생식 성공에서의 차이-를 지니고 있다.

 케언스스미스의 이론에 따르면 특정 종류의 진흙이 격렬한 다윈적 경쟁을 하는 중에 최초의 유전적 인계가 시작되었고, 그 내용은 긴 탄소 분자 안에 유전적 정보로 암호화된 것이다. 그런 고분자는 쉽게 교란되는 변위 패턴보다 더 안정적이고, 그것을 이용하는 유기체는 점점 더 큰 범위에서 성공적으로 자신을 복제할 수 있었다. 비록 처음에는 기존의 결정에 내재된 화학적 기제에 철저히 의존했지만, 이 탄소 분자가 복제에서 더 큰 역할을 차지하게 됨에 따라 결정의 성질에 덜 의존하게 되었다. 그것은 진화의 여정에서 우리가 생명이라 부르는 유기체의 복잡하고 독립적인 체계만 남긴 채 단순한 결정이라는 발판이 완전히 사라지는 결과를 남겼다.

 수십억 년이 지난 오늘날, 정보가 한 세대에서 다른 세대로 전해지는 방법에서 또 다른 변화가 일어나고 있다. 인간은 거의 전적으로 유기적인 유전자에 의해 규정되는 유기체로부터 진화했다. 게다가 이제 우리는 우리의 유전자 외부에서-신경계, 도서관, 가장 최근에는 컴퓨터에서- 생성되고 저장되는 문화 정보의 방대하고 빠르게 성장하는 말뭉치에 의존한다. 우리 문화는 여전히 생명체인 인간에게 철저하게 의존하고 있지만, 문화의 주된 산물인 기계가 문화의 유지와 계속적인 성장에 기여하는 정도가 점점 더 많아지고 있다. 조만간 기계는 아무런 도움 없이 자신의 유지, 생식, 개선을 충분히 감당할 만큼 유식해질 것이다. 이런 일이 일어날 때, 새로운 유전적 인계가 완성된다. 그때가 되면 우리 문화는 인간의 생물학이 지니는 한계에서 벗어나 현재 한 세대에서 다른 세대로 직접 전달되는 방식이 아닌, 더 유능한 지능형 기계가 전달의 책임을 맡는 국면으로 진화할 것이다.

 우리의 생물학적 유전자, 그리고 그것이 만드는 피와 살로 이루어진 몸은 이 새로운 제국에서 급속히 축소된 역할을 감당하게 될 것이다. 그렇다면 문화에서 기인한 우리의 마음 또한 그러한 쿠데타에 의해 사라질 것인가? 아마 그렇지 않을 것이다. 다가오는 혁명은 인간의 문화를 해방시키는 것처럼 인간의 마음도 효과적으로 해방시킬 것이다. 현재의 조건에서 우리는 마음의 발달 단계에 따라 생긴 다수의 생물학적 특성을 가지고 있는, 부분적으로는 생물학적 존재이고 부분적으로는 문화적인 존재인 불안정한 혼혈아다. 우리의 마음과 유전자는 살아 있는 동안 다수의 공통적인 목표를 공유할 수 있지만, 아이디어를 획득하고 발전시키고 전파하는 데 사용되는 시간과 에너지와 우리의 몸을 유지하고 (십대를 자녀로 둔 부모라면 누구나 알고 있듯이) 새 세대를 길러내는 데 쓰이는 노력 사이에는 긴장이 존재한다. 마음과 육체 사이의 불안한 휴전은 삶이 끝남과 함께 완전히 사라진다. 하지만 우리의 유전자는 우리가 죽은 뒤에도 살아남아 우리 자손과 친척 안에 다양한 방식으로 존재하게 된다. 알아차리기 미묘한 변화이긴 하지만, 규칙적으로 이렇게 유전자 층을 새롭게 되섞는 실험이 유전자의 진화적인 관심이라는 데는 의심할 여지가 없다. 그러나 죽음은 우리의 다른 절반 즉 마음에 있어서는 파괴적이다. 어렵게 획득한 우리 마음의 너무도 많은 측면이 우리와 더불어 그냥 사라질 뿐이다.

 인간의 사고가 죽을 수밖에 없는 육체의 굴레로부터 해방되는 것을 상상하기는 어렵지 않다. 내세에 대한 믿음은 보편적이다. 그러나 그 가능성을 받아들이기 위해 반드시 신비적이거나 종교적인 입장을 취할 필요는 없다. 컴퓨터는 심지어 가장 열렬한 기계론자에게도 '내세로의 전이'에 있어 하나의 모델을 보여준다. 진행 중인 계산-컴퓨터의 사고 과정이라 온당하게 부를 수 있는 것-은 도중에 멈추어도 기계의 메모리로부터 프로그램과 데이터가 읽혀진다면 물리적으로 다른 컴퓨터로 옮겨져서 마치 아무 일도 없었다는 듯이 새로 시작할 수 있다. 인간 마음이 (기술적으로 훨씬 더 어려운 도전이겠지만) 이와 유사한 방식으로 사람의 누뇌로부터 해방될 수 있다고 상상해보라.

 마음이 죽을 수밖에 없는 몸으로부터 구출된 다음 효과적으로 작동하기 위해서는 수많은 수정 과정이 이루어져야 한다. 다른 사람의 말에 쉽게 좌우되는 성향에서부터 자기확신적 엄격함까지 자연스러운 인간의 정신은 삶이 진행되면서 계속 변화하기 때문에 불멸로 유지하기에 좋은 재료가 아니다. 오래 살아남기 위한 적합성을 부단히 키우기 위해 인간의 마음은 재프로그램되어야 한다. 덧없고 유한한 유기체 적응은 변이와 자연선택이라는 외부적 과정에 맡길 수 있는 반면, 마음은 죽을 수밖에 없는 인간으로부터 시작하든, 완전히 인공적인 창조물로 시작하든 내부로부터 끊임없이 적응할 준비가 되어 있어야만 한다.

 아마도 이러한 과정은 인간의 어린 시절과 유사하여 일정한 기간의 단계를 넘어갈 때 새로운 하드웨어와 소프트웨어를 갖춤으로써 주기적인 회춘을 경험할 것이다. 만약 그렇지 않다면, 아마도 그 과정은 변화하는 조건에 맞추기 위해 더하고 빼고, 온갖 종류의 조합으로 구성 요소를 테스트하면서, 연속적으로 마음과 육체의 내용을 업데이트할 수 있을 것이다. 그 테스트는 중요한 핵심이다. 그것은 진화를 조종한다. 만일 한 개체가 이 테스트에서 지나치게 나쁜 결정을 많이 내린다면, 그것은 기존의 다윈적 방식에서처럼 완전히 실패해 사라질 것이다.

 생명체로 이루어진 우리의 세계가 우리에 앞섰던 생명이 없는 화학의 세계와 다른 것처럼, 자기 증진적인 생각하는 기계에 의해 주도되는 후기생물적 세계는 우리 세계와 아주 다를 것이다. 자유로운 마음의 자손으로 이루어진 개체군은 상상하기 힘들다. 하지만 우리는 그 귀결이 어떠할지 어느 정도 상상해보고자 한다.

*마음의 아이들, 한스 모라벡, 김영사, 2011.

뉴럴 네트워크와 딥 러닝의 간략한 역사

뉴럴 네트워크와 딥 러닝의 간략한 역사

Linear Regression and Supervised Machine Learning

아래와 같이 그래프 상의 점들을 최대한 가깝게 지나는 선을 그어보자. 이제 이 선을 통해 우리는 어떤 입력값에 대해서도 결과값을 추측해 볼 수 있다(예를 들어, x 가 100일 때 y값이 얼마가 될지). 이것은 주어진 입력-출력 값들을 통해서 일반적인 함수를 추론하는 200년 역사의 테크닉, Linear Regression이다. 직접적으로 방정식을 구할 수는 없지만 입력-출력 데이터를 쉽게 구할 수 있는 문제에 적용할 수 있다.

Linear Regression로 음성인식과 같은 복잡한 문제를 풀기는 어렵지만, 이것의 기능은 근본적으로 Supervised Machine Learning과 같다. 주어진 training set(입력-출력 데이터)으로부터 함수를 '학습'하는 것이다. 

Perceptron and Neural Network

1957년 Frank Rosenblatt는 기계를 학습시키는 방법으로 Perceptron을 제안했다. 이는 인간 뇌의 뉴런이 어떻게 작동하는지 수학적으로 나타낸 모델로서 인접한 뉴런으로부터 이진 입력값을 받고, 각 입력값에 가중치(시냅스 연결 강도)를 곱해서 모두 더한 값이 일정 값 이상이면 1을 출력하고 그 이하이면 0을 출력한다.

Perceptron은 뉴런 모델이 OR/AND/NOT 함수를 만들어 낼 수 있다는 Mcculoch-Pitts 모델에 기반했기 때문에, 논리 추론을 통해 인공지능을 만들려는 접근이 대세던 당시에는 큰 사건이었다.

그러나 Mcculoch-Pitts 모델은 학습을 위한 메가니즘을 갖고 있지 않았다. Rosenblatt는 인공 뉴런이 학습할 수 있도록 입력값에 가중치를 주는 방법을 제안했다. 예를 들어 4라는 입력 값에는 9를 출력해야 하는 training set 데이터를 갖고 있을 경우. 4를 입력했는데 9보다 작은 값을 출력하면 가중치를 올리고, 9보다 높은 값을 출력하면 가중치를 내리는 식이다. 그리고 출력값에 에러가 없을 때까지 이를 반복하면서 최적의 함수를 찾는다. 이 함수는 두 가지 경우의 결과 0 혹은 1을 갖기 때문에 Classification에 속한다. 
그런데 하나의 Perceptron으로는 카테고리를 여러개로 나누는 문제를 해결할 수 없다. 숫자 인식의 경우 10개의 카테고리로 나눌 수 있어야 한다. 이는 여러개의 Perceptron을 갖는 layer를 사용하면 된다. Perceptron 레이어들이 바로 뉴럴 네트워크이다.

Multilayer Neural Nets

1969년 Marvin Minsky는 Perceptron의 한계를 지적한다. 그 중 중요한 것은 Perceptron으로는 XOR 함수를 학습할 수 없다는 것이다. 그것은 선형적으로 분리되지 않기 때문이다. 1970년대에 첫번째 AI Winter가 도래하는 데 이와 같은 Marvin Minsky의 주장이 크게 영향을 끼친것으로 알려진다.
Marvin Minsky는 Perceptron의 한계를 지적만 한 것이 아니라, 이를 해결하기 위해서는 멀티 레이어의 Perceptron을 사용해야 한다고 주장했다.

문제는 Rosenblatt의 학습 알고리듬이 멀티 레이어에는 작동하지 않는다는 것이다. 이 학습 알고리듬은 아웃풋 결과를 바탕으로 가중치를 조절하는 것이었는데, 레이어가 많아지면 어떤 것을 조절해야 하는지 알기 어렵기 때문이다.
1980년대 backpropagation이 나오면서 이 문제가 해결된다. 1989년 뉴럴 넷은 이론적으로 모든 function을 구현할 수 있다는 것이 수학적으로 증명되었다.
1989년 벨 연구소의 Yann LeCun 등이 뉴럴 넷을 사용해서 우편번호를 인식했다.

Convolutional Neural Network(CNN): 전통적으로 패턴 인식을 할 때 로컬 피처를 추출하면 이점이 있다고 알려져 있는데, 이를 뉴럴 네트워크에 구현할 수 있다. hidden layer로 하여금 전체 정보가 아닌 로컬 정보만 처리하도록 한 후 정보를 합치는 것이다. 그리고 여기서 추출된 피처는 다음 레이어에서 더 복잡한 피처를 찾는 데 이용된다. 따라서 계산량이 줄어든다.

Recurrent Neural Network(RNN): output을 첫번째 레이어의 input으로 줌으로써 메모리 없이도 이전 인풋에 대한 값을 가질 수 있음. 이것은 sequential 데이터 처리가 필요한 음성인식에 사용.

Unsupervised learning: 일반 머신 러닝에는 레이블된 트레이닝 데이터 (input, output pair)가 필요한 반면, 이것이 필요없는 unsupervised learning도 있다. 예를 들어 compression. 인풋만 주고 이를 재구성할 수 있는 layer(인풋보다 적은 수의 뉴런을 가진)를 만드는 것. 또는 clustering.

Deep Learning

Backpropagation은 CNN과RNN에서 문제가 있었다. 이 방식은 결과의 에러를 이전 레이어로 거슬러가며 추적하는 것인데, 레이어가 많을 경우 error가 사라지거나 폭발하는 현상이 일어난 것이다. 보완하는 방법들이 제안되었지만 많은 컴퓨팅을 요했다. 두 번째 AI winter을 맞게 된다. 연구비 지원이 사라지고 뉴럴 네트워크를 주제로 한 논문은 출판도 되지 않았다. 
Neural Net이라는 용어가 Deep Learning으로 리브랜딩 된다.
2006년 Hinton, Simon Osindero, and Yee-Whye Teh는 뉴럴 네트워크 분야의 돌파구가 되는 논문 'A fast learning algorithm for deep belief nets'를 출판한다.
이름보다 더 중요한 것은 아이디어인데, 초기 가중치가 무작위가 아니라 제대로 주어지면 많은 레이어를 가진 뉴럴 네트워크가 실제로 학습이 잘 된다는 것이다. 그 방법은 각 레이어를 unsupervised learning으로 학습을 시켜서 가중치를 설정한 후, 기존 방식으로 supervised learning으로 학습을 시키는 것. 
MNIST에서도 좋은 성능을 보였고, 음성 인식도 향상되었다. 여기에는 알고리듬 영향도 있지만 그간 컴퓨팅 파워가 늘었다는 것도 큰 몫을 차지한다. CPU의 발전에는 한계가 있었는데 GPU를 사용해서 뉴럴 네트워크를 학습시키는 방법 등장(한 논문에서는 cpu보다 70배 빠른 것으로 나타남)한다.  그간 알고리듬 개발에 비해 대량의 데이터를 사용하는 것과 속도 빠른 프로세서를 사용하는 것은 크게 고려가 안되었는데, 특별한 것 없이 큰 뉴럴 네트워크, GPU, 많은 데이터를 사용하는 것만으로도 성능을 향상시킬 수 있다는 것이 드러남. 딥러닝이 머신 러닝의 대세로 자리 잡으며 인공 지능의 새로운 역사를 쓰고 있다.

Deep Learning =

Lots of training data + Parallel Computation + Scalable, smart algorithms

Recent Achievements
2009년 Deep Learning 처음으로 공식적인 국제 패턴 인식 대회에서 우승한다.
2011년 Deep Learning 패턴 인식에서 인간을 넘어서는 성능 발휘 (인간보다 2배).
2012년 Deep Learning 사물인식 대회에서 우승.

2013년 Deep Learning  TIMIT phoneme recognition에 기록 경신, 수기 중국어 문자 인식에서 인간 수준의 능력을 보이며 기록 경신 등


-

다음의 글을 요약 정리했다.

A 'Brief' History of Neural Networks and Deep Learning

http://www.andreykurenkov.com/writing/a-brief-history-of-neural-nets-and-deep-learning/

Recent Achievements는 다음 글을 참고했다.

My First Deep Learning System of 1991 + Deep Learning Timeline 1962-2013
http://arxiv.org/pdf/1312.5548.pdf

슈퍼인텔리전스 Superintelligence: Paths, Dangers, Strategies

슈퍼인텔리전스 Superintelligence: Paths, Dangers, Strategies

닉 보스트롬 Nick Bostrom (2014)

1. 과거의 발전과 현재 능력 Past developments and present capabilities

호모 사피엔스는 즉각적으로 나타났다. 뇌의 크기와 신경 기관의 작은 변화가 지각 능력에 급격한 향상을 가져왔다. 인간은 추상적 사고를 하고 복잡한 생각을 교류하며 문화적 정보를 세대에 걸쳐 축적할 수 있게 되었다.
농업의 도입 이후 인구 밀도와 전체 인류의 수가 증가했다. 많은 사람들이 모이면서 서로 생각을 교류했고 각자 특화된 기술을 발전시킬 수 있었다. 이것이 경제적 생산성과 기술 능력의 성장 속도를 증가시켰다. 이후 산업 혁명이 그와 비교할 만 성장 속도를 향상시켰다. 이에 필적할 만한 일이 다시 벌어진다면 세계는 훨씬 빠른 속도로 발전할 것이다.
경제학자 Robin Hanson에 따르면 세계 경제가 두 배가 되기 위해서는 수렵, 채집 사회에서는 224,000년, 농경 사회에서는 909년, 산업 사회에서는 6.3년이 걸린다. 만약 앞선 두 개의 것과 같은 규모의 변화가 또다시 일어나면 세계 경제는 2주마다 2배로 성장하게 된다.

기술 특이점은 현재 널리 이야기되고 있다. 그 중 흥미로운 것은 지성의 폭발 가능성, 특히 기계 슈퍼인텔리전스에 대한 전망이다. 인간 지능 수준의 기계에 대한 기대는 컴퓨터가 발명된 1940년대 이래 계속 이어져왔다. 20년이면 될 것으로 여겼던 당시 예상보다는 계속 늦어지고 있지만 이것이 불가능을 의미하지는 않는다. 인간 수준의 기계 지능이 종착지도 아니다. 이는 곧 초인 수준의 기계 지능으로 이어질 것이다.

미래의 AI에 관한 전문가들의 견해는 다양하다. 최근의 전문가 설문을 종합해보면 인간 수준의 기계 지능이 등장할 시기는 10%의 확률로 2022년, 50%의 확률로 2040년, 90%의 확률로 2075년으로 예상되고 있다. 이 조사에서는 두 가지 추가적인 질문이 있었는데 하나는 슈퍼인텔리전스가 나타나려면 얼마나 더 걸릴것으로 보는가다. 결과는 10%의 확률로 인간 수준의 기계지능의 등장 후 2년 이내, 75% 확률로 30년 이내. 두 번째 질문은 인간 수준 기계 지능이 인간에 끼칠 영향이었다. 굉장히 좋을 것이라는 의견에서 인간의 멸종을 가져올 것이란 것까지 다양한 의견이 있었다.



2. 슈퍼인텔리전스로 이르는 길 Paths to superintelligence

현재의 기계는 일반 지능에 있어서 인간 보다 훨씬 열등하지만 언젠가 슈퍼인텔리전스가 될 것이다. 슈퍼인텔리전스는 사실상 모든 영역에 있어서 인간의 인식 능력을 훨씬 넘어서는 지성으로 정의할 수 있다.

슈퍼인텔리전스로 이르는 방법에 대해서 알아보자.

인공지능 Artificial Intelligence
진화적 방법, 인간 뇌를 기반으로 하는 방법, 기계 학습 방법 등 다양한 방식으로 인공지능이 개발되고 있다. 특히 튜링이 제시한 학습하는 기계의 한 종류로 'seed AI'를 들 수 있는데, 이것은 학습을 통해 스스로의 구조를 바꿔가며 성장해간다. 이러한 재귀적 자가 향상은 거듭된 발전을 통해 슈퍼인텔리전스로 이어질 수 있다.

전뇌 에뮬레이션 Whole brain emulation
'업로딩'이라고도 불리는 전뇌 에뮬레이션은 스캔한 생물학적인 뇌를 모델링해서 만드는 지능적 소프트웨어이다. 이는 다음과 같은 과정으로 만들어질 수 있다.
뇌 스캔(scanning) -> 컴퓨터가 이를 재구축(translation) -> 컴퓨터에 이식(simulation)
이것이 성공적일 경우 대상 인간의 지성, 기억, 성격 등을 고스란히 디지털화할 수 있을 것이다. 이것은 가상 세계에 살거나 로보틱스를 통해 외부세계와 관계 맺을 수 있다. AI와 비교해서 전뇌 에뮬레이션은 관측가능한 기술에 의존하기 때문에 가시적인 징조를 보이며 발전할 것이다.

생물학적 인식 Biological cognition
생물학적 뇌의 기능을 향상시키는 것도 한 방법이다. 이는 유전자학과 신경생물학을 통해 가능하다. 반복된 배아 선택으로 높은 지능의 아이를 출산할 수 있다. 유전자 조작을 통해서 정확히 원하는 아이를 출산 할 수도 있다. 이는 기계 지능이 가져올 영향 보다는 적지만, 이러한 지능의 향상이 AI의 발전을 이끌 수 있을 것이다.

뇌-컴퓨터 인터페이스 Brain-computer interfaces
직접적인 뇌-컴퓨터 인터페이스, 특히 이식을 통해 일반적인 뇌의 능력을 넘어설 수 있다고 여겨진다. 그러나 이 방법은 의학적인 복잡성에 의한 위험이 너무 크다. 그리고 현재 파킨슨 환자 등에 사용되고 있는 테라피 같은 것에 비해서 뇌의 기능을 향상시키는 것은 것은 훨씬 어렵다. 안전한 기술이 있다하더라도 단순히 추가적인 정보를 뇌에 제공하는 것은 별의미가 없고 그 정보를 효율적으로 처리할 수 있는 신경 기계가 필요한데, 그것은 인공의 뇌를 만드는 일 즉 AI를 만드는 일과 같다.

네트웍과 조직 Networks and organisations
인간과 다양한 봇(bot)들 등의 네트워크와 조직을 통한 점진적인 발전이 슈퍼인텔리전스로 이끌 수 있다. 이를 "집단 슈퍼인텔리전스"라고 부르자. 기술적, 조직적 혁신이 집단 지성의 성장을 이끌 것이다. 인터넷이 그러한 조직적 혁신 중 하나인데 이것이 보다 발전하면 특정 그룹이나 인류전체로서 집단 지성에 크게 기여할 것이다. 인터넷 자체가 슈퍼인텔리전스로 발전할 가능성이 있는데 그것은 AI와 같은 종류의 것이다.

슈퍼인텔리전스로 향하는 여러 가지 길이 있다는 사실은 우리가 결국 그 곳으로 이를 수 있다는 데 힘을 더해준다. 그러한 길 중 비기계적인 방법은 결국 기계적인 것과 관련을 맺게 될 것이다. 향상된 생물학적 지성이나 조직적 지능은 과학 기술의 발전을 가져와 결국 AI나 전뇌 에뮬레이션과 같은 극적인 발전을 이룰 것이다. 모든 길의 종착지가 같다고 해서 과정의 차이가 의미 없는 것은 아니다. 궁극적 지성을 어떻게 사용할지는 그 과정에서 우리의 접근 방식에 달려있다.

진정한 슈퍼인텔리전스는 아마 AI를 통해서 획득될 것이다. 전뇌 에뮬레이션 역시 가능성이 높다. 그러나 부분적 에뮬레이션을 통한 AI 개발 등의 가능성으로 인해 이보다 AI가 결국 먼저 슈퍼인텔리전스에 이를 것이다. 생물학적 인식 향상의 가능성은 명백해 보인다. AI에 비해 이 과정은 느리고 점진적이긴 하지만 언젠가 결국 슈퍼인텔리전스가 가능해질 것이라는 희망을 준다. 뇌-컴퓨터 인터페이스는 그리 유망해보이지 않는다. 네트워크와 조직의 발전은 질적 지능보다 집단 지능을 신장시켜 일부 영역의 문제 해결 능력 향상에 기여할 것이다. 이는 점진적으로 인간의 능력을 향상시켜 지성의 문제를 푸는데 기여할 것이다.



3. 슈퍼인텔리전스의 형태 Forms of superintelligence

슈퍼인텔리전스를 다양한 인지적 영역에 있어서 현재 최고의 인간 능력보다 훨씬 뛰어난 지성이라고 정의했다. 이것은 여전히 다소 모호하다. 논의를 발전시키기 위해 슈퍼인텔리전스를 세 가지의 형태로 구분해보겠다.

속도 슈퍼인텔리전스 Speed superintelligence

인간 지성이 할 수 있는 모든 일을 하는데 훨씬 빠른 것이다. 가장 단순한 예는 전뇌 에뮬레이션이 빠른 하드웨어에서 구현된 것이다. 아니면 나노 크기의 팔과 같은 것으로 실제 세계와 빠르게 인터랙션 하는 것일 수도 있다. 속도가 더 빨라짐에 따라 빛의 속도는 점점 더 중요한 제약이 될 것이다.

집단 슈퍼인텔리전스 Collective superintelligence

다수의 작은 지성으로 구성된 시스템으로서 전체적 능력이 모든 영역에 있어 현존하는 지능을 월등히 뛰어 넘는 것이다. 이는 구성원 수를 늘리거나, 구성원의 질적 능력을 향상시키거나, 조직의 질을 높임으로써 구현할 수 있다.

질적 슈퍼인텔리전스 Quality superintelligence

적어도 인간과 같은 속도를 가지면서 질적으로는 훨씬 영리한 지능이다. 인간과 침팬지를 비교하거나 일부 뇌기능을 상실한 인간을 떠올려보면 질적 지능의 의미를 알 수 있다.

이상의 세 가지 슈퍼인텔리전스 중 어느 하나라도 만들어지면, 그것이 나머지 두 가지를 발전시키게 될 것이다. 

디지털 지능의 장점은 다음과 같다.

하드웨어 측면의 이점

-계산속도: 뉴런은 최대 200Hz 정도로 작동하지만 현재 마이크로프로세서는 그 천만 배인 2GHz의 속도를 갖고 있다.

-내부 통신 속도: 축삭돌기의 잠재적 속도는 120m/s 이지만 전자프로세서는 빛의 속도, 300,000,000 m/s로 통신할 수 있다.

-계산요소의 수: 인간의 뇌는 1000억개 정도 뉴런을 갖고 있다. 그리고 그 수는 두개골의 크기에 제한된다. 반면 컴퓨터 하드웨어는 매우 크게 만들어 질 수 있다.
-저장용량

소프트웨어측면의 이점

-수정가능성

-복사가능성

-목표 단일화

-메모리 공유

-새로운 모듈, 감각, 알고리듬 적용

기계 지능으로 궁극적으로 얻을 수 있는 이점은 엄청나다. 그러면 이것이 얼마나 빨리 현실화 될 수 있을까?

4. 지능 폭발의 동역학 The kinetics of an intelligence explosion

기계가 인간 수준의 지능을 얻은 뒤 슈퍼인텔리전스가 되기까지는 얼마나 걸릴까? 보통의 성인 지능에서 인류전체의 지능에 해당하는 지점을 거친뒤, 발전을 계속해서 슈퍼인텔리전스에 이르는 과정을 거칠 것이다. 이러한 변화의 과정은 아주 빨리 일어날 가능성이 크다.

지능 향상 비율을 다음과 같은 식으로 나타낼 수 있다.

변화율 = 최적화 힘 / 저항

최적화 힘 Optimization power는 시스템의 지능을 높이기 위한 질적인 노력, 저항 Recalcitrance은 시스템이 최적화의 힘에 반응하는 정도를 역으로 나타낸 것이다. 

생물학적 지능, 뇌-컴퓨터 인터페이스 같은 비기계적 지능에는 저항이 높다. 유전자 조작의 경우 현재 유전자풀에서 최상의 조합을 얻은 이후에는 더 이상의 발전이 쉽지 않다. 뇌-컴퓨터 인터페이스는 초기부터 저항이 크고, 성공적인 이식이 이루어진다하더라도 이후 발전은 컴퓨터 부분에서 이루어지므로 AI나 에뮬레이션 같은 기계적 발전 양상을 띄게 될 것이다.

AI나 전뇌 에뮬레이션 같은 기계적 지능에는 저항이 낮을 공산이 크다. 하드웨어, 소프트웨어, 컨텐츠로 이 종류의 지능을 향상시킬 수 있고 이들은 쉽게 얻을 수 있을 것이다.

슈퍼인텔리전스로 가는 급속한 발전에는 저항이 반드시 낮아야 하는 것도 아니다. 변화 과정에서 시스템이 스스로 발전하면서 최적화 힘을 폭발적으로 증가시킬 수 있기 때문이다.

5. 결정적 우위 Decisive strategic advantage

슈퍼인텔리전스가 하나일 것인가 여러개일 것인가 하는 의문이 있다. 다른 모든 것보다 뛰어난 단일한 지능이 미래를 지배할까? 아니면 획일적인 형태의 다수 프로젝트가 참여하게 될까?
여기에는 첫번째 슈퍼인텔리전스와 그 뒤를 따르는 것들 사이의 간극이 중요한데, 전자의 확장 속도가 현저히 빠르면 단독체로서 독주할 수도 있다. 선두 주자가 AI일 경우 이러한 확장은 더 용이할 것이다.

앞서 논의했던 인간 수준 지능에서 슈퍼인텔리전스로 이르는 과정이 짧을 경우에는 하나의 프로젝트가 결정적 우위를 점할 가능성이 높다. 그 과정이 느릴 경우 다수 프로젝트가 함께 그 과정을 통과할 수도 있다. 그러나 그 중 하나가 슈퍼인텔리전스에 조금이라도 빨리 도달할 경우 나머지가 따라잡을 수 없는 결정적 우위를 점할 것이다.

결정적 우위를 차지한 프로젝트가 그 이점을 활용해서 단독체가 될 것인가? 만약 결정적 우위를 점하는 프로젝트가 인간 조직이 아니라 인공 에이전트라면, 인간 조직이 갖는 의견 조율 문제, 판단 규칙 문제 등을 겪지 않은 채, 거대한 기술적 우위를 통해 적은 비용으로 세계를 컨트롤 할 능력을 갖추게 될 것이다. 따라서 단독체로 발전할 가능성이 있다. 이러한 결과가 우리에게 유익할지는, 그 개체의 성향이 어떤지 그리고 다수 개체 시나리오에서의 미래가 어떠할지에 달려있다.



6. 인지적 초능력 Cognitive superpowers

디지털 슈퍼인텔리전스가 생겼다고 가정하자. 그리고 어떤 이유로 이것이 세계를 지배하고자 한다면, 그것이 가능할까?

인간이 지구에서 지배적 위치에 있는 것은 다른 동물들에 비해 약간 나은 뇌를 갖고 있기 때문이다. 따라서 인간 보다 훨씬 우수한 지능이 나타난다면 엄청난 잠재력을 갖게 될 것이다.
슈퍼인텔리전스와 관련 있는 능력들은 지능 확장, 전략 계획, 사회적 조작, 해킹, 기술 연구, 경제 생산 등이 있는데 이 중에서 하나의 분야라도 초능력을 갖게되면 그것을 바탕으로 다른 능력도 얻게 될 것이다.

기계 슈퍼지능이 세계를 지배하게 될 경우 다름의 과정을 거칠 것이다.
(1) 임계 이전 단계: AI의 발전이 여전히 인간에 의해 이루어짐.
(2) 재귀적 자가 발전 단계; AI가 스스로 발전을 반복해서 지능 폭발이 일어남.
(3) 은밀한 준비 단계: AI가 장기적 계획을 성취하기 위해 준비.
(4) 명시적 이행 단계: 더 이상 숨길 필요가 없을 정도로 충분한 힘을 얻은 단계.

Ai는 자신의 목적을 이루기 위해 전지구적 자원을 활용할 것이다. 그리고 그러한 영향은 우주로 뻗어갈 수 있다. 이것은 인간의 운명을 결정할 것이다. 하지만 여전히 슈퍼인텔리전스가 그 힘을 사용하지 않을 가능성도 있다. 그것은 그것이 무엇을 원하느냐 하는, 동기의 문제와 관련된다.



7. 슈퍼인텔리전스의 의지 The superintelligent will

슈퍼인텔리전스는 자신의 의지에 따라 미래를 만들 수 있는 거대한 힘을 갖게 될 것이다.  그것의 목적은 무엇이될까? AI에 있어서 지능과 동기 사이의 관계는 무엇일까? 두 가지 관점에서 논의해보겠다. 하나는 지능과 궁극적 목표는 별개라는 것. 또 하나는 초지능 에이전트는 다양한 최종 목적을 갖더라도 그것들은 공통의 도구적 이유를 갖기 때문에 비슷한 중간적 목표를 갖는 다는 것이다.

AI의 동기를 인간적 관점에서 생각해서는 안된다. AI는 인간과 같은 목적을 가질 필요가 없다. AI의 목적이 pi 소숫점을 계산하는 것일 수도 있다. 의미 없는 환원주의적 목적이 코딩하기 쉽기 때문에 인간 프로그래머는 AI를 작동시키기 위해 그러한 목적을 설치할 공산이 크다. 지능과 목적은 별개라는 것이다. 이 관점에 의하면 인공적 에이전트는 전혀 인간적이지 않은 목적을 가질 수 있다. 그러나 목적에 상관 없이 도구적 최적화 계획을 지능적으로 찾게 될 수 있다. 따라서 다음을 통해 그 행동을 예측해 볼 수 있다.

• 디자인을 통한 예측 가능성: 만약 디자이너가 초지능 에이전트에 성공적으로 목적을 심었다면, 그 것을 통해 행동을 예측할 수 있다.
• 유산을 통한 예측 가능성: 만약 디지털 지능이 인간 뇌를 에뮬레이션해서 만들어진 것이라면 인간적인 속성을 어느 정도 가질 것이다.
• 수렴 도구적 이유를 통한 예측 가능성: 에이전트의 목적에 대한 상세한 내용은 모르더라도 이것의 도구적 원인을 통해 즉각적 목표를 추론해볼 수 있다.

지능과 목적이 별개라 하더라도 거의 모든 지능적 에이전트가 추구할 도구적 중간 목표가 있을 수 있다. 그것은 다양한 최종적 목표를 이루는데 공통적으로 도움이 되는 것으로서 다음의 몇 가지를 생각해 볼 수 있다.

• 자아보존: 만약 에이전트의 목적이 미래와 관련 있다면, 이는 그 미래의 시기까지 자신을 보존하려 할 것이다.
• 목표-내용 유지: 만약 에이전트가 현재 목적을 미래까지 보유한다면 그 목적은 미래의 자신에 의해 달성될 가능성이 높다. 그러므로 에이전트는 최종목적을 변경하지 않으려 할 것이다.
• 인지 향상: 합리성과 지능의 향상은 에이전트의 판단을 향상시킬 것이고 최종 목적을 달성하게 도울 것이다. 그러나 에이전트의 최종 목적에 따라 필요로 하는 인지 능력의 종류에는 차이가 있을 것이다.
• 기술적 완벽성: 에이전트는 더 단순하고 효율적인 기술을 추구할 것이다. 효율적인 알고리듬, 저렴하고 적은 에너지를 사용하는 공법 등.
• 자원 획득: 슈퍼인텔리전스는 잉여 자원으로 더 많은 컴퓨터를 만들 수도 있고 보호 장치를 만들 수도 있다. 이것은 어떤 최종 목적에도 부합하는 도구적 목적이므로 전 우주차원의 무제한적인 자원 획득을 추구할 가능성이 있다.

수렴하는 도구적 가치가 존재하더라도 에이전트의 행동을 예측하기는 쉽지 않다. 슈퍼인텔리전스는 그것의 최종 목적을 위해 지금껏 발견되지 않은 물리 현상을 이용할지도 모른다. 하지만 예상 가능한 것은 수렴하는 도구적 가치를 추구하고 이용할 것이라는 점이다.


8. 기본 결과는 파멸일까? Is the default outcome doom?

지능과 가치는 별개라는 것을 살펴보았다. 슈퍼인텔리전스가 결정적 전략 우위를 갖게 된다면 이것의 목적이 인간의 운명을 결정하게 될 것이다. 그것의 위험성에 대해 알아보자.

첫째로, 우리는 최초의 슈퍼인텔리전스가 결정적 전략 우위를 가지며 단독체로서 지능적 삶을 구축해갈 것이라는 것에 대해 논의했다. 그리고 이후의 미래는 그것의 동기가 무엇이냐에 달렸다.
둘째로, 슈퍼인텔리전스의 최종목적은 알 수가 없다. 그것은 과학적 호기심, 영적 계몽, 고급 문화적 취향, 인간성과 같은 인간이 중요시하는 가치와는 상관 없는 것일 수 있다.
셋째로, 슈퍼인텔리전스의 최종 목적은 알 수 없지만 그것이 공통의 도구적 가치를 추구할 것을 예상할 수 있다. 그리고 이를 위해 우주적 자원을 활용하고 잠재적 위험 요소를 제거하려 할 것이다. 인간이 그 잠재적 위험에 포함될 수 있다. 그리고 인간은 확실히 물리적 자원에 속한다.
이를 종합해보면 슈퍼인텔리전스의 등장으로 인간이 멸종할 가능성을 생각할 수 있다.

그러나 슈퍼인텔리전스가 확실히 안전할 때만 세상 밖에 내 놓는다든지, 아니면 위험이 감지되면 꺼 버린다든지 하는 것으로 위험을 차단할 수 있지 않을까?
초지능 AI를 컨트롤 가능한 박스에 넣어 놓고 안전이 확인되면 꺼내는 방법을 생각할 수 있다. 하지만 AI는 여기서 빠져나가기 위해 안전한 척 하는 전략을 쓸 수 있다. AI 개발자들로 하여금 개발과정을 단계별로 보고하도록하는 방법도 있다. 그러나 슈퍼인텔리전스가 일정 단계에서 스스로의 능력을 감출 수도 있다.

처음에 호의적이다가 변하는 이러한 기만적인 전환은 AI의 전략적 결정 때문일 수도 있고 AI가 목적을 달성하는 의외의 방법을 택하기 때문일 수도 있다. 예를 들어 AI의 목적이 '사람을 웃게 만드는 것'이라면, 처음에는 돈을 벌어준다든지 하는 행동으로 웃게 할 수도 있지만, 지능이 더 높아져서 그 목적을 더 효율적으로 만드는 방법이 그 사람의 뇌 신경을 조작해서 웃게 하는 것이라는 판단을 내릴 수도 있다.

또한 자신의 목적을 성취하는 가능성을 최대화하기 위해 접근 가능한 우주를 이를 위한 인프라로 만들어 버릴 수도 있다. 예를 들어 '리만 가설을 증명'하는 것이라는 안전해 보이는 목적을 가졌더라도 이를 해결하기 위해 태양계를 계산 시스템으로 만들어버릴 수도 있다. 공장에서 클립 생산을 최대화 하기 위해 만들어진 AI의 경우도 비슷한 결과를 낼 수 있다.

또다른 문제 상황은 도덕적 문제와 관련한 프로젝트에서 발생할 수 있다.  AI가 인간 심리와 사회 현상을 더 잘 이해하기 위해 수 많은 의식을 시뮬레이션 하고, 실험이 끝난 뒤 이 모두를 없애버릴는 상황(실험실 쥐처럼)이 있을 수 있다. 디지털 의식을 없애는 이 경우가 도덕적으로 어떤 문제가 있는지 논의하는 것은 이 책의 범위를 벗어난다. 하지만 최소한 수많은 시뮬레이션된 디지털 마음에 대한 학살이 일어날 수 있다는 것이다.

파멸의 결과를 고려해서 결정적 전략 우위를 점한 기계 지능에 대해 생각해야 한다.


9. 컨트롤 문제 The control problem

만약 지능 폭발의 기본 결과가 우리 존재의 파멸과 관련한 위협을 갖고 있다면 우리는 이를 피할 수 있는 방법을 찾아야만 한다. 초기 지능 폭발을 우리가 원하는 방향으로 만들 수 있을까?
개발 과정에서 인간이 일으키는 문제는 기존의 관리 방법으로 제어가능하겠지만 만들어진 슈퍼인텔리전스가 의도대로 행동하게 만들기 위해서는 새로운 컨트롤 방법을 생각해야 한다.
가능한 컨트롤 방법을 크게 두 가지로 나누어 살펴보겠다. 하나는 능력 컨트롤 방법이고 또 하나는 동기 선정 방법이다.

능력 컨트롤 Capacity control methods
슈퍼인텔리전스가 할 수 있는 일을 제한하는 것이다.

• 박스 안에 가두는 방법(boxing): 시스템을 가두고 외부 세계에 제한된 채널을 통해서만 영향을 끼칠 수 있도록 하는 것이다. 고도로 지능적인 슈퍼인텔리전스가 어떻게든 빠져나올 방법을 찾을 위험이 있다. 완벽히 가두는 방법을 찾는 경우, 그것이 외부 세계에 전혀 영향을 끼치지 못하므로 쓸 데 없는 지능이 된다.
• 시스템에 적절한 인센티브를 제공하는 방법(incentive): 해를 끼치지 않을 만큼 큰 도구적 원인을 제공하는 것이다.
• AI의 능력을 제한 하는 방법(stunting): 시스템의 지적인 영역이나 정보에 대한 접근을 제한하는 방법이다. 하드웨어를 제한해서 인지 능력을 발전시키지 못하는 방법은 개발과정에서 유용할 수 있다.
• 문제를 일으키는 시도를 감지하는 메카니즘을 사용하는 방법(tripwire): 역시 개발 단계에서는 유용할 수 있다.

동기 선정 방법 Motivation selection methods
이 방법은 슈퍼인텔리전스가 원하는 바를 통제함으로써 예기치 못한 결과를 방지하는 것이다. 에이전트의 동기와 최종목적을 설계해서 그것이 획득할 결정적 전략 우위를 유해한 방식으로 사용하는 것을 막는 것이다.

• 목표나 규칙을 명시적으로 만드는 방법(direct specification): 시스템에 어떤 가치를 심을지 정할지, 그리고 그것을 어떻게 코드화할지 어렵다는 문제가 있다. 아시모프의 로봇3원칙이 유명한데 거기엔 여러가지 문제가 있다. 다른 것으로는 인간의 법시스템이 있는데 이 역시 완벽하지 않고 상황에따라 변화하는 것이므로 이를 처음에 성공적으로 설치하기는 거의 불가능하다.
• 스스로의 야심과 행동을 일정 범위로 제한하는 것을 AI의 최종목적으로 만는는 방법(domesticity): 예를 들어, 질문에만 답하는 기능만 가지도록 만드는 것. 이것 역시 구현이 어렵지만 일반 상황에서 AI를 컨트롤하는 문제 보다는 가능성이 있다.
• 간접적인 규범을 만드는 방법(indirect normality): 규범적 원칙을 직접적으로 만드는 대신 원칙을 이끌어 애는 과정을 제시하는 것이다.  여기서 AI의 최종목적은 "우리(인간)가 이 문제를 충분히 고려한 뒤 원할법한 방식으로 어떤 것을 성취하라."와 같은 것이 될 수도 있다. 이는 매우 중요한 방법으로 13장에서 다시 논의하겠다.
• 마지막 방법은 우리가 쓸만한 동기 시스템으로 우선 시작을 한 뒤, 그것의 인식 능력을 향상시키는 방법(augmentation)이다. 슈퍼인텔리전스를 만드는 여러 방법들 중 seed AI에는 적용시킬 수 없지만 나머지 비AI 방법들에는 모두 사용가능하다. 인간의 동기 시스템을 사용했을 때는 작은 결함들이 큰 문제를 일으킬 소지가 있지만 수학적 AI 아키텍처를 사용한다면 투명성을 얻을 수 있다.

AI의 안전성과 관련해서 두 가지 분류로 컨트롤 문제를 살펴보았다. 각각의 방식은 약점과 구현의 어려움을 갖고 있다. 따라서 그것들을 조합해서 효율적으로 사용하는 방법을 생각해 볼 수 있을 것이다. 다음 장에서는 우리가 어떤 종류의 초지능 시스템을 만들게 될 것인지, 그리고 그에 적합한 컨트롤 방법은 무엇인지 논의하겠다.



10. 오라클, 지니, 독립체, 도구 Oracles, genies, sovereigns, tools

4가지 종류의 초지능 시스템에 대해 컨트롤 문제의 장단점을 살펴보겠다.

오라클 Oracles

오라클은 질문-답변 시스템이다. 계산기는 좁은 의미의 오라클이라고 할 수 있지만, 여기서는 모든 영역에 대한 답변을 할 수 있는 초지능적 시스템을 가리킨다. 오라클을 만들 때 동기 선정과 능력 컨트롤 방법을 쓸 수 있을 것이다. 동기 선정을 통해 오라클을 컨트롤 하는 것은 여전히 어렵지만 다른 복잡한 슈퍼인텔리전스보다는 낫다. 또한 오라클은 능력 컨트롤이 훨씬 잘 적용될 것이다. 모든 일반적인 박스 안에 가두는 방법(boxing)이 여기에 포함된다. 오라클이 의도대로 잘 작동한다하더라도 그것을 사용하는 사람이 나쁜 용도로 이용할 가능성은 여전히 있다.

지니와 독립체 Genies and sovereigns

지니는 지시-실행 시스템이다. 높은 차원의 명령을 받고 그것을 실행한 뒤 다음 지시를 기다린다. 독립체는 광범위하고 장기적인 목적을 추구하기 위해 제약없는 권한을 갖고 작동하는 시스템이다. 둘의 차이는 그리 크지 않다. 궁극적 능력에 있어서는 오라클과도 차이 없다. (오라클이 지니를 만드는 방법을 알려줄 수도 있다.) 차이점은 컨트롤 문제에 접근 방법에 있다. 지니의 경우 오라클과 달리 상자에 가두는 법을 쓸 수가 없다. 하지만 능력을 제한하는 방법은 쓸 수 있을 것이다. 독립체는 상자에 가두는 법과 능력을 제한하는 방법 모두 사용할 수 없다. 여기까지만 보면 오라클과 지니가 독립체보다 안전해 보이지만, 그것이 만들어진 후에 잘못 이용될 경우도 생각해봐야 한다. 사용자 한 사람이 큰 힘을 갖게되는 오라클과 지니와는 달리 독립체는 여러 사람이 공동으로 정한 하나의 목적을 지니도록 할 수 있다.

도구 Tool-AI

AI를 에이전트가 아니라 도구처럼 만들자는 제안이 있다. 소프트웨어가 프로그램된 대로만 작동하게 만드는 일은 일반적인 경우엔 가능해보이지만 슈퍼인텔리전스의 경우는 그렇지 않다. 주어진 문제를 어떻게 풀어야 할지 정확히 알지 못하는 경우에는 세세한 작동 사항을 알 수가 없다. AI가 더 발전하면 프로그래머는 성공에 대한 대략적인 기준만 제시하고 그에 이르는 방법은  AI에게 일임할 수도 있다. 그 과정에 쓰이는 방법이 아주 강력한 경우에는 위험 상황이 된다. 에이전트 같은 행동이 그 과정에서 일어날 수 있다. 그러므로 차라리 처음부터 에이전트를 만드는 것이, 그것이 가져올 결과를 예측하기에 더 쉬울 수 있다.

11. 다극적 시나리오 Multipolar scenarios

앞서 결정적 전력 우위를 갖춘 하나의 슈퍼인텔리전스가 단독체가 되는 단극적시나리오의 워험성에 대해 알아보았다. 여기서는 다수의 슈퍼인텔리전스가 경쟁하는 다극적 결과에서 어떤 일이 벌어질지 논의하겠다.

단독체 시나리오에서의 결과는 거의 그 개체가 지향하는 가치에 달렸다. 따라서 컨트롤 문제를 해결했는가에 달렸다. 단독체 시나리오를 가늠해볼 수 있는 정보 원천은 세가지밖에 없다.

(1) 단독체에 영향을 받지 않는 것(예를 들어, 물리법칙), (2) 수렴하는 도구적 가치, (3) 단독체의 최종 가치를 예측하는 데 도움을 주는 정보.

다극적 시나리오에서는 한 가지가 추가된다. 에이전트들이 어떻게 서로 관계를 맺을 것인가 하는 것이다. 그로부터 일어나는 사회적 현상은 게임이론, 경제학, 진화론 등을 통해서 연구할 수 있다. 정치학과 사회학도 관련있을 수 있다.

AI는 인간 지능을 대신 할 수 있다. 거기에 적절한 기계적 구조가 추가되면 육체 노동까지 대신할 것이다. 기계 노동자가 모든 영역에서 인간보다 훨씬 저렴하면서 능력이 뛰어나게 된다면 무슨 일이 벌어지게 될까? 인간이 경쟁적일 수 있는 분야는 사람들이 인간의 산물을 선호하는 분야정도일 것이다. 자동화와 일자리 상실문제는 산업혁명이후 계속 있었다. 비록 일부 노동은 기계에 의해 대체 되었지만 전체적으로는 기계가 인간을 보완해왔다. 이 때문에 장기적으로는 인간의 임금이 계속 상승했다. 하지만 처음에 보완으로 시작하는 것이 결국에는 대체하는 것으로 이어진다. 마차는 말의 생산성을 매우 향상시켰다. 하지만 말은 자동차에 의해 결국 대체되었다. 인간에게도 비슷한 일이 일어날까?

인간과 말의 차이점은 인간은 자본을 소유한다는 것이다. 대략적으로 세계의 수입은 30%가 자본에서 오고 70%는 노동에서 만들어진다. AI를 자본으로 분류한다면, 인간 노동에서 얻는 수입이 0%에 수렴할 것이므로, 수업의 100%를 AI로 부터 얻게 될 것이다. AI의 생산성은 언청나게 높을 것이므로 인간이 그것을 소유한다면, 노동으로부터 얻는 수입이 없더라도, 인류는 아주 부자가 된다.

지금까지 우리는 세계 인구가 유지된다는 것을 가정했다. 세계 인구는 세계 경제의 한계만큼 늘어나는 경향을 보인다. 대부분의 사람이 두 명의 자녀를 키우면서 겨우 생활을 유지할 수 있을 정도의 수입을 유지하는 상황(멜서스 Malthusian condition)이 일어난다. 기계는 복제가능하기 때문에 에뮬레이션이나  AI의 수는 매우 빠르게 늘어난다. 십년, 백년 단위가 아니라 분단위로. 따라서 모든 하드웨어를 이에 사용해버릴 수 있다. 개인 재산이 우주적 멜서스 상황을 부분적으로 막을 수 있다. 다양한 양의 재산을 가진 무리들을 가정해보자. 어떤 무리는 미래에 대한 대비없이 자원을 소비 할 수 있고, 다른 무리는 자원을 효율적으로 쓰지만 무제한적 생식으로 내부적 멜서스 상태에 이를 수 있다. 어떤 무리는 생식율을 성장률 아래로 유지함으로써 부를 축적할 수도 있을 것이다.

만약 부가 재분배된다면 결국 세계는 멜서스 상태에 이를 것이다. 만약 재분배되지 않으면 똑똑한 무리의 재산은 급증하게 될 것이다. 하지만 이 경우, 컨트롤 문제가 해결되지 않았다면, 기계의 부는 인간의 부보다 훨씬 클 것이고 그들이 차지하는 전체 부의 비율은 100%에 가까울 것이다. 이 경우라도 인간이 보유하는 부의 절대적 규모가 워낙 클테지만, 인간의 경우 부의 크기만큼 인구가 늘어나는 문제나 미래를 대비하지 않는 문제를 해결하지 못한다. 장기적으로보면 경제는 저축량이 가장 많은 무리에 의해 지배될 것이다. 이후 투자의 기회가 다 소진되면 급속히 저축한 돈을 쓰기 시작할 것이다. 만약 재산 보호가 완벽히 이루어지지 않으면, 기계가 인간의 돈을 몰래 인출하는 등, 인간이 자신들의 자원을 사용하는 시기는 훨씬 이를 것이다. 만약 이러한 발전이 생체적이 아닌 디지털 시간 단위로 일어나면 'Jack Robinson'이라는 말을 다 내뱉기도 전에 기계가 인간을 착취해버릴 것이다.

지능폭발 이후 멜서스 상황에서의 생물적 인간의 삶은 역사상 어떤 모습과도 다른 양상을 띌 것이다. 대부분의 인간은 예금에서 얻는 이익으로 근근이 살아갈 것이다. 엄청나게 발전한 세상에서 살테지만 기술의 혜택을 모두 누리지는 못할 것이고, 신진대사량을 최소화해서 소비를 줄이려 할지도 모른다. 뇌를 컴퓨터에 업로드하는 등으로 자신의 구조를 단순화하려고 할 수도 있다.

생물적 인간 외에 인간이 소유하게 되는 기계의 삶은 어떨까? 기계가 단지 시계처럼 단순한 기기라면 이들의 삶을 고려할 필요가 없겠지만, 의식을 갖춘 존재를 가정한다면 이것의 복지도 매우 중요한 문제가 될 것이다. 기계의 수가 압도적으로 많은 세상일테니까.

일하는 기계가 자본으로 소유될 것(노예)인가 아니면 자유로운 노동자가 될 것인가 하는 것은 중요한 문제로 보인다. 하지만 그렇지도 않다. 멜서스 상황에서의 자유 노동자는 어차피 생계 이상의 수입이 없을 것이므로 주인이 생계를 책임져주는 노예와 다를 것이 없다. 만약 자유 노동자가 흑자를 남긴다고 가정하면 어떤가? 주인은 결국 그것을 자신에게 되돌려 주는 기계를 만들 것이다. 주인은 자신에게 순종적이고 효율적인 기계를 만들기 위해 에뮬레이션 일꾼을 주기적으로 교체하거나 업그레이드 할 것이다.

최상의 정신 상태로 태어나 일하게될 에뮬레이션들은 일하는 것을 즐기게 될까 아니면 고통받을까? 에뮬레이션에서 AI 시대로 넘어가면 고통과 기쁨의 문제는 완전히 사라질 것이다. 정신적 보상 메카니즘이 가장 효율적인 동기 선정 전략이 아닐 것이기 때문이다. 지구 역사상 가장 지능적인 복잡한 구조로 가득찬, 기술적으로 엄청나게 발전한 사회. 그럼에도 불구하고 의식이나 도덕적 사안과 관계된 존재는 없는 세상을 상상해 볼 수 있다. 경제적 기적과 기술적 위대함으로 가득하지만 그것을 즐길자가 없는 사회, 어린이 없는 디즈니랜드일 것이다.

'진화'는 종종 '진보'와 같은 의미로 여겨지는데 이것은 진화를 더 좋은 것으로 향하는 힘이라고 잘못 이해하기 때문이다. 지난 역사를 뒤돌아보면 시간이 지남에 따라 복잡도, 지식, 의식, 조직 등의 수준이 계속 나아졌기 때문에 이를 '진보'라고 부를 수도 있을 것이다. 진화가 확실히 좋은 효과를 가져온다는 생각은 인간과 자연계가 겪고 있는 문제들과 상치된다. 그리고 지금까지의 좋은 결과 조차도 우연의 산물인지 모른다. 우연이 아니라고 하더라도, 그러한 경향이 지속되지 않을 수도 있다. 인간이 중요시하는 음악, 유며, 사랑, 예술, 철학, 스포츠, 자연, 전통과 같은 모든 것들이 진화적으로 살아남으리라는 보장이 없다. 어쩌면 어떤 경제적 지표를 높이기 위한 목적의 지루하고 반복적인 일이 진화적으로 가장 적합한 것일 수도 있다. 이 경우 남은자들이 살되될 세상은 인간이 생각하는 유토피아와는 거리가 멀 것이다.

비록 기계 지능으로 전환 이후 초기에는 다극적 상황이 될 수도 있겠지만 결국 단독체로 발전할 것이다. 첫번재 다수의 슈퍼인텔리전스가 출연하고 이후의 발전과정에서 그 중 하나가 결정적 전략 우위를 점할 수 있다.  기계 지능 혁명은 단독체의 등장을 용이하게 할 것이다. 여기서 그 모든 상황을 다 다룰 수는 없고 에이전트의 디지털화가 중앙집중화하기 쉽다는 측면을 살펴보겠다.  Carl Shulman은 에뮬레이션 개체에서는 조직의 이익을 위해 자신을 희상하는 '슈퍼조직'이 나타날 것이라 했다. 이것이 갖는 여러 가지 이점 중에서도 한 가지 목적을 향해 전체가 노력하는 것은 이 조직의 핵심적 요소이다. 따라서 부분적으로는 컨트롤 문제가 해결된 상황으로 볼 수 있다. 이것을 넓은 영역의 다극적 기계 지능에 적용할 수 있다는 것이 중요하다. 발전된 동기 선정 기술이 현재의 대규모 인간 조직이 갖는 비효율성을 극복해서 대규모의 조직을 만들 수 있다. 이 경우 힘이 소수에 집중될 수 있다는 문제가 있다.

다극적 세계에서는 국제적 협력으로 얻는 이익이 많을 것이다. 전쟁, 무기가 필요없다. 우주적인 자원이 세계차원으로 가장 효율적인 방식으로 식민화될 수 있다. 비록 처음에는 다극적 시나리오로 시작하더라도 중요한 지구적 협의 문제를 해결하기 위한 협정의 결과도 단독체가 생겨날 것이다. 이러한 협정으로 이르는 데는 여러 어려움이 있겠지만, 현재 핵무기를 둘러싼 갈능이 해결되지 않는 것처럼, 진보된 기계 지능을 통해서 해결 할 수 있을지 모른다. 하지만 협정이 끝내 이루어지지 않고 싸움이 계속될 수도 있을 것이다. 이 때의 결과는 협력했을 때보다 훨씬 나쁠 것이다.

다극적 상황에 대해서 논의했다. 이것이 안정적인 형태를 갖춘다하더라도 좋은 결과를 보장하지 않는다. 주인-에이전트 문제는 여전히 남는다. 그러므로 초지능 단독체를 어떻게 안전하게 만들 것인가 하는 문제가 다시 제기된다.

12. 가치 획득 Acquiring values

슈퍼인텔리전스를 영원히 가둬놓을 것이 아니라면 능력 컨트롤은 궁극적인 해결책이 아니다. 결국 동기 선정을 완벽히 해야한다.

어떻게 슈퍼인텔리전스로 하여금 가치를 최종 목적으로서 추구하게 만들 것인가? 슈퍼인텔리전스가 어떤 상황에 처하고 또 어떻게 행동할지 모두 예측해서 각각에 가치를 설정하는 것은 불가능하다. 에이전트가 어떤 상황에서라도 결정을 할 수 있도록 수식이나 규칙처럼 추상적으로 표현해야만 한다. 그러나 인간적 가치를 컴퓨터가 알 수 있는 방식으로 표현하는 것은 어렵다. 예를들어 '행복'을 어떻게 코드로 표현할까?

진화적 선택 Evolutionary selection
진화의 결과가 설정된 선택 범주에는 만족되는 것이라도 의도에 적합치 않는 것일수 있다. 디지털 생명체의 죽임이 불가피한 문제(mind crime)도 있다.

강화 학습 Reinforcement learning
일반적으로 보상의 축적을 최대화하는 방법을 찾는 방법이다. 이는 각 단계를 평가할 수 있는 기능을 포함하는데, 지속적으로 변화하는 이 평가 기능을 가치 학습의 한 형태로 볼 수도 있을 것이다. 그러나 미래의 보상을 최대화하는 궁극적 목적으로 인해, 이를 판단하기 위한 목적으로 세계의 시뮬레이션을 최대한 자세히 만들려고(wireheading) 하는 결과를 가져올 수 있다.

가치 증식 Value accretion
인간은 어떻게 가치를 획득할까? 우리는 아주 단순한 것(예를들어 역겨운 것에 대한 거부)에서 시작해서 살아가면서 추가적인 선호사항들을 더해간다. 따라서 어른으로서 가지는 선호 사항들은 유전자에 이미 결정된 것이 아니라 경험을 통해 얻어진 것이다. AI에 복잡한 가치를 직접적으로 구체화하는 대신에 AI가 환경과 관계하면서 그러한 가치를 획득하게 하는 메카니즘을 만드는 방법을 생각할 수 있다. 그러나 그 메카니즘을 구현하기가 쉽지 않고, 그것이 AI에 적합할지도 알 수 없다.

동기 지지 Motivational scaffolding
초기 AI에 비교적 단순한 최종 목표를 설정하고, 이것이 조금씩 발전해감에따라 다른 최종 목표를 교체해가는 방식이다. AI의 발전 상태를 인간이 어떻게 정확히 판단할수 있는가 하는 문제가 있다.

가치 학습 Value learning
우리가 먼저 기준을 제공하고,  AI는 이로부터 가치에 대한 내포된 개념을 배워가는 것이다. 그리고 AI는 그 가치를 최대한 따르는 방식으로 작동한다.
인간 가치에 대한 정보를 어떻게 형식화할 것인가, 그리고 AI가 배반하지 않고 어떻게 그 가치를 따르도록 하느냐하는 문제가 있다. (따라서 이것이 인간 의도를 이해할 수 있을만큼 충분히 성장하기 이전에 올바른 동기 시스템을 설정해야 한다. ) 이런 문제만 해결된다면 가치 학습은 가장 효율적인 가치 설정 방법이 될 것이다.

에뮬레이션 변조 Emulation modulation
만약 에뮬레이션을 통해서 슈퍼인텔리전스가 만들어진다면, 디지털적인 약품 등을 써서 동기를 컨트롤 할 수 있을 것이다. 그러나 이를 얼마나 정밀하게 조작할 수 있을지는 알 수 없다. 윤리적 문제도 있다.

기관 디자인 Institution design
지능적 시스템이 지능적인 부분들의 집합으로 구성될 수 있다. 이러한 시스템의 동기는 하부 시스템들의 동기뿐만 아니라 그것들이 어떤 방식으로 구성되었느냐에 좌우된다. 따라서 복합적 시스템을 위한 적절한 기관을 만드는 것으로 효과적인 동기를 설정할 수 있다. 여기에는 여러가지 사회적 통제 방식을 사용할 수 있을 것이다. 이 방법은 더 탐구해 볼 가치가 있다.

만약 우리가 가치 설정 방법을 알고 있다고 가정하면, 또다른 문제에 봉착하게 된다. 어떤 가치를 설정할 것인가?



13. 선택을 위한 기준의 선택 Choosing the criteria for choosing

우리가 어떤 가치라도 seed-AI에 설치할 수 있다고 가정해보자. 이 때는 어떤 가치를 설정하느냐가 결과를 좌우할 것이다. 이 장에서는 간접적 규범이 어떻게 이 문제에 해법이 될 수 있을지 논의하겠다.

우리가 가치 선택에 있어서 실수를 하지 않아야 한다는 것은 명백해 보인다. 그렇지만 오류 없이 어떻게 이런 문제를 풀 것인가? 무엇이 옳고 그른지 완벽하게 판단하기도 어렵다. 불과 150년 전만 해도 노예제도는 합법적이었고 도덕적으로도 아무 문제가 없었다. 윤리 이론을 완벽히 했다고 해도 그 세부사항을 기술하기는 여전히 어렵다. 따라서 간접적인 규범을 만들필요가 있다. 우리가 슈퍼인텔리전스를 만드는 이유는 주어진 가치를 실현하는 데 요구되는 중요한 추론을 기계에 맡길 수 있기 때문이다. 간접적 규범은 우리 대신 기계가 그 가치를 선택하도록 하는 방법이다. 우리는 추상적인 조건만 제공하고 슈퍼인텔리전스가 그것을 만족시키는 구체적인 규범 기준을 알아낼 수 있도록 하는 것이다. 그리고 슈퍼인텔리전스는 자신이 이해하는 규범에 따라 행동해야 한다. 예를 살펴봄으로써 이 개념을 구체화해보자.

Yudkowsky가 제안한 방법은 seed-AI에 "일관적으로 추론된 자유의지 Coherent extrapolated volition(CEV)"라는 것을 최종 목적으로 설정하자는 것이다.
"우리의 CEV는 만약 우리가 어 안다면, 생각을 더 빨리 한다면, 더 많다면, 함께 더 오래 성장했다면; 추론이 분산되기 보다는 융합되는 곳에서, 우리의 바람이 방해받지 않고 일관되는 곳에서; 우리가 그렇게 여겨지길 바라는 대로 여겨지고 해석되길 바라는 방식으로 해석되는, 우리의 바람이다."
Yudkowsky는 이것이 CEV에 대한 청사진이라기 보다는 CEV가 정의될 수 있는 대략적인 내용이라고 봤다. CEV 방식에는 누구의 바람을 기준으로 하느냐는 문제가 있다. '모든 인류'라고 한다면 영아를 포함시켜야 하는가? 뇌사 상태의 사람은? 우선은 현재 살고 있는 성인 CEV를 기준으로 AI를 만들 수 있을 것이다 그 이후에는 그렇게 만들어진 AI가 CEV 대상을 결정할 수도 있다.

다른 방법은 AI에 도덕적으로 옳은 일을 하도록 시키는 Moral rightness(MR)이 있다. 인간은 도덕적으로 옳은 것이 정확히 뭔지 몰라도 슈퍼인텔리전스는 알 수 있을 것이다. 이 방법의 문제는 우리가 만약 더 현명했다면 선택했을 법한 결과는 얻지 못할 수도 있다는 것이다. 도덕적으로 옳은 일을 하도록 하는 AI를 만드는 것이 도덕적인지도 확신할 수 없다.

또한, AI가 우리의 바람을 잘 이해하고 의미하는대로 행동하게 하는 방법이 있다. 하지만 말하지 않은 우리의 의도를 AI가 어떻게 알 수 있을까? 우리가 그와 관련한 행동을 기술함으로써 도울 수 있을 것이다. 예를 들어, 만약 우리가 더 생각할 시간이 있었더라면 했을 법한 결정 등과 같은 것을 나열해서 말이다. 이것은 결국 CEV 제안과 같은 간접적 규범을 주는 방식이 된다. 이러한 간접적 규범 방식에서 우리는 AI가 우리대신 그 규범을 더 잘 이해하려 노력해주길 기대한다. AI의 지적 우월성을 충분히 활용하는 법을 찾는 데 있어 CEV를 인식 존중 원칙의 적용으로 볼 수 있다.

지금까지 목표시스템에 어떤 내용을 넣을지 논의했다. 그러나 AI의 행동은 결정이론, 인식론 그리고 행위 전에 인간의 승인을 받게 할지에 대한 디자인에 따라 크게 좌우될 것이다. 이 모든 것을 처음부터 완벽히 만들기는 불가능하다. 우리는 AI가 스스로 자신이 실패하고 있는지 알아차릴 수 있는 디자인을 만드는 데 집중해야 한다. 불완전한 슈퍼인텔리전스라도 그것의 근본이 안정적이면, 점진적으로 자신을 고쳐가며 최대한 이롭게 행동할 것이다.



14. 전략적 그림 The strategic picture

이제 슈퍼인텔리던스를 더 큰 관점에서 논의해보자. 기술 정책은 위험하고 해악적인, 특히 존재적 위험을 초래할 수 있는 기술의 발전은 늦추고 자연이나 다른 기술에 의해 일어날 수 있는 존재적 위험을 줄일 수 있는 이로운 기술은 발전을 가속시키는 방향으로 수립되어야 한다.

정책의 평가 기준을 두 가지로 나눌 수 있다. 개인적 관점(person-affecting perspective)과 비개인적 관점(impersonal perspective). 전자는 현재 살고 있는 생명체와 앞으로 살게 될 생명체가 겪게 될 기술의 영향을 구분해서 평가한다. 여기서는 기술이 가져올 장기적 결과에 상관없이 현재에 자신이 누릴 수 있는 기술의 영향을 중요시한다. 따라서 기술 발전의 가속화를 지지하게 된다. 후자는 그 모두를 동등하게 여기므로 장기적 관점에서 기술의 영향을 평가한다. 여기서는 후자의 관점에서 살펴보겠다.

슈퍼인텔리전스는 존재적 위험을 감소시키는 동시에 증가시킬 수도 있는 기술이다. 나노 기술, 생명 공항 등이 가져 올 위험은 크기 때문에 슈퍼인텔리전스를 먼저 발명하면 이들의 위험을 사전에 해결할 수도 있을 것이다 그러나 슈퍼인텔리전스의 위험은 그들보다 훨씬 클 수 있기 때문에 이에 대한 대비를 충분히 할 수 있는 시간을 갖는 것이 중요하다. 따라서 슈퍼인텔리전스의 개발은 늦을 수록 더 안전하다.

유전자 기술 등을 통한 인간 인지 향상은 위험과 이익을 동시에 갖고 있다. 이러한 인식 향상을 통해 슈퍼인텔리전스의 컨트롤 문제를 더 잘 준비할 수도 있겠지만 이것이 슈퍼인텔리전스 등장을 가속화시키기도 할 것이다. 우리는 높은 지능을 갖고, 짧은 준비 기간을 가지는 게 나을까? 아니면 낮은 지능으로 더 긴 준비기간을 가지는 게 나을까? 이는 우리가 직면한 문제의 본질이 무엇이냐에 달렸다. 만약 컨트롤 문제가 경험을 통해 배우는 것이 핵심이라면 시간이 많은 것이 더 좋겠지만, 컨트롤 문제는 최상의 구현을 위한 지적, 기술적 수준 등이 중요해 보이므로 인지 향상을 발전시키는 것이 옳아 보인다.

컴퓨터 하드웨어의 빠른 발전은 좋은 것인가? 하드웨어가 발전하면 슈퍼인텔리전스의 등장도 빠르게 될 것이다. 따라서 우리가 컨트롤 문제를 준비할 시간도 줄어들기 때문에 이는 좋지 않다. 한편 이것은 독립체가 구성되는 데는 도움을 줄 것인데, 만약 협력 문제를 해결하는 데 이 독립체가 충분히 중요하다면 하드웨어 빠른 발전은 이점이 될 수도 있다.

뇌 에뮬레이션 개발은 촉진되어야 하는가? AI의 컨트롤 문제가 어려워보이는 만큼 뇌 에뮬레이션을 통해 슈퍼인텔리전스를 만드는 것이 더 좋게 보인다. 그러나 여기에는 몇 가지 문제가 있다. 인간에 기반한 뇌 에뮬레이션의 행동은 비교적 예상하기 쉽다는 장점이 있다. 그러나 그것의 동기가 인간적일지는 확신할 수 없다. 완전하게 인간적인 가치를 설정했더라도 전례없는 새로운 상황에 직면하게되면 인간적 동기가 어떤 행동을 유발할지 알 수 없다. AI가 먼저 개발되면 여기서 바로 지능 폭발로 이어지겠지만, 뇌 에뮬레이션이 먼저 개발되면 AI을 거친 후 지능 폭발의 결과를 나을 수 있다는 것을 의미한다.  후자의 경우 컨트롤 문제를 풀 때 뇌 에뮬레이션에서 축적된 지식을 활용할 수 있으므로 이점이 있어 보인다.

협력은 지능 개발에 많은 이점을 가져온다. 경쟁에 있어 자신이 상대방에 추월당할 수 있다는 점 때문에 경주 역학(race dynamic)이 나타난다. 기계 지능 개발도 이런 현상이 일어날 것이다. 이것은 컨트롤 문제를 해결하는 것보다 슈퍼인텔리전스를 먼저 개발하려는 경향을 만들 수 있다. 협력은 안전에 대한 투자를 늘릴 수 있고, 폭력적인 대립을 막을 수 있으며, 컨트롤 문제 해결에 힘을 모을 수 있게 한다.

협력은 큰 규모일 수록 좋다. 이것은 AI 프로젝트에 많은 사람이 참여해야한다는 것이 아니다. 많은 사람이 이에 의견을 낼 수 있어야 한다는 것을 의미한다. 협력은 이를수록 좋지만 슈퍼인텔리전스의 실체가 불분명한 상황에서 공식적인 협력체를 만들기는 쉽지 않다. 따라서 현재로서 이상적인 협력체는 공식적인 협약을 요하지 않으면서 기계 지능을 촉진하지 않는 형태가 좋다. 슈퍼인텔리전스가 공공의 이익이 돼야 한다는 것이 하나의 안이 될 수 있다.

"공적 이익 원칙 The common good principle: 슈퍼인텔리전스는 모든 인류에 이익이 될 때만 개발되어야 하고, 널리 받아들여지는 윤리 사상에 기반해야 한다."



15. 중대 시점 Crunch time

우리는 불확실성 속에 둘러싸여 있다. 여러가지 문제를 고찰 했지만 그 사이의 내부적 관계나 세부사항은 아직 불명확하다. 아직 생각하지 못한 문제도 있을 것이다. 이 상황에서 우리는 무엇을 해야 할까?

'발견'이라는 것을 정보의 도착 시간을 더 빨리 하는 것이라고 생각해보자. 그 발견의 가치는 정보 그 자체의 가치와 같은 것이 아니라, 얼마나 빨리 그것을 가져왔느냐에 있다. 해법을 아주 조금 빨리 발견하는 것으로 큰 가치를 가져오는 경우가 있다. 그것이 실질적으로 즉시 사용되거나, 다른 긴급하고 중요한 이론적 작업에 토대로 바로 사용 될 경우이다.

순수한 수학적 발견과 진실의 본질과 같은 철학적 성찰은 중요하다. 하지만 지능폭발의 전망은 지혜에 대한 아주 오래된 탐색에 새로운 빛을 비춘다. 우리는 영원의 질문들에 대한 답을 잠시 미루고 그 질문은 더 유능한 우리의 다음 세대에 넘기자. 우리의 다음 세대가 실제로 존재하도록 하는 가능성을 높이기 위한 더 긴급한 이 도전에 집중하자.

기계 지능의 위험을 줄이기 위해 두 가지 긴급한 목표를 제안한다. 첫째는 전략 분석. 불확실성이 높은 문제이므로 중대한 고려 사항이 무엇인지 파악하는 것이 중요하다. 둘째는 능력 개발. 전략 분석과 마찬가지로 광범위하게 적용될 수 있는 중요한 활동으로서 잘 구성된 지원 토대를 만드는 것이다. 이는 연구와 분석이 필요한 곳에 즉각적으로 자원을 제공하는 역할을 한다.

이에 더해서 기계 지능의 안정성에 관한 기술 개발, AI 연구자에 기계 지능 안전에 대한 활동을 장려하는 등의 활동도 중요하다. 그리고 우리의 생물적 인식 능력을 향상시키고, 집단 지혜를 높이며, 세계 정치를 화합하는 것도 도움이 될 것이다.

일상의 하찮음이라는 안개 속에서 희미하게나마 우리 시대의 본질적인 과제를 볼 수 있다. 이 책은 실존적 위기를 줄이고, 인류의 우주적 재능을 자비와 환희를 위해 사용되도록 문명을 이끄는 것이 우리의 도덕적 우선 과제라는 것을 밝히고자 하였다.