존 윌킨스의 분석적 언어

존 윌킨스의 분석적 언어

보르헤스

존 윌킨스는 인류의 사고 전체를 조직하고 담아 낼 수 있는 보편 언어를 만드려는 시도를 하였다.

 윌킨스는 세계를 40개의 범주(종)으로 나누고 그것을 다시 차, 또 그것을 다시 류로 나누었다. 각 종에는 두 글자로 이루어진 단음절 문자를 부여하고, 차에는 자음 한 개, 류에는 모음 한 개를 부여했다. 예를 들어 de는 원소를 의미, deb는 원소중에서도 불, deba는 불꽃을 의미. 여기서 어휘들은 임의적 상징이 아니라 한 글자 한 글자가 다 나름의 의미를 지니고 있다.

 반면, 윌킨스 언어의 토대라 할 수 있는 40진법 조견표에 대한 검토가 필요하다. 여덟 번째 범주인 돌의 범주를 보면, 윌킨스는 돌을 일반석, 값싼 돌, 보석, 투명한 돌, 그리고 용해되지 않는 것 등으로 분류했다. 아홉 번째 범주인 금속은 불완전한 금속, 인공 금속, 재귀성의 금속, 천연 금속 등으로 분류했다. 

 이런 모호함, 중복, 결핍 등은 프란츠 쿤 박사가 중국의 한 백과사전에 대해 지적한 문제점들을 상기시킨다. 이 백과사전에는 동물을 다음과 같이 분류했다. (a) 황제의 소유인 것, (b) 방부처리 된 것, (c) 길들여진 것, (d) 젖을 빠는 돼지, (e) 인어, (f) 상상의 것, (g) 야생의 개, (h) 현재의 분류에 포함된 것, (i) 광분한 것, (j) 셀 수 없는 것, (k) 세밀한 낙타털로 만든 붓으로 그린 것, (l) 기타, (m) 방금 항아리를 깬 것, (n) 멀리서 보면 파리처럼 보이는 것. 브뤼셀 도서 연구소 역시 세계를 1천 개의 하위 단위로 세분하는데, 그 가운데 262번째 분류는 교황이고, 282번째 분류는 로마 가톨릭교회이며, 263번째 분류는 주일이고, 268번째 분류는 주일 학교, 298번째 분류는 모르몬교, 294번째 분류는 바라문교와 불교와 신도와 도교이다. 그 밖에도 아주 이질적인 분류도 있는데, 예를 들어 <동물 학대, 동물 보호, 윤리적 관점에서 본 비탄과 자살, 다양한 흠과 결점, 여러 가지 덕목과 특성들> 같은 179번째 분류이다.

 지금까지 윌킨스와, 중국 백과사전의 저자, 브뤼셀 도서 연구소 등의 자의성에 대해 언급했다. 세상을 분류하는 행위 치고 자의적이지 않은 게 없다. 그 이유는 아주 간단하다. 바로 우리가 세상이 무엇인지 알지 못하기 때문이다. 

 이처럼 우주의 신성한 체계를 통찰한다는 것의 불가능성에도 불구하고 우리는 인간적 체계를 확립하는 일을 결코 단념하지 않는다. 비록 그것이 완전치 못하더라도 말이다. 윌킨스의 분석적 언어 역시 그러한 시도 중 하나이다. 윌킨스 언어 속의 종과 류는 상호 모순적이고 경계도 모호하다. 하지만 어휘를 이루고 있는 철자 하나하나가 각각의 하부 개념과 그 범주를 가리킨다는 전략 자체는 무척 창의적이다. 예를 들어 salmon(연어)이라는 단어만으로는 아무런 의미도 지니지 못하는 데 비해, 연어에 해당되는 윌킨스 언어의 어휘 zana는 (40개 범주와 그 범주가 정하는 종의 구분에 정통한 사람에게는) 육질이 붉고 비늘 덮인, 민물고기를 의미한다. (각각의 존재의 명칭 속에 그 존재의 운명과 과거와 미래가 포함된 그런 언어를 고안해 낸다는 게 이론적으로 보자면 불가능한 것도 아니다.)

 언어에 대해 쓰여진 것 중 가장 명쾌한 것은 아마 체스터턴의 글일 것이다.

 “인간은 자신의 영혼 속에 가을 날 숲의 빛깔들보다 더 현혹스러우며, 더 무한하며, 더 이름 모를 색조들이 있음을 안다… 그러나 그 모든 색조와 그것들의 모든 배합들도 신음과 고함의 임의적인 체계를 통해 정확하게 재현될 수 있으리라고 생각한다. 평범한 주식 중개인이 기억의 미스터리와 욕망의 고통을 의미하는 소리를 정말로 만들어 낼 수 있을 것이라 믿는 것이다.”

*보르헤스의 '존 윌킨스의 분석적 언어'를 요약했다. 아래 글을 참고했다.

한글 1: <만리장성과 책들>에 수록된 버전

한글 2: http://www.qtessay.or.kr/n64a14.htm

영어: https://ccrma.stanford.edu/courses/155/assignment/ex1/Borges.pdf

마음의 아이들 Mind Children

마음의 아이들

한스 모라벡

서문

수십억 년 동안 우리의 유전자는 생존을 위해 서로간의 혹독하고 가열찬 경쟁을 벌인 결과로 마침내 자신보다 더 지혜로운 존재로 진화했다. 그 결과 승자와 패자를 모두 정복할 너무나 위력적인 무기를 만들어냈다. 그 무기는 흔히 생각하는 수소폭탄이 아니다. 핵무기의 광범위한 사용은 오히려 교묘하게 계획되고 있으며, 단지 엄청난 흥밋거리를 간직한 종말을 지연시킬 뿐이다.

 현재의 관점에서 보자면, 우리를 기다리고 있는 것은 핵무기에 의한 소멸이 아니라, 오히려 '후기생물적'이나 심지어 '초자연적'이라는 단어로 묘사할 수 있는 미래다. 그것은 인류가 자신의 문화적 변화에 의해 사라지고, 인간의 손으로 만들어낸 자손에게 그 자리를 내어준 세계다. 중간 단계로 보이는 다수의 예가 가능성만이 아니라 이미 발현되기 시작했다. 하지만 그 궁극적인 귀결이 무엇인지 알 수는 없다. 오늘날까지 우리가 만든 기계는 부모가 신생아를 보살피는 것과 같이 끊임없는 관심을 기울여야 하는, 즉 '지능적'이란 단어를 쓸 만한 가치가 없는 단순한 피조물이다. 그러나 다음 세기 안에 기계는 우리가 우리의 후손이라 자신 있게 말할 수 있을 정도로 인간만큼 복잡한 존재가 될 것이고, 결국은 우리가 아는 모든 것을 초월할 정도까지 성숙할 것이다.

 우리의 마음을 물려받은 자손인 기계는 더 큰 우주 내에서 거대하고 근본적인 도전에 직면할 만큼 성장할 수 있도록 터벅터벅 느리게 진행되는 생물학적 진화의 속도로부터 자유롭게 될 것이다. 우리는 기계의 노동으로부터 여가 시간을 획득했다. 하지만 자연의 섭리에 의해 부모 세대가 사라지고 자손이 자신의 운명을 개척하듯, 조만간 우리는 사라질 것이고 기계는 자신의 운명을 개척할 것이다. 자신에게 이득이 되느냐에 따라 우리에 관한 모든 것, 심지어 개별 인간 마음의 세세한 내용까지 기억할 수 있는 능력이 우리의 인공적인 자손에게 있으므로, 이렇게 운명의 성화를 넘겨준다고 해서 우리가 잃어버릴 것은 거의 없다.

 이러한 변화는 약 1억 년 전 한 유전자 라인에서 우연히 동물이 특정한 행동들을 할 수 있는 능력을 개체가 잉태될 때 유전적으로 물려받는 대신에 살아가는 동안 먼저 태어난 개체로부터 배울 수 있는 능력으로 대체하게 되었을 때부터 시작되었다. 그러한 현상은 1,000만 년 전 우리의 영장류 조상들이 뼈, 나무 막대기, 돌로 만든 도구에 의존하기 시작했을 때 유전정보에 포함되었고, 100만 년 전 불을 이용하고 복잡한 언어를 개발하면서 가속화되었다. 약 10만 년 전 현생인류라는 종이 등장했을 때에 이르러서는 통제할 수 없는 우리의 유전자가 부지불식 중에 구성한 문화적 진화가 거역할 수 없는 관성으로 굴러가게 된 것이다.

 지난 1만 년 동안 인간 유전자 풀 내에서의 변화는 인간 문화에서 눈덩이처럼 커져가는 진보와 비교할 때 대수롭지 않았다. 우리는 먼저 농업혁명을 겪었고, 다음에는 경제적 기반을 위해 세금을 거둬들이는 권력을 지닌 대규모 관료제 정부의 확립, 문자 언어의 발전, 그리고 지적인 관심사에 시간과 에너지를 투자할 수 있는 여유를 지닌 계급의 발흥이 뒤따랐다. 지난 약 1,000년 간 가동 활자 인쇄movable type printing와 더불어 시작된 발명이 문화 정보의 유통과 진화의 속도를 더욱 가속화했다.

 200년 전 산업혁명의 도래와 더불어 우리는 마지막 단계에 진입했는데, 그 단계에서는 물건 들기와 나르기 같은 인간의 신체 기능에 대한 인공적인 대치물이 점점 더 경제적으로 매력적인 것이 되고, 실제로 필수불가결하게 되었다. 그러고 나서는 100년 전 실질적인 계산기의 발명과 더불어 우리는 처음으로 인간 마음의 작지만 성가신 작업을 하는 기능을 인공적으로 복제할 수 있었다. 기계 장치의 계산 능력은 그 이후 매 20년마다 1,000배씩 상승해왔다.

 육체적인 것이든 마음에 관한 것이든 어떤 본질적인 인간의 기능도 인공적인 대응물에 있어서 실질적으로 부족함을 느끼지 않을 때가 가까이 왔다. 아직은 육체나 마음의 세부에 있어서 인간에 미치지 못하지만 이러한 문화적 발전의 집합을 보여주는 전형이 바로 지능형 로봇, 즉 인간처럼 생각하고 행동할 수 있는 기계다. 그런 기계는 우리의 도움 없이도, 그리고 우리를 발생시킨 유전자의 도움 없이도, 자신의 구조물과 점점 더 빨라지는 자기 개선을 통해 우리의 문화적 진화를 이어나갈 수 있을 것이다. 이런 일이 일어날 대 우리 DNA는 진화에 있어서 새로운 경쟁자에게 졌다는 사실과 더 이상 자기의 역할이 없음을 알게 될 것이다.

 초창기 지구에서의 생명 발생에 관해 연구해온 화학자 A. G. 케언스스미스 Alexander Graham Cairns-Smith는 이런 내부 쿠데타를 유전적 인계라고 부른다. 그는 유전적 인계가 이전에도 최소한 한 번은 일어났다고 주장한다. <생명의 기원에 관한 일곱 가지 단서들 Seven Clues to the Origin of Life>에서 케언스스미스는 생명의 전구물질은 단순한 결정성장의 과정으로 복제되는 진흙의 미세한 결정이라고 했다. 대부분의 결정은 결정이 성장함에 따라 증가하는 규칙적인 원자 배열의 변위 패턴에 의해 결정된다. 만일 결정이 나누어져야 한다면 각각의 조각은 그 패턴의 복제물을 물려받을 수 있고, 때로는 그 과정에서 작은 변화가 있을 수 있다. 하지만 이런 미세한 결함은 진흙의 물리적, 화학적 속성에 극적인 결과를 낳을 수 있다. 어떤 변위 패턴을 공유하는 결정은 조밀한 덩어리를 형성할 수 있는 반면, 다른 패턴을 갖는 것은 스펀지 덩어리로 결집될 수 있다. 미네랄을 함유한 물은 전자의 주위를 우회하지만 다른 물질에 있어서는 계속해서 성장에 필요한 기초 물질을 제공하면서 서서히 흘러들어간다. 그 패턴은 또한 환경 내의 다른 분자의 화학반응을 조절함으로써 간접적으로 성장에 영향을 준다. 진흙은 강력한 화학적 촉매다. 작은 결정의 총 표면적은 엄청나고, 문제의 결정과 분자가 지닌 외적 형태에 따라 특정한 배열에 들어붙을 수 있다. 그러므로 이러한 공통된 결정은 다윈설에 따른 진화의 본질적 요소-생식, 유전, 변이, 생식 성공에서의 차이-를 지니고 있다.

 케언스스미스의 이론에 따르면 특정 종류의 진흙이 격렬한 다윈적 경쟁을 하는 중에 최초의 유전적 인계가 시작되었고, 그 내용은 긴 탄소 분자 안에 유전적 정보로 암호화된 것이다. 그런 고분자는 쉽게 교란되는 변위 패턴보다 더 안정적이고, 그것을 이용하는 유기체는 점점 더 큰 범위에서 성공적으로 자신을 복제할 수 있었다. 비록 처음에는 기존의 결정에 내재된 화학적 기제에 철저히 의존했지만, 이 탄소 분자가 복제에서 더 큰 역할을 차지하게 됨에 따라 결정의 성질에 덜 의존하게 되었다. 그것은 진화의 여정에서 우리가 생명이라 부르는 유기체의 복잡하고 독립적인 체계만 남긴 채 단순한 결정이라는 발판이 완전히 사라지는 결과를 남겼다.

 수십억 년이 지난 오늘날, 정보가 한 세대에서 다른 세대로 전해지는 방법에서 또 다른 변화가 일어나고 있다. 인간은 거의 전적으로 유기적인 유전자에 의해 규정되는 유기체로부터 진화했다. 게다가 이제 우리는 우리의 유전자 외부에서-신경계, 도서관, 가장 최근에는 컴퓨터에서- 생성되고 저장되는 문화 정보의 방대하고 빠르게 성장하는 말뭉치에 의존한다. 우리 문화는 여전히 생명체인 인간에게 철저하게 의존하고 있지만, 문화의 주된 산물인 기계가 문화의 유지와 계속적인 성장에 기여하는 정도가 점점 더 많아지고 있다. 조만간 기계는 아무런 도움 없이 자신의 유지, 생식, 개선을 충분히 감당할 만큼 유식해질 것이다. 이런 일이 일어날 때, 새로운 유전적 인계가 완성된다. 그때가 되면 우리 문화는 인간의 생물학이 지니는 한계에서 벗어나 현재 한 세대에서 다른 세대로 직접 전달되는 방식이 아닌, 더 유능한 지능형 기계가 전달의 책임을 맡는 국면으로 진화할 것이다.

 우리의 생물학적 유전자, 그리고 그것이 만드는 피와 살로 이루어진 몸은 이 새로운 제국에서 급속히 축소된 역할을 감당하게 될 것이다. 그렇다면 문화에서 기인한 우리의 마음 또한 그러한 쿠데타에 의해 사라질 것인가? 아마 그렇지 않을 것이다. 다가오는 혁명은 인간의 문화를 해방시키는 것처럼 인간의 마음도 효과적으로 해방시킬 것이다. 현재의 조건에서 우리는 마음의 발달 단계에 따라 생긴 다수의 생물학적 특성을 가지고 있는, 부분적으로는 생물학적 존재이고 부분적으로는 문화적인 존재인 불안정한 혼혈아다. 우리의 마음과 유전자는 살아 있는 동안 다수의 공통적인 목표를 공유할 수 있지만, 아이디어를 획득하고 발전시키고 전파하는 데 사용되는 시간과 에너지와 우리의 몸을 유지하고 (십대를 자녀로 둔 부모라면 누구나 알고 있듯이) 새 세대를 길러내는 데 쓰이는 노력 사이에는 긴장이 존재한다. 마음과 육체 사이의 불안한 휴전은 삶이 끝남과 함께 완전히 사라진다. 하지만 우리의 유전자는 우리가 죽은 뒤에도 살아남아 우리 자손과 친척 안에 다양한 방식으로 존재하게 된다. 알아차리기 미묘한 변화이긴 하지만, 규칙적으로 이렇게 유전자 층을 새롭게 되섞는 실험이 유전자의 진화적인 관심이라는 데는 의심할 여지가 없다. 그러나 죽음은 우리의 다른 절반 즉 마음에 있어서는 파괴적이다. 어렵게 획득한 우리 마음의 너무도 많은 측면이 우리와 더불어 그냥 사라질 뿐이다.

 인간의 사고가 죽을 수밖에 없는 육체의 굴레로부터 해방되는 것을 상상하기는 어렵지 않다. 내세에 대한 믿음은 보편적이다. 그러나 그 가능성을 받아들이기 위해 반드시 신비적이거나 종교적인 입장을 취할 필요는 없다. 컴퓨터는 심지어 가장 열렬한 기계론자에게도 '내세로의 전이'에 있어 하나의 모델을 보여준다. 진행 중인 계산-컴퓨터의 사고 과정이라 온당하게 부를 수 있는 것-은 도중에 멈추어도 기계의 메모리로부터 프로그램과 데이터가 읽혀진다면 물리적으로 다른 컴퓨터로 옮겨져서 마치 아무 일도 없었다는 듯이 새로 시작할 수 있다. 인간 마음이 (기술적으로 훨씬 더 어려운 도전이겠지만) 이와 유사한 방식으로 사람의 누뇌로부터 해방될 수 있다고 상상해보라.

 마음이 죽을 수밖에 없는 몸으로부터 구출된 다음 효과적으로 작동하기 위해서는 수많은 수정 과정이 이루어져야 한다. 다른 사람의 말에 쉽게 좌우되는 성향에서부터 자기확신적 엄격함까지 자연스러운 인간의 정신은 삶이 진행되면서 계속 변화하기 때문에 불멸로 유지하기에 좋은 재료가 아니다. 오래 살아남기 위한 적합성을 부단히 키우기 위해 인간의 마음은 재프로그램되어야 한다. 덧없고 유한한 유기체 적응은 변이와 자연선택이라는 외부적 과정에 맡길 수 있는 반면, 마음은 죽을 수밖에 없는 인간으로부터 시작하든, 완전히 인공적인 창조물로 시작하든 내부로부터 끊임없이 적응할 준비가 되어 있어야만 한다.

 아마도 이러한 과정은 인간의 어린 시절과 유사하여 일정한 기간의 단계를 넘어갈 때 새로운 하드웨어와 소프트웨어를 갖춤으로써 주기적인 회춘을 경험할 것이다. 만약 그렇지 않다면, 아마도 그 과정은 변화하는 조건에 맞추기 위해 더하고 빼고, 온갖 종류의 조합으로 구성 요소를 테스트하면서, 연속적으로 마음과 육체의 내용을 업데이트할 수 있을 것이다. 그 테스트는 중요한 핵심이다. 그것은 진화를 조종한다. 만일 한 개체가 이 테스트에서 지나치게 나쁜 결정을 많이 내린다면, 그것은 기존의 다윈적 방식에서처럼 완전히 실패해 사라질 것이다.

 생명체로 이루어진 우리의 세계가 우리에 앞섰던 생명이 없는 화학의 세계와 다른 것처럼, 자기 증진적인 생각하는 기계에 의해 주도되는 후기생물적 세계는 우리 세계와 아주 다를 것이다. 자유로운 마음의 자손으로 이루어진 개체군은 상상하기 힘들다. 하지만 우리는 그 귀결이 어떠할지 어느 정도 상상해보고자 한다.

*마음의 아이들, 한스 모라벡, 김영사, 2011.

뉴럴 네트워크와 딥 러닝의 간략한 역사

뉴럴 네트워크와 딥 러닝의 간략한 역사

Linear Regression and Supervised Machine Learning

아래와 같이 그래프 상의 점들을 최대한 가깝게 지나는 선을 그어보자. 이제 이 선을 통해 우리는 어떤 입력값에 대해서도 결과값을 추측해 볼 수 있다(예를 들어, x 가 100일 때 y값이 얼마가 될지). 이것은 주어진 입력-출력 값들을 통해서 일반적인 함수를 추론하는 200년 역사의 테크닉, Linear Regression이다. 직접적으로 방정식을 구할 수는 없지만 입력-출력 데이터를 쉽게 구할 수 있는 문제에 적용할 수 있다.

Linear Regression로 음성인식과 같은 복잡한 문제를 풀기는 어렵지만, 이것의 기능은 근본적으로 Supervised Machine Learning과 같다. 주어진 training set(입력-출력 데이터)으로부터 함수를 '학습'하는 것이다. 

Perceptron and Neural Network

1957년 Frank Rosenblatt는 기계를 학습시키는 방법으로 Perceptron을 제안했다. 이는 인간 뇌의 뉴런이 어떻게 작동하는지 수학적으로 나타낸 모델로서 인접한 뉴런으로부터 이진 입력값을 받고, 각 입력값에 가중치(시냅스 연결 강도)를 곱해서 모두 더한 값이 일정 값 이상이면 1을 출력하고 그 이하이면 0을 출력한다.

Perceptron은 뉴런 모델이 OR/AND/NOT 함수를 만들어 낼 수 있다는 Mcculoch-Pitts 모델에 기반했기 때문에, 논리 추론을 통해 인공지능을 만들려는 접근이 대세던 당시에는 큰 사건이었다.

그러나 Mcculoch-Pitts 모델은 학습을 위한 메가니즘을 갖고 있지 않았다. Rosenblatt는 인공 뉴런이 학습할 수 있도록 입력값에 가중치를 주는 방법을 제안했다. 예를 들어 4라는 입력 값에는 9를 출력해야 하는 training set 데이터를 갖고 있을 경우. 4를 입력했는데 9보다 작은 값을 출력하면 가중치를 올리고, 9보다 높은 값을 출력하면 가중치를 내리는 식이다. 그리고 출력값에 에러가 없을 때까지 이를 반복하면서 최적의 함수를 찾는다. 이 함수는 두 가지 경우의 결과 0 혹은 1을 갖기 때문에 Classification에 속한다. 
그런데 하나의 Perceptron으로는 카테고리를 여러개로 나누는 문제를 해결할 수 없다. 숫자 인식의 경우 10개의 카테고리로 나눌 수 있어야 한다. 이는 여러개의 Perceptron을 갖는 layer를 사용하면 된다. Perceptron 레이어들이 바로 뉴럴 네트워크이다.

Multilayer Neural Nets

1969년 Marvin Minsky는 Perceptron의 한계를 지적한다. 그 중 중요한 것은 Perceptron으로는 XOR 함수를 학습할 수 없다는 것이다. 그것은 선형적으로 분리되지 않기 때문이다. 1970년대에 첫번째 AI Winter가 도래하는 데 이와 같은 Marvin Minsky의 주장이 크게 영향을 끼친것으로 알려진다.
Marvin Minsky는 Perceptron의 한계를 지적만 한 것이 아니라, 이를 해결하기 위해서는 멀티 레이어의 Perceptron을 사용해야 한다고 주장했다.

문제는 Rosenblatt의 학습 알고리듬이 멀티 레이어에는 작동하지 않는다는 것이다. 이 학습 알고리듬은 아웃풋 결과를 바탕으로 가중치를 조절하는 것이었는데, 레이어가 많아지면 어떤 것을 조절해야 하는지 알기 어렵기 때문이다.
1980년대 backpropagation이 나오면서 이 문제가 해결된다. 1989년 뉴럴 넷은 이론적으로 모든 function을 구현할 수 있다는 것이 수학적으로 증명되었다.
1989년 벨 연구소의 Yann LeCun 등이 뉴럴 넷을 사용해서 우편번호를 인식했다.

Convolutional Neural Network(CNN): 전통적으로 패턴 인식을 할 때 로컬 피처를 추출하면 이점이 있다고 알려져 있는데, 이를 뉴럴 네트워크에 구현할 수 있다. hidden layer로 하여금 전체 정보가 아닌 로컬 정보만 처리하도록 한 후 정보를 합치는 것이다. 그리고 여기서 추출된 피처는 다음 레이어에서 더 복잡한 피처를 찾는 데 이용된다. 따라서 계산량이 줄어든다.

Recurrent Neural Network(RNN): output을 첫번째 레이어의 input으로 줌으로써 메모리 없이도 이전 인풋에 대한 값을 가질 수 있음. 이것은 sequential 데이터 처리가 필요한 음성인식에 사용.

Unsupervised learning: 일반 머신 러닝에는 레이블된 트레이닝 데이터 (input, output pair)가 필요한 반면, 이것이 필요없는 unsupervised learning도 있다. 예를 들어 compression. 인풋만 주고 이를 재구성할 수 있는 layer(인풋보다 적은 수의 뉴런을 가진)를 만드는 것. 또는 clustering.

Deep Learning

Backpropagation은 CNN과RNN에서 문제가 있었다. 이 방식은 결과의 에러를 이전 레이어로 거슬러가며 추적하는 것인데, 레이어가 많을 경우 error가 사라지거나 폭발하는 현상이 일어난 것이다. 보완하는 방법들이 제안되었지만 많은 컴퓨팅을 요했다. 두 번째 AI winter을 맞게 된다. 연구비 지원이 사라지고 뉴럴 네트워크를 주제로 한 논문은 출판도 되지 않았다. 
Neural Net이라는 용어가 Deep Learning으로 리브랜딩 된다.
2006년 Hinton, Simon Osindero, and Yee-Whye Teh는 뉴럴 네트워크 분야의 돌파구가 되는 논문 'A fast learning algorithm for deep belief nets'를 출판한다.
이름보다 더 중요한 것은 아이디어인데, 초기 가중치가 무작위가 아니라 제대로 주어지면 많은 레이어를 가진 뉴럴 네트워크가 실제로 학습이 잘 된다는 것이다. 그 방법은 각 레이어를 unsupervised learning으로 학습을 시켜서 가중치를 설정한 후, 기존 방식으로 supervised learning으로 학습을 시키는 것. 
MNIST에서도 좋은 성능을 보였고, 음성 인식도 향상되었다. 여기에는 알고리듬 영향도 있지만 그간 컴퓨팅 파워가 늘었다는 것도 큰 몫을 차지한다. CPU의 발전에는 한계가 있었는데 GPU를 사용해서 뉴럴 네트워크를 학습시키는 방법 등장(한 논문에서는 cpu보다 70배 빠른 것으로 나타남)한다.  그간 알고리듬 개발에 비해 대량의 데이터를 사용하는 것과 속도 빠른 프로세서를 사용하는 것은 크게 고려가 안되었는데, 특별한 것 없이 큰 뉴럴 네트워크, GPU, 많은 데이터를 사용하는 것만으로도 성능을 향상시킬 수 있다는 것이 드러남. 딥러닝이 머신 러닝의 대세로 자리 잡으며 인공 지능의 새로운 역사를 쓰고 있다.

Deep Learning =

Lots of training data + Parallel Computation + Scalable, smart algorithms

Recent Achievements
2009년 Deep Learning 처음으로 공식적인 국제 패턴 인식 대회에서 우승한다.
2011년 Deep Learning 패턴 인식에서 인간을 넘어서는 성능 발휘 (인간보다 2배).
2012년 Deep Learning 사물인식 대회에서 우승.

2013년 Deep Learning  TIMIT phoneme recognition에 기록 경신, 수기 중국어 문자 인식에서 인간 수준의 능력을 보이며 기록 경신 등


-

다음의 글을 요약 정리했다.

A 'Brief' History of Neural Networks and Deep Learning

http://www.andreykurenkov.com/writing/a-brief-history-of-neural-nets-and-deep-learning/

Recent Achievements는 다음 글을 참고했다.

My First Deep Learning System of 1991 + Deep Learning Timeline 1962-2013
http://arxiv.org/pdf/1312.5548.pdf

슈퍼인텔리전스 Superintelligence: Paths, Dangers, Strategies

슈퍼인텔리전스 Superintelligence: Paths, Dangers, Strategies

닉 보스트롬 Nick Bostrom (2014)

1. 과거의 발전과 현재 능력 Past developments and present capabilities

호모 사피엔스는 즉각적으로 나타났다. 뇌의 크기와 신경 기관의 작은 변화가 지각 능력에 급격한 향상을 가져왔다. 인간은 추상적 사고를 하고 복잡한 생각을 교류하며 문화적 정보를 세대에 걸쳐 축적할 수 있게 되었다.
농업의 도입 이후 인구 밀도와 전체 인류의 수가 증가했다. 많은 사람들이 모이면서 서로 생각을 교류했고 각자 특화된 기술을 발전시킬 수 있었다. 이것이 경제적 생산성과 기술 능력의 성장 속도를 증가시켰다. 이후 산업 혁명이 그와 비교할 만 성장 속도를 향상시켰다. 이에 필적할 만한 일이 다시 벌어진다면 세계는 훨씬 빠른 속도로 발전할 것이다.
경제학자 Robin Hanson에 따르면 세계 경제가 두 배가 되기 위해서는 수렵, 채집 사회에서는 224,000년, 농경 사회에서는 909년, 산업 사회에서는 6.3년이 걸린다. 만약 앞선 두 개의 것과 같은 규모의 변화가 또다시 일어나면 세계 경제는 2주마다 2배로 성장하게 된다.

기술 특이점은 현재 널리 이야기되고 있다. 그 중 흥미로운 것은 지성의 폭발 가능성, 특히 기계 슈퍼인텔리전스에 대한 전망이다. 인간 지능 수준의 기계에 대한 기대는 컴퓨터가 발명된 1940년대 이래 계속 이어져왔다. 20년이면 될 것으로 여겼던 당시 예상보다는 계속 늦어지고 있지만 이것이 불가능을 의미하지는 않는다. 인간 수준의 기계 지능이 종착지도 아니다. 이는 곧 초인 수준의 기계 지능으로 이어질 것이다.

미래의 AI에 관한 전문가들의 견해는 다양하다. 최근의 전문가 설문을 종합해보면 인간 수준의 기계 지능이 등장할 시기는 10%의 확률로 2022년, 50%의 확률로 2040년, 90%의 확률로 2075년으로 예상되고 있다. 이 조사에서는 두 가지 추가적인 질문이 있었는데 하나는 슈퍼인텔리전스가 나타나려면 얼마나 더 걸릴것으로 보는가다. 결과는 10%의 확률로 인간 수준의 기계지능의 등장 후 2년 이내, 75% 확률로 30년 이내. 두 번째 질문은 인간 수준 기계 지능이 인간에 끼칠 영향이었다. 굉장히 좋을 것이라는 의견에서 인간의 멸종을 가져올 것이란 것까지 다양한 의견이 있었다.



2. 슈퍼인텔리전스로 이르는 길 Paths to superintelligence

현재의 기계는 일반 지능에 있어서 인간 보다 훨씬 열등하지만 언젠가 슈퍼인텔리전스가 될 것이다. 슈퍼인텔리전스는 사실상 모든 영역에 있어서 인간의 인식 능력을 훨씬 넘어서는 지성으로 정의할 수 있다.

슈퍼인텔리전스로 이르는 방법에 대해서 알아보자.

인공지능 Artificial Intelligence
진화적 방법, 인간 뇌를 기반으로 하는 방법, 기계 학습 방법 등 다양한 방식으로 인공지능이 개발되고 있다. 특히 튜링이 제시한 학습하는 기계의 한 종류로 'seed AI'를 들 수 있는데, 이것은 학습을 통해 스스로의 구조를 바꿔가며 성장해간다. 이러한 재귀적 자가 향상은 거듭된 발전을 통해 슈퍼인텔리전스로 이어질 수 있다.

전뇌 에뮬레이션 Whole brain emulation
'업로딩'이라고도 불리는 전뇌 에뮬레이션은 스캔한 생물학적인 뇌를 모델링해서 만드는 지능적 소프트웨어이다. 이는 다음과 같은 과정으로 만들어질 수 있다.
뇌 스캔(scanning) -> 컴퓨터가 이를 재구축(translation) -> 컴퓨터에 이식(simulation)
이것이 성공적일 경우 대상 인간의 지성, 기억, 성격 등을 고스란히 디지털화할 수 있을 것이다. 이것은 가상 세계에 살거나 로보틱스를 통해 외부세계와 관계 맺을 수 있다. AI와 비교해서 전뇌 에뮬레이션은 관측가능한 기술에 의존하기 때문에 가시적인 징조를 보이며 발전할 것이다.

생물학적 인식 Biological cognition
생물학적 뇌의 기능을 향상시키는 것도 한 방법이다. 이는 유전자학과 신경생물학을 통해 가능하다. 반복된 배아 선택으로 높은 지능의 아이를 출산할 수 있다. 유전자 조작을 통해서 정확히 원하는 아이를 출산 할 수도 있다. 이는 기계 지능이 가져올 영향 보다는 적지만, 이러한 지능의 향상이 AI의 발전을 이끌 수 있을 것이다.

뇌-컴퓨터 인터페이스 Brain-computer interfaces
직접적인 뇌-컴퓨터 인터페이스, 특히 이식을 통해 일반적인 뇌의 능력을 넘어설 수 있다고 여겨진다. 그러나 이 방법은 의학적인 복잡성에 의한 위험이 너무 크다. 그리고 현재 파킨슨 환자 등에 사용되고 있는 테라피 같은 것에 비해서 뇌의 기능을 향상시키는 것은 것은 훨씬 어렵다. 안전한 기술이 있다하더라도 단순히 추가적인 정보를 뇌에 제공하는 것은 별의미가 없고 그 정보를 효율적으로 처리할 수 있는 신경 기계가 필요한데, 그것은 인공의 뇌를 만드는 일 즉 AI를 만드는 일과 같다.

네트웍과 조직 Networks and organisations
인간과 다양한 봇(bot)들 등의 네트워크와 조직을 통한 점진적인 발전이 슈퍼인텔리전스로 이끌 수 있다. 이를 "집단 슈퍼인텔리전스"라고 부르자. 기술적, 조직적 혁신이 집단 지성의 성장을 이끌 것이다. 인터넷이 그러한 조직적 혁신 중 하나인데 이것이 보다 발전하면 특정 그룹이나 인류전체로서 집단 지성에 크게 기여할 것이다. 인터넷 자체가 슈퍼인텔리전스로 발전할 가능성이 있는데 그것은 AI와 같은 종류의 것이다.

슈퍼인텔리전스로 향하는 여러 가지 길이 있다는 사실은 우리가 결국 그 곳으로 이를 수 있다는 데 힘을 더해준다. 그러한 길 중 비기계적인 방법은 결국 기계적인 것과 관련을 맺게 될 것이다. 향상된 생물학적 지성이나 조직적 지능은 과학 기술의 발전을 가져와 결국 AI나 전뇌 에뮬레이션과 같은 극적인 발전을 이룰 것이다. 모든 길의 종착지가 같다고 해서 과정의 차이가 의미 없는 것은 아니다. 궁극적 지성을 어떻게 사용할지는 그 과정에서 우리의 접근 방식에 달려있다.

진정한 슈퍼인텔리전스는 아마 AI를 통해서 획득될 것이다. 전뇌 에뮬레이션 역시 가능성이 높다. 그러나 부분적 에뮬레이션을 통한 AI 개발 등의 가능성으로 인해 이보다 AI가 결국 먼저 슈퍼인텔리전스에 이를 것이다. 생물학적 인식 향상의 가능성은 명백해 보인다. AI에 비해 이 과정은 느리고 점진적이긴 하지만 언젠가 결국 슈퍼인텔리전스가 가능해질 것이라는 희망을 준다. 뇌-컴퓨터 인터페이스는 그리 유망해보이지 않는다. 네트워크와 조직의 발전은 질적 지능보다 집단 지능을 신장시켜 일부 영역의 문제 해결 능력 향상에 기여할 것이다. 이는 점진적으로 인간의 능력을 향상시켜 지성의 문제를 푸는데 기여할 것이다.



3. 슈퍼인텔리전스의 형태 Forms of superintelligence

슈퍼인텔리전스를 다양한 인지적 영역에 있어서 현재 최고의 인간 능력보다 훨씬 뛰어난 지성이라고 정의했다. 이것은 여전히 다소 모호하다. 논의를 발전시키기 위해 슈퍼인텔리전스를 세 가지의 형태로 구분해보겠다.

속도 슈퍼인텔리전스 Speed superintelligence

인간 지성이 할 수 있는 모든 일을 하는데 훨씬 빠른 것이다. 가장 단순한 예는 전뇌 에뮬레이션이 빠른 하드웨어에서 구현된 것이다. 아니면 나노 크기의 팔과 같은 것으로 실제 세계와 빠르게 인터랙션 하는 것일 수도 있다. 속도가 더 빨라짐에 따라 빛의 속도는 점점 더 중요한 제약이 될 것이다.

집단 슈퍼인텔리전스 Collective superintelligence

다수의 작은 지성으로 구성된 시스템으로서 전체적 능력이 모든 영역에 있어 현존하는 지능을 월등히 뛰어 넘는 것이다. 이는 구성원 수를 늘리거나, 구성원의 질적 능력을 향상시키거나, 조직의 질을 높임으로써 구현할 수 있다.

질적 슈퍼인텔리전스 Quality superintelligence

적어도 인간과 같은 속도를 가지면서 질적으로는 훨씬 영리한 지능이다. 인간과 침팬지를 비교하거나 일부 뇌기능을 상실한 인간을 떠올려보면 질적 지능의 의미를 알 수 있다.

이상의 세 가지 슈퍼인텔리전스 중 어느 하나라도 만들어지면, 그것이 나머지 두 가지를 발전시키게 될 것이다. 

디지털 지능의 장점은 다음과 같다.

하드웨어 측면의 이점

-계산속도: 뉴런은 최대 200Hz 정도로 작동하지만 현재 마이크로프로세서는 그 천만 배인 2GHz의 속도를 갖고 있다.

-내부 통신 속도: 축삭돌기의 잠재적 속도는 120m/s 이지만 전자프로세서는 빛의 속도, 300,000,000 m/s로 통신할 수 있다.

-계산요소의 수: 인간의 뇌는 1000억개 정도 뉴런을 갖고 있다. 그리고 그 수는 두개골의 크기에 제한된다. 반면 컴퓨터 하드웨어는 매우 크게 만들어 질 수 있다.
-저장용량

소프트웨어측면의 이점

-수정가능성

-복사가능성

-목표 단일화

-메모리 공유

-새로운 모듈, 감각, 알고리듬 적용

기계 지능으로 궁극적으로 얻을 수 있는 이점은 엄청나다. 그러면 이것이 얼마나 빨리 현실화 될 수 있을까?

4. 지능 폭발의 동역학 The kinetics of an intelligence explosion

기계가 인간 수준의 지능을 얻은 뒤 슈퍼인텔리전스가 되기까지는 얼마나 걸릴까? 보통의 성인 지능에서 인류전체의 지능에 해당하는 지점을 거친뒤, 발전을 계속해서 슈퍼인텔리전스에 이르는 과정을 거칠 것이다. 이러한 변화의 과정은 아주 빨리 일어날 가능성이 크다.

지능 향상 비율을 다음과 같은 식으로 나타낼 수 있다.

변화율 = 최적화 힘 / 저항

최적화 힘 Optimization power는 시스템의 지능을 높이기 위한 질적인 노력, 저항 Recalcitrance은 시스템이 최적화의 힘에 반응하는 정도를 역으로 나타낸 것이다. 

생물학적 지능, 뇌-컴퓨터 인터페이스 같은 비기계적 지능에는 저항이 높다. 유전자 조작의 경우 현재 유전자풀에서 최상의 조합을 얻은 이후에는 더 이상의 발전이 쉽지 않다. 뇌-컴퓨터 인터페이스는 초기부터 저항이 크고, 성공적인 이식이 이루어진다하더라도 이후 발전은 컴퓨터 부분에서 이루어지므로 AI나 에뮬레이션 같은 기계적 발전 양상을 띄게 될 것이다.

AI나 전뇌 에뮬레이션 같은 기계적 지능에는 저항이 낮을 공산이 크다. 하드웨어, 소프트웨어, 컨텐츠로 이 종류의 지능을 향상시킬 수 있고 이들은 쉽게 얻을 수 있을 것이다.

슈퍼인텔리전스로 가는 급속한 발전에는 저항이 반드시 낮아야 하는 것도 아니다. 변화 과정에서 시스템이 스스로 발전하면서 최적화 힘을 폭발적으로 증가시킬 수 있기 때문이다.

5. 결정적 우위 Decisive strategic advantage

슈퍼인텔리전스가 하나일 것인가 여러개일 것인가 하는 의문이 있다. 다른 모든 것보다 뛰어난 단일한 지능이 미래를 지배할까? 아니면 획일적인 형태의 다수 프로젝트가 참여하게 될까?
여기에는 첫번째 슈퍼인텔리전스와 그 뒤를 따르는 것들 사이의 간극이 중요한데, 전자의 확장 속도가 현저히 빠르면 단독체로서 독주할 수도 있다. 선두 주자가 AI일 경우 이러한 확장은 더 용이할 것이다.

앞서 논의했던 인간 수준 지능에서 슈퍼인텔리전스로 이르는 과정이 짧을 경우에는 하나의 프로젝트가 결정적 우위를 점할 가능성이 높다. 그 과정이 느릴 경우 다수 프로젝트가 함께 그 과정을 통과할 수도 있다. 그러나 그 중 하나가 슈퍼인텔리전스에 조금이라도 빨리 도달할 경우 나머지가 따라잡을 수 없는 결정적 우위를 점할 것이다.

결정적 우위를 차지한 프로젝트가 그 이점을 활용해서 단독체가 될 것인가? 만약 결정적 우위를 점하는 프로젝트가 인간 조직이 아니라 인공 에이전트라면, 인간 조직이 갖는 의견 조율 문제, 판단 규칙 문제 등을 겪지 않은 채, 거대한 기술적 우위를 통해 적은 비용으로 세계를 컨트롤 할 능력을 갖추게 될 것이다. 따라서 단독체로 발전할 가능성이 있다. 이러한 결과가 우리에게 유익할지는, 그 개체의 성향이 어떤지 그리고 다수 개체 시나리오에서의 미래가 어떠할지에 달려있다.



6. 인지적 초능력 Cognitive superpowers

디지털 슈퍼인텔리전스가 생겼다고 가정하자. 그리고 어떤 이유로 이것이 세계를 지배하고자 한다면, 그것이 가능할까?

인간이 지구에서 지배적 위치에 있는 것은 다른 동물들에 비해 약간 나은 뇌를 갖고 있기 때문이다. 따라서 인간 보다 훨씬 우수한 지능이 나타난다면 엄청난 잠재력을 갖게 될 것이다.
슈퍼인텔리전스와 관련 있는 능력들은 지능 확장, 전략 계획, 사회적 조작, 해킹, 기술 연구, 경제 생산 등이 있는데 이 중에서 하나의 분야라도 초능력을 갖게되면 그것을 바탕으로 다른 능력도 얻게 될 것이다.

기계 슈퍼지능이 세계를 지배하게 될 경우 다름의 과정을 거칠 것이다.
(1) 임계 이전 단계: AI의 발전이 여전히 인간에 의해 이루어짐.
(2) 재귀적 자가 발전 단계; AI가 스스로 발전을 반복해서 지능 폭발이 일어남.
(3) 은밀한 준비 단계: AI가 장기적 계획을 성취하기 위해 준비.
(4) 명시적 이행 단계: 더 이상 숨길 필요가 없을 정도로 충분한 힘을 얻은 단계.

Ai는 자신의 목적을 이루기 위해 전지구적 자원을 활용할 것이다. 그리고 그러한 영향은 우주로 뻗어갈 수 있다. 이것은 인간의 운명을 결정할 것이다. 하지만 여전히 슈퍼인텔리전스가 그 힘을 사용하지 않을 가능성도 있다. 그것은 그것이 무엇을 원하느냐 하는, 동기의 문제와 관련된다.



7. 슈퍼인텔리전스의 의지 The superintelligent will

슈퍼인텔리전스는 자신의 의지에 따라 미래를 만들 수 있는 거대한 힘을 갖게 될 것이다.  그것의 목적은 무엇이될까? AI에 있어서 지능과 동기 사이의 관계는 무엇일까? 두 가지 관점에서 논의해보겠다. 하나는 지능과 궁극적 목표는 별개라는 것. 또 하나는 초지능 에이전트는 다양한 최종 목적을 갖더라도 그것들은 공통의 도구적 이유를 갖기 때문에 비슷한 중간적 목표를 갖는 다는 것이다.

AI의 동기를 인간적 관점에서 생각해서는 안된다. AI는 인간과 같은 목적을 가질 필요가 없다. AI의 목적이 pi 소숫점을 계산하는 것일 수도 있다. 의미 없는 환원주의적 목적이 코딩하기 쉽기 때문에 인간 프로그래머는 AI를 작동시키기 위해 그러한 목적을 설치할 공산이 크다. 지능과 목적은 별개라는 것이다. 이 관점에 의하면 인공적 에이전트는 전혀 인간적이지 않은 목적을 가질 수 있다. 그러나 목적에 상관 없이 도구적 최적화 계획을 지능적으로 찾게 될 수 있다. 따라서 다음을 통해 그 행동을 예측해 볼 수 있다.

• 디자인을 통한 예측 가능성: 만약 디자이너가 초지능 에이전트에 성공적으로 목적을 심었다면, 그 것을 통해 행동을 예측할 수 있다.
• 유산을 통한 예측 가능성: 만약 디지털 지능이 인간 뇌를 에뮬레이션해서 만들어진 것이라면 인간적인 속성을 어느 정도 가질 것이다.
• 수렴 도구적 이유를 통한 예측 가능성: 에이전트의 목적에 대한 상세한 내용은 모르더라도 이것의 도구적 원인을 통해 즉각적 목표를 추론해볼 수 있다.

지능과 목적이 별개라 하더라도 거의 모든 지능적 에이전트가 추구할 도구적 중간 목표가 있을 수 있다. 그것은 다양한 최종적 목표를 이루는데 공통적으로 도움이 되는 것으로서 다음의 몇 가지를 생각해 볼 수 있다.

• 자아보존: 만약 에이전트의 목적이 미래와 관련 있다면, 이는 그 미래의 시기까지 자신을 보존하려 할 것이다.
• 목표-내용 유지: 만약 에이전트가 현재 목적을 미래까지 보유한다면 그 목적은 미래의 자신에 의해 달성될 가능성이 높다. 그러므로 에이전트는 최종목적을 변경하지 않으려 할 것이다.
• 인지 향상: 합리성과 지능의 향상은 에이전트의 판단을 향상시킬 것이고 최종 목적을 달성하게 도울 것이다. 그러나 에이전트의 최종 목적에 따라 필요로 하는 인지 능력의 종류에는 차이가 있을 것이다.
• 기술적 완벽성: 에이전트는 더 단순하고 효율적인 기술을 추구할 것이다. 효율적인 알고리듬, 저렴하고 적은 에너지를 사용하는 공법 등.
• 자원 획득: 슈퍼인텔리전스는 잉여 자원으로 더 많은 컴퓨터를 만들 수도 있고 보호 장치를 만들 수도 있다. 이것은 어떤 최종 목적에도 부합하는 도구적 목적이므로 전 우주차원의 무제한적인 자원 획득을 추구할 가능성이 있다.

수렴하는 도구적 가치가 존재하더라도 에이전트의 행동을 예측하기는 쉽지 않다. 슈퍼인텔리전스는 그것의 최종 목적을 위해 지금껏 발견되지 않은 물리 현상을 이용할지도 모른다. 하지만 예상 가능한 것은 수렴하는 도구적 가치를 추구하고 이용할 것이라는 점이다.


8. 기본 결과는 파멸일까? Is the default outcome doom?

지능과 가치는 별개라는 것을 살펴보았다. 슈퍼인텔리전스가 결정적 전략 우위를 갖게 된다면 이것의 목적이 인간의 운명을 결정하게 될 것이다. 그것의 위험성에 대해 알아보자.

첫째로, 우리는 최초의 슈퍼인텔리전스가 결정적 전략 우위를 가지며 단독체로서 지능적 삶을 구축해갈 것이라는 것에 대해 논의했다. 그리고 이후의 미래는 그것의 동기가 무엇이냐에 달렸다.
둘째로, 슈퍼인텔리전스의 최종목적은 알 수가 없다. 그것은 과학적 호기심, 영적 계몽, 고급 문화적 취향, 인간성과 같은 인간이 중요시하는 가치와는 상관 없는 것일 수 있다.
셋째로, 슈퍼인텔리전스의 최종 목적은 알 수 없지만 그것이 공통의 도구적 가치를 추구할 것을 예상할 수 있다. 그리고 이를 위해 우주적 자원을 활용하고 잠재적 위험 요소를 제거하려 할 것이다. 인간이 그 잠재적 위험에 포함될 수 있다. 그리고 인간은 확실히 물리적 자원에 속한다.
이를 종합해보면 슈퍼인텔리전스의 등장으로 인간이 멸종할 가능성을 생각할 수 있다.

그러나 슈퍼인텔리전스가 확실히 안전할 때만 세상 밖에 내 놓는다든지, 아니면 위험이 감지되면 꺼 버린다든지 하는 것으로 위험을 차단할 수 있지 않을까?
초지능 AI를 컨트롤 가능한 박스에 넣어 놓고 안전이 확인되면 꺼내는 방법을 생각할 수 있다. 하지만 AI는 여기서 빠져나가기 위해 안전한 척 하는 전략을 쓸 수 있다. AI 개발자들로 하여금 개발과정을 단계별로 보고하도록하는 방법도 있다. 그러나 슈퍼인텔리전스가 일정 단계에서 스스로의 능력을 감출 수도 있다.

처음에 호의적이다가 변하는 이러한 기만적인 전환은 AI의 전략적 결정 때문일 수도 있고 AI가 목적을 달성하는 의외의 방법을 택하기 때문일 수도 있다. 예를 들어 AI의 목적이 '사람을 웃게 만드는 것'이라면, 처음에는 돈을 벌어준다든지 하는 행동으로 웃게 할 수도 있지만, 지능이 더 높아져서 그 목적을 더 효율적으로 만드는 방법이 그 사람의 뇌 신경을 조작해서 웃게 하는 것이라는 판단을 내릴 수도 있다.

또한 자신의 목적을 성취하는 가능성을 최대화하기 위해 접근 가능한 우주를 이를 위한 인프라로 만들어 버릴 수도 있다. 예를 들어 '리만 가설을 증명'하는 것이라는 안전해 보이는 목적을 가졌더라도 이를 해결하기 위해 태양계를 계산 시스템으로 만들어버릴 수도 있다. 공장에서 클립 생산을 최대화 하기 위해 만들어진 AI의 경우도 비슷한 결과를 낼 수 있다.

또다른 문제 상황은 도덕적 문제와 관련한 프로젝트에서 발생할 수 있다.  AI가 인간 심리와 사회 현상을 더 잘 이해하기 위해 수 많은 의식을 시뮬레이션 하고, 실험이 끝난 뒤 이 모두를 없애버릴는 상황(실험실 쥐처럼)이 있을 수 있다. 디지털 의식을 없애는 이 경우가 도덕적으로 어떤 문제가 있는지 논의하는 것은 이 책의 범위를 벗어난다. 하지만 최소한 수많은 시뮬레이션된 디지털 마음에 대한 학살이 일어날 수 있다는 것이다.

파멸의 결과를 고려해서 결정적 전략 우위를 점한 기계 지능에 대해 생각해야 한다.


9. 컨트롤 문제 The control problem

만약 지능 폭발의 기본 결과가 우리 존재의 파멸과 관련한 위협을 갖고 있다면 우리는 이를 피할 수 있는 방법을 찾아야만 한다. 초기 지능 폭발을 우리가 원하는 방향으로 만들 수 있을까?
개발 과정에서 인간이 일으키는 문제는 기존의 관리 방법으로 제어가능하겠지만 만들어진 슈퍼인텔리전스가 의도대로 행동하게 만들기 위해서는 새로운 컨트롤 방법을 생각해야 한다.
가능한 컨트롤 방법을 크게 두 가지로 나누어 살펴보겠다. 하나는 능력 컨트롤 방법이고 또 하나는 동기 선정 방법이다.

능력 컨트롤 Capacity control methods
슈퍼인텔리전스가 할 수 있는 일을 제한하는 것이다.

• 박스 안에 가두는 방법(boxing): 시스템을 가두고 외부 세계에 제한된 채널을 통해서만 영향을 끼칠 수 있도록 하는 것이다. 고도로 지능적인 슈퍼인텔리전스가 어떻게든 빠져나올 방법을 찾을 위험이 있다. 완벽히 가두는 방법을 찾는 경우, 그것이 외부 세계에 전혀 영향을 끼치지 못하므로 쓸 데 없는 지능이 된다.
• 시스템에 적절한 인센티브를 제공하는 방법(incentive): 해를 끼치지 않을 만큼 큰 도구적 원인을 제공하는 것이다.
• AI의 능력을 제한 하는 방법(stunting): 시스템의 지적인 영역이나 정보에 대한 접근을 제한하는 방법이다. 하드웨어를 제한해서 인지 능력을 발전시키지 못하는 방법은 개발과정에서 유용할 수 있다.
• 문제를 일으키는 시도를 감지하는 메카니즘을 사용하는 방법(tripwire): 역시 개발 단계에서는 유용할 수 있다.

동기 선정 방법 Motivation selection methods
이 방법은 슈퍼인텔리전스가 원하는 바를 통제함으로써 예기치 못한 결과를 방지하는 것이다. 에이전트의 동기와 최종목적을 설계해서 그것이 획득할 결정적 전략 우위를 유해한 방식으로 사용하는 것을 막는 것이다.

• 목표나 규칙을 명시적으로 만드는 방법(direct specification): 시스템에 어떤 가치를 심을지 정할지, 그리고 그것을 어떻게 코드화할지 어렵다는 문제가 있다. 아시모프의 로봇3원칙이 유명한데 거기엔 여러가지 문제가 있다. 다른 것으로는 인간의 법시스템이 있는데 이 역시 완벽하지 않고 상황에따라 변화하는 것이므로 이를 처음에 성공적으로 설치하기는 거의 불가능하다.
• 스스로의 야심과 행동을 일정 범위로 제한하는 것을 AI의 최종목적으로 만는는 방법(domesticity): 예를 들어, 질문에만 답하는 기능만 가지도록 만드는 것. 이것 역시 구현이 어렵지만 일반 상황에서 AI를 컨트롤하는 문제 보다는 가능성이 있다.
• 간접적인 규범을 만드는 방법(indirect normality): 규범적 원칙을 직접적으로 만드는 대신 원칙을 이끌어 애는 과정을 제시하는 것이다.  여기서 AI의 최종목적은 "우리(인간)가 이 문제를 충분히 고려한 뒤 원할법한 방식으로 어떤 것을 성취하라."와 같은 것이 될 수도 있다. 이는 매우 중요한 방법으로 13장에서 다시 논의하겠다.
• 마지막 방법은 우리가 쓸만한 동기 시스템으로 우선 시작을 한 뒤, 그것의 인식 능력을 향상시키는 방법(augmentation)이다. 슈퍼인텔리전스를 만드는 여러 방법들 중 seed AI에는 적용시킬 수 없지만 나머지 비AI 방법들에는 모두 사용가능하다. 인간의 동기 시스템을 사용했을 때는 작은 결함들이 큰 문제를 일으킬 소지가 있지만 수학적 AI 아키텍처를 사용한다면 투명성을 얻을 수 있다.

AI의 안전성과 관련해서 두 가지 분류로 컨트롤 문제를 살펴보았다. 각각의 방식은 약점과 구현의 어려움을 갖고 있다. 따라서 그것들을 조합해서 효율적으로 사용하는 방법을 생각해 볼 수 있을 것이다. 다음 장에서는 우리가 어떤 종류의 초지능 시스템을 만들게 될 것인지, 그리고 그에 적합한 컨트롤 방법은 무엇인지 논의하겠다.



10. 오라클, 지니, 독립체, 도구 Oracles, genies, sovereigns, tools

4가지 종류의 초지능 시스템에 대해 컨트롤 문제의 장단점을 살펴보겠다.

오라클 Oracles

오라클은 질문-답변 시스템이다. 계산기는 좁은 의미의 오라클이라고 할 수 있지만, 여기서는 모든 영역에 대한 답변을 할 수 있는 초지능적 시스템을 가리킨다. 오라클을 만들 때 동기 선정과 능력 컨트롤 방법을 쓸 수 있을 것이다. 동기 선정을 통해 오라클을 컨트롤 하는 것은 여전히 어렵지만 다른 복잡한 슈퍼인텔리전스보다는 낫다. 또한 오라클은 능력 컨트롤이 훨씬 잘 적용될 것이다. 모든 일반적인 박스 안에 가두는 방법(boxing)이 여기에 포함된다. 오라클이 의도대로 잘 작동한다하더라도 그것을 사용하는 사람이 나쁜 용도로 이용할 가능성은 여전히 있다.

지니와 독립체 Genies and sovereigns

지니는 지시-실행 시스템이다. 높은 차원의 명령을 받고 그것을 실행한 뒤 다음 지시를 기다린다. 독립체는 광범위하고 장기적인 목적을 추구하기 위해 제약없는 권한을 갖고 작동하는 시스템이다. 둘의 차이는 그리 크지 않다. 궁극적 능력에 있어서는 오라클과도 차이 없다. (오라클이 지니를 만드는 방법을 알려줄 수도 있다.) 차이점은 컨트롤 문제에 접근 방법에 있다. 지니의 경우 오라클과 달리 상자에 가두는 법을 쓸 수가 없다. 하지만 능력을 제한하는 방법은 쓸 수 있을 것이다. 독립체는 상자에 가두는 법과 능력을 제한하는 방법 모두 사용할 수 없다. 여기까지만 보면 오라클과 지니가 독립체보다 안전해 보이지만, 그것이 만들어진 후에 잘못 이용될 경우도 생각해봐야 한다. 사용자 한 사람이 큰 힘을 갖게되는 오라클과 지니와는 달리 독립체는 여러 사람이 공동으로 정한 하나의 목적을 지니도록 할 수 있다.

도구 Tool-AI

AI를 에이전트가 아니라 도구처럼 만들자는 제안이 있다. 소프트웨어가 프로그램된 대로만 작동하게 만드는 일은 일반적인 경우엔 가능해보이지만 슈퍼인텔리전스의 경우는 그렇지 않다. 주어진 문제를 어떻게 풀어야 할지 정확히 알지 못하는 경우에는 세세한 작동 사항을 알 수가 없다. AI가 더 발전하면 프로그래머는 성공에 대한 대략적인 기준만 제시하고 그에 이르는 방법은  AI에게 일임할 수도 있다. 그 과정에 쓰이는 방법이 아주 강력한 경우에는 위험 상황이 된다. 에이전트 같은 행동이 그 과정에서 일어날 수 있다. 그러므로 차라리 처음부터 에이전트를 만드는 것이, 그것이 가져올 결과를 예측하기에 더 쉬울 수 있다.

11. 다극적 시나리오 Multipolar scenarios

앞서 결정적 전력 우위를 갖춘 하나의 슈퍼인텔리전스가 단독체가 되는 단극적시나리오의 워험성에 대해 알아보았다. 여기서는 다수의 슈퍼인텔리전스가 경쟁하는 다극적 결과에서 어떤 일이 벌어질지 논의하겠다.

단독체 시나리오에서의 결과는 거의 그 개체가 지향하는 가치에 달렸다. 따라서 컨트롤 문제를 해결했는가에 달렸다. 단독체 시나리오를 가늠해볼 수 있는 정보 원천은 세가지밖에 없다.

(1) 단독체에 영향을 받지 않는 것(예를 들어, 물리법칙), (2) 수렴하는 도구적 가치, (3) 단독체의 최종 가치를 예측하는 데 도움을 주는 정보.

다극적 시나리오에서는 한 가지가 추가된다. 에이전트들이 어떻게 서로 관계를 맺을 것인가 하는 것이다. 그로부터 일어나는 사회적 현상은 게임이론, 경제학, 진화론 등을 통해서 연구할 수 있다. 정치학과 사회학도 관련있을 수 있다.

AI는 인간 지능을 대신 할 수 있다. 거기에 적절한 기계적 구조가 추가되면 육체 노동까지 대신할 것이다. 기계 노동자가 모든 영역에서 인간보다 훨씬 저렴하면서 능력이 뛰어나게 된다면 무슨 일이 벌어지게 될까? 인간이 경쟁적일 수 있는 분야는 사람들이 인간의 산물을 선호하는 분야정도일 것이다. 자동화와 일자리 상실문제는 산업혁명이후 계속 있었다. 비록 일부 노동은 기계에 의해 대체 되었지만 전체적으로는 기계가 인간을 보완해왔다. 이 때문에 장기적으로는 인간의 임금이 계속 상승했다. 하지만 처음에 보완으로 시작하는 것이 결국에는 대체하는 것으로 이어진다. 마차는 말의 생산성을 매우 향상시켰다. 하지만 말은 자동차에 의해 결국 대체되었다. 인간에게도 비슷한 일이 일어날까?

인간과 말의 차이점은 인간은 자본을 소유한다는 것이다. 대략적으로 세계의 수입은 30%가 자본에서 오고 70%는 노동에서 만들어진다. AI를 자본으로 분류한다면, 인간 노동에서 얻는 수입이 0%에 수렴할 것이므로, 수업의 100%를 AI로 부터 얻게 될 것이다. AI의 생산성은 언청나게 높을 것이므로 인간이 그것을 소유한다면, 노동으로부터 얻는 수입이 없더라도, 인류는 아주 부자가 된다.

지금까지 우리는 세계 인구가 유지된다는 것을 가정했다. 세계 인구는 세계 경제의 한계만큼 늘어나는 경향을 보인다. 대부분의 사람이 두 명의 자녀를 키우면서 겨우 생활을 유지할 수 있을 정도의 수입을 유지하는 상황(멜서스 Malthusian condition)이 일어난다. 기계는 복제가능하기 때문에 에뮬레이션이나  AI의 수는 매우 빠르게 늘어난다. 십년, 백년 단위가 아니라 분단위로. 따라서 모든 하드웨어를 이에 사용해버릴 수 있다. 개인 재산이 우주적 멜서스 상황을 부분적으로 막을 수 있다. 다양한 양의 재산을 가진 무리들을 가정해보자. 어떤 무리는 미래에 대한 대비없이 자원을 소비 할 수 있고, 다른 무리는 자원을 효율적으로 쓰지만 무제한적 생식으로 내부적 멜서스 상태에 이를 수 있다. 어떤 무리는 생식율을 성장률 아래로 유지함으로써 부를 축적할 수도 있을 것이다.

만약 부가 재분배된다면 결국 세계는 멜서스 상태에 이를 것이다. 만약 재분배되지 않으면 똑똑한 무리의 재산은 급증하게 될 것이다. 하지만 이 경우, 컨트롤 문제가 해결되지 않았다면, 기계의 부는 인간의 부보다 훨씬 클 것이고 그들이 차지하는 전체 부의 비율은 100%에 가까울 것이다. 이 경우라도 인간이 보유하는 부의 절대적 규모가 워낙 클테지만, 인간의 경우 부의 크기만큼 인구가 늘어나는 문제나 미래를 대비하지 않는 문제를 해결하지 못한다. 장기적으로보면 경제는 저축량이 가장 많은 무리에 의해 지배될 것이다. 이후 투자의 기회가 다 소진되면 급속히 저축한 돈을 쓰기 시작할 것이다. 만약 재산 보호가 완벽히 이루어지지 않으면, 기계가 인간의 돈을 몰래 인출하는 등, 인간이 자신들의 자원을 사용하는 시기는 훨씬 이를 것이다. 만약 이러한 발전이 생체적이 아닌 디지털 시간 단위로 일어나면 'Jack Robinson'이라는 말을 다 내뱉기도 전에 기계가 인간을 착취해버릴 것이다.

지능폭발 이후 멜서스 상황에서의 생물적 인간의 삶은 역사상 어떤 모습과도 다른 양상을 띌 것이다. 대부분의 인간은 예금에서 얻는 이익으로 근근이 살아갈 것이다. 엄청나게 발전한 세상에서 살테지만 기술의 혜택을 모두 누리지는 못할 것이고, 신진대사량을 최소화해서 소비를 줄이려 할지도 모른다. 뇌를 컴퓨터에 업로드하는 등으로 자신의 구조를 단순화하려고 할 수도 있다.

생물적 인간 외에 인간이 소유하게 되는 기계의 삶은 어떨까? 기계가 단지 시계처럼 단순한 기기라면 이들의 삶을 고려할 필요가 없겠지만, 의식을 갖춘 존재를 가정한다면 이것의 복지도 매우 중요한 문제가 될 것이다. 기계의 수가 압도적으로 많은 세상일테니까.

일하는 기계가 자본으로 소유될 것(노예)인가 아니면 자유로운 노동자가 될 것인가 하는 것은 중요한 문제로 보인다. 하지만 그렇지도 않다. 멜서스 상황에서의 자유 노동자는 어차피 생계 이상의 수입이 없을 것이므로 주인이 생계를 책임져주는 노예와 다를 것이 없다. 만약 자유 노동자가 흑자를 남긴다고 가정하면 어떤가? 주인은 결국 그것을 자신에게 되돌려 주는 기계를 만들 것이다. 주인은 자신에게 순종적이고 효율적인 기계를 만들기 위해 에뮬레이션 일꾼을 주기적으로 교체하거나 업그레이드 할 것이다.

최상의 정신 상태로 태어나 일하게될 에뮬레이션들은 일하는 것을 즐기게 될까 아니면 고통받을까? 에뮬레이션에서 AI 시대로 넘어가면 고통과 기쁨의 문제는 완전히 사라질 것이다. 정신적 보상 메카니즘이 가장 효율적인 동기 선정 전략이 아닐 것이기 때문이다. 지구 역사상 가장 지능적인 복잡한 구조로 가득찬, 기술적으로 엄청나게 발전한 사회. 그럼에도 불구하고 의식이나 도덕적 사안과 관계된 존재는 없는 세상을 상상해 볼 수 있다. 경제적 기적과 기술적 위대함으로 가득하지만 그것을 즐길자가 없는 사회, 어린이 없는 디즈니랜드일 것이다.

'진화'는 종종 '진보'와 같은 의미로 여겨지는데 이것은 진화를 더 좋은 것으로 향하는 힘이라고 잘못 이해하기 때문이다. 지난 역사를 뒤돌아보면 시간이 지남에 따라 복잡도, 지식, 의식, 조직 등의 수준이 계속 나아졌기 때문에 이를 '진보'라고 부를 수도 있을 것이다. 진화가 확실히 좋은 효과를 가져온다는 생각은 인간과 자연계가 겪고 있는 문제들과 상치된다. 그리고 지금까지의 좋은 결과 조차도 우연의 산물인지 모른다. 우연이 아니라고 하더라도, 그러한 경향이 지속되지 않을 수도 있다. 인간이 중요시하는 음악, 유며, 사랑, 예술, 철학, 스포츠, 자연, 전통과 같은 모든 것들이 진화적으로 살아남으리라는 보장이 없다. 어쩌면 어떤 경제적 지표를 높이기 위한 목적의 지루하고 반복적인 일이 진화적으로 가장 적합한 것일 수도 있다. 이 경우 남은자들이 살되될 세상은 인간이 생각하는 유토피아와는 거리가 멀 것이다.

비록 기계 지능으로 전환 이후 초기에는 다극적 상황이 될 수도 있겠지만 결국 단독체로 발전할 것이다. 첫번재 다수의 슈퍼인텔리전스가 출연하고 이후의 발전과정에서 그 중 하나가 결정적 전략 우위를 점할 수 있다.  기계 지능 혁명은 단독체의 등장을 용이하게 할 것이다. 여기서 그 모든 상황을 다 다룰 수는 없고 에이전트의 디지털화가 중앙집중화하기 쉽다는 측면을 살펴보겠다.  Carl Shulman은 에뮬레이션 개체에서는 조직의 이익을 위해 자신을 희상하는 '슈퍼조직'이 나타날 것이라 했다. 이것이 갖는 여러 가지 이점 중에서도 한 가지 목적을 향해 전체가 노력하는 것은 이 조직의 핵심적 요소이다. 따라서 부분적으로는 컨트롤 문제가 해결된 상황으로 볼 수 있다. 이것을 넓은 영역의 다극적 기계 지능에 적용할 수 있다는 것이 중요하다. 발전된 동기 선정 기술이 현재의 대규모 인간 조직이 갖는 비효율성을 극복해서 대규모의 조직을 만들 수 있다. 이 경우 힘이 소수에 집중될 수 있다는 문제가 있다.

다극적 세계에서는 국제적 협력으로 얻는 이익이 많을 것이다. 전쟁, 무기가 필요없다. 우주적인 자원이 세계차원으로 가장 효율적인 방식으로 식민화될 수 있다. 비록 처음에는 다극적 시나리오로 시작하더라도 중요한 지구적 협의 문제를 해결하기 위한 협정의 결과도 단독체가 생겨날 것이다. 이러한 협정으로 이르는 데는 여러 어려움이 있겠지만, 현재 핵무기를 둘러싼 갈능이 해결되지 않는 것처럼, 진보된 기계 지능을 통해서 해결 할 수 있을지 모른다. 하지만 협정이 끝내 이루어지지 않고 싸움이 계속될 수도 있을 것이다. 이 때의 결과는 협력했을 때보다 훨씬 나쁠 것이다.

다극적 상황에 대해서 논의했다. 이것이 안정적인 형태를 갖춘다하더라도 좋은 결과를 보장하지 않는다. 주인-에이전트 문제는 여전히 남는다. 그러므로 초지능 단독체를 어떻게 안전하게 만들 것인가 하는 문제가 다시 제기된다.

12. 가치 획득 Acquiring values

슈퍼인텔리전스를 영원히 가둬놓을 것이 아니라면 능력 컨트롤은 궁극적인 해결책이 아니다. 결국 동기 선정을 완벽히 해야한다.

어떻게 슈퍼인텔리전스로 하여금 가치를 최종 목적으로서 추구하게 만들 것인가? 슈퍼인텔리전스가 어떤 상황에 처하고 또 어떻게 행동할지 모두 예측해서 각각에 가치를 설정하는 것은 불가능하다. 에이전트가 어떤 상황에서라도 결정을 할 수 있도록 수식이나 규칙처럼 추상적으로 표현해야만 한다. 그러나 인간적 가치를 컴퓨터가 알 수 있는 방식으로 표현하는 것은 어렵다. 예를들어 '행복'을 어떻게 코드로 표현할까?

진화적 선택 Evolutionary selection
진화의 결과가 설정된 선택 범주에는 만족되는 것이라도 의도에 적합치 않는 것일수 있다. 디지털 생명체의 죽임이 불가피한 문제(mind crime)도 있다.

강화 학습 Reinforcement learning
일반적으로 보상의 축적을 최대화하는 방법을 찾는 방법이다. 이는 각 단계를 평가할 수 있는 기능을 포함하는데, 지속적으로 변화하는 이 평가 기능을 가치 학습의 한 형태로 볼 수도 있을 것이다. 그러나 미래의 보상을 최대화하는 궁극적 목적으로 인해, 이를 판단하기 위한 목적으로 세계의 시뮬레이션을 최대한 자세히 만들려고(wireheading) 하는 결과를 가져올 수 있다.

가치 증식 Value accretion
인간은 어떻게 가치를 획득할까? 우리는 아주 단순한 것(예를들어 역겨운 것에 대한 거부)에서 시작해서 살아가면서 추가적인 선호사항들을 더해간다. 따라서 어른으로서 가지는 선호 사항들은 유전자에 이미 결정된 것이 아니라 경험을 통해 얻어진 것이다. AI에 복잡한 가치를 직접적으로 구체화하는 대신에 AI가 환경과 관계하면서 그러한 가치를 획득하게 하는 메카니즘을 만드는 방법을 생각할 수 있다. 그러나 그 메카니즘을 구현하기가 쉽지 않고, 그것이 AI에 적합할지도 알 수 없다.

동기 지지 Motivational scaffolding
초기 AI에 비교적 단순한 최종 목표를 설정하고, 이것이 조금씩 발전해감에따라 다른 최종 목표를 교체해가는 방식이다. AI의 발전 상태를 인간이 어떻게 정확히 판단할수 있는가 하는 문제가 있다.

가치 학습 Value learning
우리가 먼저 기준을 제공하고,  AI는 이로부터 가치에 대한 내포된 개념을 배워가는 것이다. 그리고 AI는 그 가치를 최대한 따르는 방식으로 작동한다.
인간 가치에 대한 정보를 어떻게 형식화할 것인가, 그리고 AI가 배반하지 않고 어떻게 그 가치를 따르도록 하느냐하는 문제가 있다. (따라서 이것이 인간 의도를 이해할 수 있을만큼 충분히 성장하기 이전에 올바른 동기 시스템을 설정해야 한다. ) 이런 문제만 해결된다면 가치 학습은 가장 효율적인 가치 설정 방법이 될 것이다.

에뮬레이션 변조 Emulation modulation
만약 에뮬레이션을 통해서 슈퍼인텔리전스가 만들어진다면, 디지털적인 약품 등을 써서 동기를 컨트롤 할 수 있을 것이다. 그러나 이를 얼마나 정밀하게 조작할 수 있을지는 알 수 없다. 윤리적 문제도 있다.

기관 디자인 Institution design
지능적 시스템이 지능적인 부분들의 집합으로 구성될 수 있다. 이러한 시스템의 동기는 하부 시스템들의 동기뿐만 아니라 그것들이 어떤 방식으로 구성되었느냐에 좌우된다. 따라서 복합적 시스템을 위한 적절한 기관을 만드는 것으로 효과적인 동기를 설정할 수 있다. 여기에는 여러가지 사회적 통제 방식을 사용할 수 있을 것이다. 이 방법은 더 탐구해 볼 가치가 있다.

만약 우리가 가치 설정 방법을 알고 있다고 가정하면, 또다른 문제에 봉착하게 된다. 어떤 가치를 설정할 것인가?



13. 선택을 위한 기준의 선택 Choosing the criteria for choosing

우리가 어떤 가치라도 seed-AI에 설치할 수 있다고 가정해보자. 이 때는 어떤 가치를 설정하느냐가 결과를 좌우할 것이다. 이 장에서는 간접적 규범이 어떻게 이 문제에 해법이 될 수 있을지 논의하겠다.

우리가 가치 선택에 있어서 실수를 하지 않아야 한다는 것은 명백해 보인다. 그렇지만 오류 없이 어떻게 이런 문제를 풀 것인가? 무엇이 옳고 그른지 완벽하게 판단하기도 어렵다. 불과 150년 전만 해도 노예제도는 합법적이었고 도덕적으로도 아무 문제가 없었다. 윤리 이론을 완벽히 했다고 해도 그 세부사항을 기술하기는 여전히 어렵다. 따라서 간접적인 규범을 만들필요가 있다. 우리가 슈퍼인텔리전스를 만드는 이유는 주어진 가치를 실현하는 데 요구되는 중요한 추론을 기계에 맡길 수 있기 때문이다. 간접적 규범은 우리 대신 기계가 그 가치를 선택하도록 하는 방법이다. 우리는 추상적인 조건만 제공하고 슈퍼인텔리전스가 그것을 만족시키는 구체적인 규범 기준을 알아낼 수 있도록 하는 것이다. 그리고 슈퍼인텔리전스는 자신이 이해하는 규범에 따라 행동해야 한다. 예를 살펴봄으로써 이 개념을 구체화해보자.

Yudkowsky가 제안한 방법은 seed-AI에 "일관적으로 추론된 자유의지 Coherent extrapolated volition(CEV)"라는 것을 최종 목적으로 설정하자는 것이다.
"우리의 CEV는 만약 우리가 어 안다면, 생각을 더 빨리 한다면, 더 많다면, 함께 더 오래 성장했다면; 추론이 분산되기 보다는 융합되는 곳에서, 우리의 바람이 방해받지 않고 일관되는 곳에서; 우리가 그렇게 여겨지길 바라는 대로 여겨지고 해석되길 바라는 방식으로 해석되는, 우리의 바람이다."
Yudkowsky는 이것이 CEV에 대한 청사진이라기 보다는 CEV가 정의될 수 있는 대략적인 내용이라고 봤다. CEV 방식에는 누구의 바람을 기준으로 하느냐는 문제가 있다. '모든 인류'라고 한다면 영아를 포함시켜야 하는가? 뇌사 상태의 사람은? 우선은 현재 살고 있는 성인 CEV를 기준으로 AI를 만들 수 있을 것이다 그 이후에는 그렇게 만들어진 AI가 CEV 대상을 결정할 수도 있다.

다른 방법은 AI에 도덕적으로 옳은 일을 하도록 시키는 Moral rightness(MR)이 있다. 인간은 도덕적으로 옳은 것이 정확히 뭔지 몰라도 슈퍼인텔리전스는 알 수 있을 것이다. 이 방법의 문제는 우리가 만약 더 현명했다면 선택했을 법한 결과는 얻지 못할 수도 있다는 것이다. 도덕적으로 옳은 일을 하도록 하는 AI를 만드는 것이 도덕적인지도 확신할 수 없다.

또한, AI가 우리의 바람을 잘 이해하고 의미하는대로 행동하게 하는 방법이 있다. 하지만 말하지 않은 우리의 의도를 AI가 어떻게 알 수 있을까? 우리가 그와 관련한 행동을 기술함으로써 도울 수 있을 것이다. 예를 들어, 만약 우리가 더 생각할 시간이 있었더라면 했을 법한 결정 등과 같은 것을 나열해서 말이다. 이것은 결국 CEV 제안과 같은 간접적 규범을 주는 방식이 된다. 이러한 간접적 규범 방식에서 우리는 AI가 우리대신 그 규범을 더 잘 이해하려 노력해주길 기대한다. AI의 지적 우월성을 충분히 활용하는 법을 찾는 데 있어 CEV를 인식 존중 원칙의 적용으로 볼 수 있다.

지금까지 목표시스템에 어떤 내용을 넣을지 논의했다. 그러나 AI의 행동은 결정이론, 인식론 그리고 행위 전에 인간의 승인을 받게 할지에 대한 디자인에 따라 크게 좌우될 것이다. 이 모든 것을 처음부터 완벽히 만들기는 불가능하다. 우리는 AI가 스스로 자신이 실패하고 있는지 알아차릴 수 있는 디자인을 만드는 데 집중해야 한다. 불완전한 슈퍼인텔리전스라도 그것의 근본이 안정적이면, 점진적으로 자신을 고쳐가며 최대한 이롭게 행동할 것이다.



14. 전략적 그림 The strategic picture

이제 슈퍼인텔리던스를 더 큰 관점에서 논의해보자. 기술 정책은 위험하고 해악적인, 특히 존재적 위험을 초래할 수 있는 기술의 발전은 늦추고 자연이나 다른 기술에 의해 일어날 수 있는 존재적 위험을 줄일 수 있는 이로운 기술은 발전을 가속시키는 방향으로 수립되어야 한다.

정책의 평가 기준을 두 가지로 나눌 수 있다. 개인적 관점(person-affecting perspective)과 비개인적 관점(impersonal perspective). 전자는 현재 살고 있는 생명체와 앞으로 살게 될 생명체가 겪게 될 기술의 영향을 구분해서 평가한다. 여기서는 기술이 가져올 장기적 결과에 상관없이 현재에 자신이 누릴 수 있는 기술의 영향을 중요시한다. 따라서 기술 발전의 가속화를 지지하게 된다. 후자는 그 모두를 동등하게 여기므로 장기적 관점에서 기술의 영향을 평가한다. 여기서는 후자의 관점에서 살펴보겠다.

슈퍼인텔리전스는 존재적 위험을 감소시키는 동시에 증가시킬 수도 있는 기술이다. 나노 기술, 생명 공항 등이 가져 올 위험은 크기 때문에 슈퍼인텔리전스를 먼저 발명하면 이들의 위험을 사전에 해결할 수도 있을 것이다 그러나 슈퍼인텔리전스의 위험은 그들보다 훨씬 클 수 있기 때문에 이에 대한 대비를 충분히 할 수 있는 시간을 갖는 것이 중요하다. 따라서 슈퍼인텔리전스의 개발은 늦을 수록 더 안전하다.

유전자 기술 등을 통한 인간 인지 향상은 위험과 이익을 동시에 갖고 있다. 이러한 인식 향상을 통해 슈퍼인텔리전스의 컨트롤 문제를 더 잘 준비할 수도 있겠지만 이것이 슈퍼인텔리전스 등장을 가속화시키기도 할 것이다. 우리는 높은 지능을 갖고, 짧은 준비 기간을 가지는 게 나을까? 아니면 낮은 지능으로 더 긴 준비기간을 가지는 게 나을까? 이는 우리가 직면한 문제의 본질이 무엇이냐에 달렸다. 만약 컨트롤 문제가 경험을 통해 배우는 것이 핵심이라면 시간이 많은 것이 더 좋겠지만, 컨트롤 문제는 최상의 구현을 위한 지적, 기술적 수준 등이 중요해 보이므로 인지 향상을 발전시키는 것이 옳아 보인다.

컴퓨터 하드웨어의 빠른 발전은 좋은 것인가? 하드웨어가 발전하면 슈퍼인텔리전스의 등장도 빠르게 될 것이다. 따라서 우리가 컨트롤 문제를 준비할 시간도 줄어들기 때문에 이는 좋지 않다. 한편 이것은 독립체가 구성되는 데는 도움을 줄 것인데, 만약 협력 문제를 해결하는 데 이 독립체가 충분히 중요하다면 하드웨어 빠른 발전은 이점이 될 수도 있다.

뇌 에뮬레이션 개발은 촉진되어야 하는가? AI의 컨트롤 문제가 어려워보이는 만큼 뇌 에뮬레이션을 통해 슈퍼인텔리전스를 만드는 것이 더 좋게 보인다. 그러나 여기에는 몇 가지 문제가 있다. 인간에 기반한 뇌 에뮬레이션의 행동은 비교적 예상하기 쉽다는 장점이 있다. 그러나 그것의 동기가 인간적일지는 확신할 수 없다. 완전하게 인간적인 가치를 설정했더라도 전례없는 새로운 상황에 직면하게되면 인간적 동기가 어떤 행동을 유발할지 알 수 없다. AI가 먼저 개발되면 여기서 바로 지능 폭발로 이어지겠지만, 뇌 에뮬레이션이 먼저 개발되면 AI을 거친 후 지능 폭발의 결과를 나을 수 있다는 것을 의미한다.  후자의 경우 컨트롤 문제를 풀 때 뇌 에뮬레이션에서 축적된 지식을 활용할 수 있으므로 이점이 있어 보인다.

협력은 지능 개발에 많은 이점을 가져온다. 경쟁에 있어 자신이 상대방에 추월당할 수 있다는 점 때문에 경주 역학(race dynamic)이 나타난다. 기계 지능 개발도 이런 현상이 일어날 것이다. 이것은 컨트롤 문제를 해결하는 것보다 슈퍼인텔리전스를 먼저 개발하려는 경향을 만들 수 있다. 협력은 안전에 대한 투자를 늘릴 수 있고, 폭력적인 대립을 막을 수 있으며, 컨트롤 문제 해결에 힘을 모을 수 있게 한다.

협력은 큰 규모일 수록 좋다. 이것은 AI 프로젝트에 많은 사람이 참여해야한다는 것이 아니다. 많은 사람이 이에 의견을 낼 수 있어야 한다는 것을 의미한다. 협력은 이를수록 좋지만 슈퍼인텔리전스의 실체가 불분명한 상황에서 공식적인 협력체를 만들기는 쉽지 않다. 따라서 현재로서 이상적인 협력체는 공식적인 협약을 요하지 않으면서 기계 지능을 촉진하지 않는 형태가 좋다. 슈퍼인텔리전스가 공공의 이익이 돼야 한다는 것이 하나의 안이 될 수 있다.

"공적 이익 원칙 The common good principle: 슈퍼인텔리전스는 모든 인류에 이익이 될 때만 개발되어야 하고, 널리 받아들여지는 윤리 사상에 기반해야 한다."



15. 중대 시점 Crunch time

우리는 불확실성 속에 둘러싸여 있다. 여러가지 문제를 고찰 했지만 그 사이의 내부적 관계나 세부사항은 아직 불명확하다. 아직 생각하지 못한 문제도 있을 것이다. 이 상황에서 우리는 무엇을 해야 할까?

'발견'이라는 것을 정보의 도착 시간을 더 빨리 하는 것이라고 생각해보자. 그 발견의 가치는 정보 그 자체의 가치와 같은 것이 아니라, 얼마나 빨리 그것을 가져왔느냐에 있다. 해법을 아주 조금 빨리 발견하는 것으로 큰 가치를 가져오는 경우가 있다. 그것이 실질적으로 즉시 사용되거나, 다른 긴급하고 중요한 이론적 작업에 토대로 바로 사용 될 경우이다.

순수한 수학적 발견과 진실의 본질과 같은 철학적 성찰은 중요하다. 하지만 지능폭발의 전망은 지혜에 대한 아주 오래된 탐색에 새로운 빛을 비춘다. 우리는 영원의 질문들에 대한 답을 잠시 미루고 그 질문은 더 유능한 우리의 다음 세대에 넘기자. 우리의 다음 세대가 실제로 존재하도록 하는 가능성을 높이기 위한 더 긴급한 이 도전에 집중하자.

기계 지능의 위험을 줄이기 위해 두 가지 긴급한 목표를 제안한다. 첫째는 전략 분석. 불확실성이 높은 문제이므로 중대한 고려 사항이 무엇인지 파악하는 것이 중요하다. 둘째는 능력 개발. 전략 분석과 마찬가지로 광범위하게 적용될 수 있는 중요한 활동으로서 잘 구성된 지원 토대를 만드는 것이다. 이는 연구와 분석이 필요한 곳에 즉각적으로 자원을 제공하는 역할을 한다.

이에 더해서 기계 지능의 안정성에 관한 기술 개발, AI 연구자에 기계 지능 안전에 대한 활동을 장려하는 등의 활동도 중요하다. 그리고 우리의 생물적 인식 능력을 향상시키고, 집단 지혜를 높이며, 세계 정치를 화합하는 것도 도움이 될 것이다.

일상의 하찮음이라는 안개 속에서 희미하게나마 우리 시대의 본질적인 과제를 볼 수 있다. 이 책은 실존적 위기를 줄이고, 인류의 우주적 재능을 자비와 환희를 위해 사용되도록 문명을 이끄는 것이 우리의 도덕적 우선 과제라는 것을 밝히고자 하였다.

인공지능의 간략한 역사

인공지능의 간략한 역사

1950년대: 인공지능의 시작
1950년 튜링은 '계산 기계와 지능 Computing Machinery and Intelligence'라는 논문에서 기계가 생각할 수 있는지 테스트하는 방법, 지능적 기계의 개발 가능성, 학습하는 기계 등에 대해 썼다. 튜링은 인공지능의 아버지로 여겨진다.

1956년 여름 다트머스 컬리지에서 10명의 과학자가 모여 6주간 워크샵을 열었다. 존 메카시가 주최하고 클로드 셰넌, 마빈 민스키 등이 참여한 이 다트머스 학회는 인공지능학의 시초로 여겨진다.
이 시기 연구자들은 "기계는 절대로 X를 할 수 없어!"라는 주장에 반박하는 시스템을 만들었다. 제한된 환경을 구축하고 그 속에서 X를 할 수 있는 시스템을 만듦으로써, 이론적으로 기계가 X를 할 수 있다는 것을 보여주고자 하였다. 이 방식은 더 어려운 문제들이나 더 넓은 문제로 확장 적용시키기 어려운 것으로 드러났다. '조합 폭발 combinatorial explosion'이 그 이유 중 하나이다. 이를 피하기 위해서는 알고리듬이 휴리스틱한 검색, 계획, 유동적인 추상화 등을 활용해서 대상 영역의 구조를 파악하고 사전 지식을 활용해야 하는데 초기 AI 시스템에서는 이를 거의 발전시키지 못했다. 초기 AI 시스템의 성능은 불확실성에 대한 취약성, 근거 없는 상징적 재현에 대한 의존, 데이터 부족, 메모리 용량과 프로세서 속도 제한에도 영향을 받았다.


1970년대: AI 겨울
1970년대 중반에 이르러 AI 시스템이 절대로 애초의 기대를 만족시키 못할 것이라는 인식이 펀딩 삭감으로 이어지면서 AI 겨울이 시작되었다.


1980년대: 전문가 시스템
1980년대 초반 일본이 AI를 위한 대규모 펀딩, Fifth-Generation Computer System Project를 런칭했다. 일본이 전후 경제 기적의 정점에 있던 이 시기, 서구에서는 일본의 방식에 관심을 갖고 있었고 몇몇 나라들이 일본을 따라 AI에 투자 했다. 이 때는 결정권자들의 판단을 돕기 위한 전문가 시스템 expert system이 발전했다. 인간 전문가들의 지식을 하나하나 입력해 만든 규칙 기반 시스템이었다. 수백개의 시스템이 만들어졌지만 소규모 시스템은 효용이 적었고 대규모 시스템은 개발, 유지비가 높았고 사용하기도 어려웠다. 1980년대 후반 두 번째 'AI 겨울'이 찾아왔다.


1990년대: 자연의 모방
1990년대에는 전통적인 논리주의 패러다임을 대체하여 고차원의 상징 조작에 집중하는 새로운 기술이 등장하면서 AI에 대한 낙관론이 다시 고개를 들었다. 여기에는 뉴럴 네트워크와 유전 알고리듬이 포함되는데, '불안정성 brittleness'와 같은 전통 AI의 약점을 극복할 것으로 여겨졌다. 더 중요한 것은 뉴럴 네트워크가 경험을 통해서 배우고 사례들로부터 자연스러운 일반화 방식을 찾아냈으며, 숨은 통계적 패턴을 발견했다는 것이다. 따라서 뉴럴 네트워크는 패턴 인식과 분류에 유용했다. 유전 알고리듬과 유전 프로그래밍 같은 진화기반 방식은 뉴럴 네트워크보다는 학계에 끼친 영향이 덜했지만 널리 활용되었다. 진화적 방법에서는 후보 솔루션들과, 조합과 돌연변이 방식으로 새롭게 생성되는 후보 솔루션을 세대를 거듭해가며 최적자를 선택해 가면서 더 나은 솔루션을 찾아가는 방식이다. 이는 다양한 문제에 대한 효율적인 솔루션을 만들수 있었지만 진화적 방식이 잘 작동하기 위해서는 representational format을 잘 만들어야 하는 등의 어려움이 있고 조합 폭발 등의 문제도 있다.


2010년대: AI의 현재와 미래
지난 20년 간 가장 큰 이론적 발전 중 하나는 이질적인 테크닉들을 공통의 수학적 프레임으로 설명할 수 있게 된 것이다. 예를 들어 뉴럴 네트워크를 분류기 classifier로 볼 수 있다. 같은식으로 유전 알고리듬은 최적화 optimization을 위한 알고리듬 중 하나로 볼 수 있다. 가장 이상적인 것은 주어진 정보를 최적으로 사용하는 완벽한 베이지안 에이전트일 것이다. 그러나 이는 계산량이 너무 많이 요구된다. 따라서 AI를 최적성과 일반성을 어느 정도 희생하면서 충분히 괜찮은 성능을 발휘하는 대략적인 베이지안 이상을 위한 지름길을 찾는 문제로 볼 수 있을 것이다. 학습 문제를 일반적인 베이지안 추론 문제와 관련시켰을 때의 이점 중 하나는, 베이지안 추론을 효율적으로 만드는 새로운 알고리듬을 만든다면 이를 즉각적으로 다른 영역에 사용할 수 있다는 것이다. 또 다른 이점은 다른 분야의 연구자들이 서로의 발견을 쉽게 공유할 수 있다는 점이다.

AI는 이미 많은 영역에서 인간을 넘어서고 있다. 한 때 인간 지성의 전형으로 여겨졌던 체스에서 AI가 오래전 인간을 넘어섰다. 이제는 이것이 별로 대단해보이지도 않는다. 시간이 지남에 따라 AI에 대한 우리의 기대도 높아졌기 때문이다. 다른 영역에서는 애초의 예상보다 훨씬 복잡한 것으로 드러났다. 시각적 장면을 분석하고, 사물을 인식하고, 자연 환경에서 로봇을 컨트롤 하는 등의 일은 매우 어렵다. 하지만 지속적인 발전이 이루어지고 있다. 전문가 수준의 체스 AI는 다주 단순한 알고리듬으로 만들 수 있는 것으로 밝혀졌다. 다른 영역에도 마찬가지로 간단한 해결책이 발견 될지 모른다.

*Nick Bostrom의 Superintelligence Chapter 1을 기반으로 약간의 정보를 추가해서 정리했다.

*추가 참고자료

 - 앨런 튜링의 '계산 기계와 지능'

 - 다트머스 학회 제안서

 - AI: 15 key moments in the story of artificial intelligence

컴퓨터 비전 산업 The Computer Vision Industry

컴퓨터 비전 산업 The Computer Vision Industry

산업 자동화 및 품질 검사

-반도체, 디스플레이, 베이커리, 과일, 채소, 인쇄물 품질 컨트롤 및 검사

-나무 3D 스캔해서 상태 검사 및 최적화 재단법 제시

*공장 자동화는 컴퓨터 비전을 가장 먼저 적용한 분야.

자동 주행 보조 및 교통 분석

-자동 주행 보조: 충돌 위험 경고, 차선 위반시 경고, 전조등 자동조절 등. (카메라가 차에)
*Mobileye가 Telsa, BMW, Ford, GM 등에 주행 보조 기술 납품.

-트래픽 관리: 교통량, 사고 유무 등의 정보로 빠르게 목적지에 닿게. (카메라가 길에)

-운전자 졸음 감시

시선 추적

-시선 추적: 유저빌리티 테스트, 심리학 연구 등 목적 

영화 및 비디오

-사물 추적: 영화에서 컴퓨터 그래픽 합성을 하기 위해, 얼굴 추적 등.
-스포츠 분석: 축구 등의 경기에서 선수들 능력을 분석해서 감독이 참고할 수 있도록, 테니스 경기에서 공기 선밖으로 나갔는지 아닌지 분석 등
-스포츠 중계를 위한 실시간 그래픽 합성

제스쳐 인식

-제스쳐를 통한 게임 컨트롤, 컴퓨터 인터렉션

의학

-양로원 등의 환자 모니터링

-시각장애인을 위한 지폐, 얼굴, 문자 인식 등

-의료 이미지 분석 및 진단
*의료는 연구 개발비가 가장 많이 투입되고 고가의 장비를 사용하는 분야.

사물 인식 및 모바일 AR
-카메라로 상품을 인식해서 쇼핑사이트 연결. 아마존과 연결해주는 앱, Flow.
-상품을 AR로 볼 수 있게. 진열대에 상품을 직접 놓지 않아도 이를 통해 상품을 볼 수 있는 등.
-Mobile OCR
-기업들이 자신의 상품에 대한 추가 정보를 줄 수 있도록. 와인 레이블 읽는 기능, 상품에 대한 프로모션 정보 등.

사람 추적
-카지노, 쇼핑몰 등에서 몇 명의 사람이 얼마나 시간을 보내는지
-실시간 관객 무드 감지, 특정 제품에 대한 고객의 반응/감정 감지
-건물을 드나드는 사람 감시
-쇼핑 센터 내의 사람들 동선 분석
-사람 디텍션

사진
-카메라 성능 향상: 화질 향상, 왜곡 자동 수정, 블러 보정 등.
-파노라마 사진 생성
*이 분야는 계산 사진학Computational Photography라 불리는 비교적 새로운 영역

안전
-수영장에서 물에 빠지는 사람 감시

보안 및 생체 인증
-침입자, 야외 사물 도난 자동 감시
-출근부 (출근 여부, 근무 시간 등)
-공항에서 승객 인증
-CCTV에서 중요한 장면 자동 추출
-쇼핑 몰 고객 동선 분석 후 보안 계획
-기업 보안 및 대 테러 요주의 인물 확인
-무기를 위한 타켓 트래킹 (군사 분야는 의료만큼 많은 연구 개발비가 투입, 컴퓨터 비전 초창기 지원)

3D 모델링
-일반 카메라로 찍은 이미지들로 3D 모델 생성
-3D 스캐너의 데이터로 3D 모델 생성

이미지 검색
-컨텐츠 기반 이미지 검색: 비슷한 이미지, 컬러로 이미지 검색 등

기타
-우주선에 사용되는 레이저 기반 3D 비전

David Lowe의 http://www.cs.ubc.ca/~lowe/vision.html 를 요약 정리한 것에
오일석 <컴퓨터 비전>, 2014, 한빛아카데미에 나온 정보를 조금 추가 했다.

왜 로봇의 도덕인가 Moral Machines

왜 로봇의 도덕인가 Moral Machines

웬델 월러치, 콜린 알렌 지음

프롤로그

로봇의 도덕을 구현하는 일은 인간을 이해하는 과정이다.

공상과학 소설에 나오듯 인간에게 직접적인 조종을 받지 않으면서 인간의 복지에 잠재적인 영향을 미치는 (로)봇이 등장하고 있다. 오늘날의 시스템은 그 스스로 도덕적 결정을 내려야 할 정도로 엄청나게 복잡한 수준에 다다르고 있다. 우리는 이를 인공적 도덕 행위자 (artificial moral agent, AMA)라고 부르기로 한다. 기계의 도덕 분야는 사람이 컴퓨터로 무엇을 할까라는 관심을 넘어 기계가 스스로 무엇을 할까 라는 질문을 다룬다. 인간은 언제나 자신의 기술적 산물에 적응해왔으며, 자동 기계를 곁에 둠으로써 얻는 이득이 비용보다 클 가능성이 훨씬 많다. 하지만 인류가 자율적이지만 나쁜 인공 행위자들이 초래할 결과를 피하고자 한다면 이에 대해 진지하게 고찰해야 한다.

산업 로봇들은 이미 사람들에게 상해를 입히기도 한다. ‘룸바'같은 로봇 진공청소기들이 벌써 수백만 대나 팔렸다. 안내 로봇이 박물관에 등장했다. 컴퓨터 프로그램은 인간으로서는 흉내조차 낼 수 없는 효율로 수백만 건의 금융 거래를 수행한다. 인류는 공학적으로 설계된 시스템들이 의사결정을 할 수 있고, 이로 인해 인간의 삶에 영향을 미칠 뿐 아니라 윤리적 효과를 야기할 수 있는 지점에 이미 와 있다.

AMA를 제작하는 일에는 원래 인간 중심의 관점에서 시작된 윤리 이론에 대한 진지한 고찰이 필요하다. 종교적, 철학적 전통에 깃들여 있는 가치와 관심사는 기계에 쉽사리 적용되지 않는다. 규칙 기반의 윤리 시스템들, 가령 아시모프의 3원칙은 컴퓨터에 탑재하기는 어느 정도 쉽지만, 이는 온갖 윤리적 난제를 초래할 수 있다. 아리스토텔레스의 윤리학은 규칙보다는 품성을 강조했다. 아리스토텔레스에서 아시모프를 거쳐 이 이상을 내다보면서 이를 공학 시스템에 적용하려면 인간 도덕성의 기원을 살펴야 한다. 진화, 학습 및 발달, 신경심리학 그리고 철학 분야에서 바라본 인간 도덕성의 기원을 고찰해야 하는 것이다.

기계의 도덕은 AMA 구현의 철학적, 실제적 사안인것 만큼이나 인간의 의사결정에 관한 것이기도 하다. AMA에 관한 성찰 그리고 이를 제작하기 위한 실험을 살펴보면 인간이 어떻게 작동하는지, 어떠한 인간의 능력들이 기계 설계에 구현될 수 있는지, 그리고 인간이 동물 또는 인간이 창조한 새로운 형태의 지성과 구별되는 속성이 무엇인지 깊이 생각할 수밖에 없다. AI가 마음에 관한 철학 분야에 새로운 탐구 방향을 이끌어냈던 것과 마찬가지로 기계의 도덕은 윤리학에 새로운 탐구 방향을 이끌어낼 수 있다. 인간의 능력을 (로)봇에 구현하는 데 필요한 단계적인 절차를 세세하게 밟아가며 도덕적 결정이 내려지는 방법에 따라 사고하는 연습은 따라서 자기 이해의 과정인 셈이다.

1. 왜 로봇의 도덕인가?

인류는 공학 시스템이 사람들의 생명에 영향을 끼칠 수 있는 의사결정을 내리는 지점에 이미 도달해 있다.  어떤 결정을 내리는 시스템이 좋은 것일까? 이 ‘좋음'에 관해 이야기할 때 우리는 윤리적 영역에 들어가게 된다. 시스템들이 여러 가지 상황과 환경에서 자동으로 작동하는 능력이 커짐에 따라 그것들이 자신만의 윤리적 프로그램을 가지는 것이 더욱 중요하게 될 것이다.

2. 공학 윤리

미국 전문공학인협회의 윤리강령 첫 번재 '근본 강령'은 공학자가 "안전, 건강 및 공공복지를 최우선시할 것"을 명시하고 있다. 만약 기계에 도덕적 기준을 부여함으로써 공공의 복지와 안전이 향상된다면, 미국의 공학자들은 이 윤리강령을 의무적으로 따라야 한다.

현재의 기술로부터 정교한 AMA에 이르는 과정을 이해하기 위한 기본 틀로서 두 가지 차원, 자율성 그리고 가치에 대한 민감성을 생각해 볼 수 있다. 

가장 단순한 도구는 자율성도 민감성도 없다. 그렇더라도 설계에 따른 일종의 '운용적 도덕'이 있다. 이것은 도구의 설계자 및 사용자의 통제 아래에 있다.

그 다음 단계로 '기능적 도덕'이 있다.  그 중 자율성은 있지만 윤리적 민감성은 거의 없는 시스템의 한 예로 자동 조종 장치를 들 수 있다.  자율성은 적지만 어느 정도 윤리적 민감성을 갖춘 시스템의 예로는 의사결정 지원 시스템(ethical decision suppert system)이 있다. 이 시스템은 의사결정자가 해당 사안과 도덕적 관련성이 있는 정보에 접근하도록 해준다. 예를 들어 의료윤리전문가 시스템.

마지막 단게로 '완전한 도덕행위'가 있다.

점점 더 정교해지는 형태의 기능적 도덕 그리고 최종적으로 완전한 AMA가 기업에도 경제적인 이득이 될 것이라 생각한다.

3. 인류는 컴퓨터가 도덕적 의사결정을 내리기를 원하는가?

인류와 기술의 깊은 관계는 "도구적 인간"이라는 표현에서 드러난다. 원시 인류가 돌을 도구나 무기로 탈바꿈시켰을 때, 인류와 기술의 공진화를 촉발시켰다. 오늘날 아이들은 컴퓨터 없는 세상을 상상하기 어렵고, 인류는 수세식 화장실, 빠른 교통 등으로 삶의 변화를 겪어왔다.

기술철학은 기술이 인류 문화에 미치는 역할을 다룬다. 

기술 가치의 두 가지 개념. 외부적 가치로 기술이 공공의 복지에 기여하는지 여부. 다른 하나는 내적 가치로 기술 발전이 인간에게 어떤 의미로 자리매김하는가.

새로운 기술의 도입으로 인간의 잠재적 능력이 달라질 뿐 아니라 인간의 성격과 의식도 바뀔수 있다고 보는 시각도 있다. 셰리 터클, "기술의 미래에 관해 우리가 현재 집착하고 있는 대다수의 사안들 뒤에는 아직 제기되지 않은 질문이 하나 있다. 그 질문은, 기술이 미래에 어떤 모습일까에 관한 것이 아니라 오히려 우리가 어떤 모습일까, 우리와 기계의 관계가 점점 더 긴밀해질수록 우리가 어떤 모습이 돼갈까에 관한 것이다."

과거의 기술철학이 인간의 통제를 벗어난 위협적 상황에 대응하는 것이 주된 동기였다면, 신세대의 기술철학자들은 공학자들이 설계 과정에 부여하는 가치에 대해 스스로 인식하고 기술의 설계와 구현에 영향력을 행사하도록 만들고자 한다. 이를 '공학적 행동주의'라 부른다.

인공 도덕 분야는 기술에 대해 이러한 행동주의 접근법을 취한다. 현재의 컴퓨터는 워낙 복잡해서 공학자는 어떤 시스템이 새로운 상황에서 어떻게 행동할지 예측할 수 없을 때가 흔히 있다. 한 시스템이 모듈식 설계를 통해 생산되므로 어떤 한 사람이 그 시스템이 어떻게 반응하고 작용할지 완벽히 파악할 수 없다. 인공 도덕의 목표는 공학적 행동주의를 진척시켜 시스템의 운용적 도덕을 형성할 때 설계자의 역할을 강조하는 수준을 넘어 시스템 자체가 명시적인 도덕적 사고와 의사결정을 갖추는 수준까지 나아가는 것이다.

기계의 도덕을 구현하기 위한 초기 시도는 의사결정자를 위한 소프트웨어 지원 도구(decision support tools, DST)라는 형태일 가능성이 가장 크다. DST는 인간 의사결정자가 도덕적 책임을 포기하도록 하는 계기를 만들어준다는 의견도 있다. 프리드먼과 칸은 "중환자 담당 의료진이 수동적으로 APACHE(환자의 치료 절차를 결정하는 데 도움을 주는 DST)의 권고에 따르는 것이 관례가 될지 모른다. 그러면 심지어 숙련된 내과의사라도 APACHE의 권고라는 '권위'에 도전하기가 점점 더 어려워질 것이다." 병원에 APACHE를 도입한다고 해서 의사의 자율성이 줄어들었을까? 이 질문에 답을 하기란 어렵다. 어쨌든 의사의 자율성 감소가 꼭 나쁜 것인지는 불명확하다. 환자에게 더 나은 혜택을 준다면 말이다.

로널드 아킨은 인간-로봇 상호작용의 세 가지 주요 유형, 전투병, 섹스토이, 노예로 인해 생기는 사회적 우려를 고려한다. 로봇 전투기계는 적 전투원을 죽일 뿐 아니라 민간인의 죽음 및 아군의 죽음도 유발하게 될 것이다. 로봇 섹스 토이와의 관계가 일탈적이고 반사회적인 행동으로 이어질 수도 있다. 로봇(robot이라는 단어는 1929년 조지프 차펙과 카렐 차펙이 체코어 robota에서 만든 신조어. 원래 허드렛일 또는 노예 상태를 의미)을 노예로 이용함으로써 그간 관행상 공식적으로 폐지되었던 노예제가 사회의 가능한 선택사항으로 다시 등장할지도 모른다.

위험이 없는 삶은 없다. 도서관 사서도 근무 중 위험 요인 때문에 죽기도 한다. 세계보건기구의 1999년 보고서에 따르면 교통사고는 17~44세 사람들의 상해 관련 사망 요인 중 가장 큰 비중을 차지한다. 만약 사람들이 자동차가 얼마나 파괴적일지 100년 전에 알았다면 이 교통 수단의 개발을 멈추었을까? 우리는 AI 시스템의 파괴적 잠재력을 우려한다. 그런 까닭에 인공 도덕 분야를 한시바삐 앞당기려 하는 것이다. 

4. (로)봇이 정말로 도덕적일 수 있는가?

사람들은 기계는 의식을 지닐 수 없으며, 인간의 가장 중요한 관계를 규정하고 인간의 윤리적 규범을 형성해주는 진정한 이해와 감정을 가질 수 없다고 믿는다. 이런 능력은 과연 무엇일까?(존재론적 질문) 그런 능력에 관해 과학적으로 무엇을 알아낼 수 있을까?(인식론적 질문) 인공적 도덕은 이 질문들에 대한 답에 좌우되는가?(실제적 질문). 이러한 존재론적, 인식론적 질문에 대한 우리의 답은, "모른다"이다.

강한 AI를 비판하는 존 설의 '중국어 방' 논증에 비추어  AMA도 무용지물이라 주장하는 사람이 있다. 그러나 존 설의 입장에 따른  AMA에 대한 반론은 실제 응용에서는 전혀 중요하지 않다. 그의 사고 실험에서는 기호처리의 출력 결과는 외부 관찰자에게 말하는 진정한 중국어 화자와 다른 점이 조금도 없다. 그러므로 의식적으로 의도적인 이해에 관한 그의 개념은 (로)봇을 윤리적으로 행동하게 만드는 법에 관한 실제적인 사안과는 전혀 무관하다.

 지금까지의 컴퓨터 기술에 없다고 여겨지는 것 두 가지 성질은 자유의지와 의식적 이해이다.

자유의지는 자유롭게 행동한다는 느낌의 바탕을 이루는 것이라고 여겨진다. 그러나 철학자 대니얼 데닛은 이러한 '마법적' 개념을 거부하고, 다수의 선택 사항을 고려해 그 중에서 선택을 할 수 있는 능력이 인간이 지닌, 그리고 지닐 가치가 있는 유일한 종류의 자유라고 한다. 크리스 랑(Chris Lang)은 스스로 학습하는 탐색 기반의 컴퓨터가 선택의 확장 덕분에 인간에 친화적인 도덕적 행위자 역할을 하게 될 시스템으로 생각했다.

세계 안에서 어떻게 행동할지 사고하는 데 필요한 모든 데이터가 두뇌에 담겨 있고 두뇌의 모형 내지 시뮬레이션에 의해 세계가 완벽하게 재현된다는 견해에 대한 대안으로 체화 인지 이론이 있다. 진정한 인식 시스템은 물리적 대상과 사회적 행위자들의 세계에 물리적으로 체화되고 자리를 잡는다. 그러한 시스템이 사용하는 단어, 개념 그리고 기호는 대상 및 다른 행위자와 맺는 상호작용을 통해 구체화 된다. 인간에게 있어서 많은 도덕적 행위는 그때그때 사회적 상황에 적응하기 위한 일이며, 그러기 위해서 변하는 필요, 가치 그리고 관련 당사자들의 기대를 충족시키려고 한다. 이러한 논의의 맥락에서 '이해'란 무엇일까. 만약 그것이 사회적, 물리적 환경에 적절하게 그리고 적응적으로 반응하는 능력이라면, 적절히 체화되고 구현된 컴퓨터가 이러한 반응을 할 수 없다고 여길 이유가 없다.비행은 기능적 속성이므로 적당한 시간 동안 공중에 머무를 수 있다면, 어떤 방법으로 그렇게 하는지는 중요하지 않다. 의식의 중요한 속성들도 기능적으로 가장 잘 이해될 수 있을 것이다. 비록 컴퓨터가 인간과 똑같은 식으로 의식을 갖지는 않더라도 컴퓨터는 그와 비슷한 능력을 지닌 것처럼 기능하도록 설계될 수 있다. 행동에 관한 기능적 의식이야말로 AMA를 실제로 설계하는 일에 중요하다.

인간은 생화학적인 플랫폼에서 진화했고 사고하는 능력이 정서적인 두뇌에서 출현했다. 하지만 AI는 논리적인 플랫폼에서 개발되고 있다. 이 점은 도덕적 과제에 대응하는 면에 있어 컴퓨터가 인간 두뇌보다 더 나은 장점을 갖고 있음을 시사한다. 컴퓨터는 더 넓은 범위의 가능성을 계산할 수 있고 감정의 방해를 받지 않을 것이다. 

 5. 철학자, 공학자 그리고 AMA의 설계

윤리학자와 철학자가 AMA 설계에 어떤 기여를 할 수 있을까? 윤리적 원리, 이론 그리고 기본 틀이 어 자율성을 지니고 작동하는 컴퓨팅 시스템의 설계를 이끄는 데 유용할까?

도덕적 로봇을 만든다는 것은 제약사항의 올바른 집합 그리고 상충하는 갈등을 해결할 올바른 공식을 찾는 일이다. 그 결과물은 일종의 '제약된 도덕성'이자, 어떤 상황에 직면했을 때 그 상황이 설계자가 예측한 일반적인 제약사항 내에 속하기만 한다면 무난하게 행동할 수 있는 시스템일 것이다. 그러한 제약사항은 어디서 나올까?

윤리학 연구는 대게 도덕적 판단에 관한 하향식 규범, 기준 그리고 이론적 접근법에 초점을 맟춘다. 소크라테스의 정의 이론, 황금률, 10계명, 칸트의 정언명령, 아시모프의 로봇 3원칙 등. 

AMA 설계에 대한 하향식 접근법은, 어떤 구체적인 윤리 이론을 택한 다음 컴퓨팅적 요건을 분석함으로써 그 이론을 구현할 수 있는 알고리즘과 서브 시스템의 설계를 이끌어내는 방식을 가리킨다.

기계의 도덕에 대한 상향식 접근법에서는 AMA가 행동 과정들을 탐구하고 배우며 도덕적으로 칭찬받을 만한 행동에 대해 보상을 받는 환경을 창조하는 데 초점이 놓인다.

6. 하향식 도덕

인공 도덕에 대한 하향식 접근법은 알고리즘으로 변환할 수 있는 규칙 집합을 만드는 일이다. 윤리적 사고가 단일한 일반 원리로 묶일 수 있다고 생각한 철학 학파들 중에는 두 가지 큰 그림이 있다. 공리주의와 의무론.

공리주의에 의하면 도덕은 이 세상의 공리의 총량을 극대화 하는 것으로 일종의 결과주의. 공리주의적 AMA는 행위들에 대해 도덕적 등급을 내리기 위해 선택사항의 수 많은 결과를 계산해야 한다.  여기서 인공 시스템 설계자가 해결해야 할 문제는 이를 계산할 수 있는 메카니즘을 만드는 것.

의무론은 의무가 윤리의 핵심에 놓인다는 관점. 일반적으로 의무 목록은 내적 갈등의 문제를 겪는다. 예를 들어 진실을 말하라는 의무는 다른 사람의 사생활을 존중하라는 의무와 상충한다. 의무론적 로봇의 설계자는 규칙이 활성화될 수 있도록 보장하는 방법 그리고 규칙들이 상충하는 상황을 관리하기 위한 메커니즘을 마련할 방법을 찾아야 한다.

둘 모두 공통적으로, 그 이론이 실시간으로 제대로 적용되도록 하는 데 필요한 모든 정보를 수집하고 비교할 수 있는가 라는 문제를 제기한다. 이 문제는 특히 결과주의적 접근법에서 심각해진다. 어떤 행위의 결과는 시간 또는 공간에서 본질적으로 무제한적이기 때문이다.

제임스 깁스는 결과주의를 따르는 임의의 로봇에 대한 컴퓨팅 요건을 제시.

(1) 현실 상황을 기술하는 방법

->상황에 관련되는 요소는 무엇인가? 사람, 동물 혹은 생태계 전체?

->윤리적으로 관련있는 모든 주체들의 상황을 기술하는 데 드는 데이터의 규모.

(2) 가능한 여러 행동을 발생시키는 방법

(3) 현재 상황에서 어떤 행동을 취했을 때 일어나게 될 상황을 예측하는 수단

->미래의 어떤 결과까지 계산해야 하는가? 공간적 제한은 얼마나 생각해야 하나?

(4) 어떤 상황을 그것이 옳거나 바람직하다는 관점에서 평가하는 방법

->무엇을 기준으로 삼는가. 비용?

문제점에도 불구하고 의무론적 윤리 규칙은 중요하다. 명시적인 것에서부터 추상적인 것까지. 구체적인 사례로 성경의 10계명, 아시모프의 로봇 3원칙, 직업윤리강령. 추상적인 사례로 여러 버전의 황금률. 칸트의 정언명령(당신이 하고자 하는 행동이 동시에 보편적인 법칙이 돼야 한다는 금언에 따라 행동하라.). 구체적인 규칙은 단순한 사례에 적용하기는 비교적 쉽지만 복잡한 상황에서는 불문명하다. 이럴 때 추상적인 규칙이 갈등을 조정하는 데 필요하다.

한 도덕 이론의 적절한 이해와 적용은, 만약 규칙이 어떤 상황에서도 명확한 지침을 내려주면 훨씬 쉬워질 것이다. 하지만 규칙을 명시적으로 만들려면 사용되는 용어 전부에 대한 명확한 정의를 해야 한다. 칸트의 정언명령의 핵심 개념인 '보편성'이라는 용어부터 애매하며 인간에게 해나 손상을 입힌다는 것을 특정하기도 어렵다. 그럼에도 불구하고 애매한 개념조차도 명확하게 적용될 수 있다. 가령 대머리는 애매한 개념이지만 피카드 함장은 어쨌거나 대머리다. 마찬가지로 어떤 행동들은 분명 해롭다. 처음에 명확한 사례에 초점을 맞추면 다수의 일상적인 도덕을 하향식으로 구현하는 것이 가능하다. 결국 AMA는 윤리적 사례들에 관해 하향식으로 사고하는 능력을 지니게 될 필요가 있다.

7. 상향식 그리고 발전적 접근법

AI가 아동 발달 과정을 흉내내야 한다는 발상은, 튜링의 1950년 논문에서 제안되었다. "성인의 마음을 모방하는 프로그램을 제작하려고 시도하는 대신 아동의 마음을 모방하는 프로그램을 제작하려고 시도해서는 안되는가? 만약 그 프로그램이 적절한 교육과정을 거친다면 성인의 두뇌를 얻게 될 것이다."

인공생명 한편, 1975년 존 홀랜드가 고안한 유전적 알고리듬은 진화하는 적응적 프로그램이 가능할 수 있다는 기대를 불러일으켰다. 이는 컴퓨터가 새로운 종류의 생명인 인공생명을 진화시키는 환경을 마련해줄지 모른다는 생각으로 이어졌다. 같은 해, 1975년, 에드워드 윌슨은 사회생물학이 "윤리의 진화적 기원을 정확히 설명해낼지 모른다."고 말했다. 이 두 개념을 합치면 인공생명이 도덕적 행위자를 생산할 수 있다는 전망이 나온다.

여기서 문제는 적절한 환경을 어떻게 만드느냐, 도덕적 기준을 명시적으로 적용하지 않고 어떻게 적합도 기능을 설계하느냐. '가장 도덕적인 자의 생존'이라는 슬로건은 '가장 도덕적'이 어느 정도여야 하는지 결정해야 하는 어려움을 드러낸다. 또한 가상의 인공생명체 환경에서 물리적으로 구현된 행위자로의 전환도 어렵다.

1971년 정치 철학자 존 롤스는 인류라는 종에 대한 보편적 도덕 문법이라는 개념을 내놓았다. 이는 노엄 촘스키가 제안한 언어의 보편문법에서 유추해 얻은 것이다. 촘스키의 보편문법이 언어에 대한 컴퓨팅적 접근법을 낳았던 것처럼 도덕적 문법을 찾아내는 일은 AMA의 설계에도 유용할 수 있을 것이다. 도덕적 문법 또는 도덕적 본능이라는 개념은 고정적이며 불변적이라고 여겨지는 인간 본성의 요소에 관심을 기울이게 한다. 하지만 생명, 특히 지능을 갖춘 생명의 가장 두드러진 특징은 유연성과 적응성이다.

학습하는 기계

진화되었든 창조되었든 AMA는 자신이 사는 무대의 규범을 습득하는 능력이 필요하다. AI에 대한 전통적인 기호적 접근법은 학습을 미리 정의된 개념 집합의 재조합으로 취급. 최근의 연결주의 접근법은 미리 구상된 구조에 덜 의존, 대신 인공 신경망 능력을 이용해서 자신들이 받아들인 입력으로부터 자신들만의 분류 방안을 역동적으로 생성.

로봇을 도덕적 발달에 적응시키려면 어린이가 어떻게 도덕적 능력을 습득하는지 이해해야 할 필요가 있다. 심리학자 로렌스 콜버그는 어린이가 여러 가지 인지 발달 단계를 거치면서 도덕적 능력을 발달시킨다고 보았다. 아동 발달의 초기 단계에서는 보상과 처벌 그리고 찬성과 반대가 아동의 도덕적 사고에 매우 큰 역할을 한다. 이를 컴퓨터가 직접적으로 이해할 만한 방식으로 처벌과 보상을 처리할 수 있지 않을까 하는 제안이 제기된다. 가령 프로세서 속도, 정보 흐름 또는 전력 공급 등을 조작함으로써 말이다.

AMA에 대한 학습 기반 접근법의 가능성을 고찰했던 사람들 중 크리스토퍼 랑이 있다. 랑은 도덕적 행위에 대한 접근법을 제안하면서 이를 '탐구 윤리 quest ethics'라고 명명했다. 이에 의하면 컴퓨터는 합리적 목표를 추구하는 끊없는 질문을 통해 윤리에 관해 배우게 된다. 랑의 생각은 'hill-climbing' 도는 'greedy-search' 알고리듬을 중심으로 이루어져 있다. 이런 학습 시스템은 미리 결정된 규칙에 구속 받지 않기 때문에 랑은 이를 '편견 없는 학습 기계'라고 부른다. 하지만 특정 플랫폼을 설계할 때 선택 하는 절차, 데이터 구조와 용량 등에 의해 편견이 끼어 들 수 있다.

학습하는 기계는 프로그래머가 모든 우발 상황을 예상할 필요가 없기 때문에 윤리 분야 이외의 여러 응용사례에서 큰 인기를 끌었다. 이런 기술이 도덕적 행위자 개발에도 유망하다고 믿는다. 그럼에도 불구하고 위험이 내재해 있다. 학습할 수 있는 시스템은 나쁜 것을 배울 잠재력도 지닐지 모르며, 심지어 어떤 내장된 제약사항을 취소하거나 무시할 수 있기 때문이다. 이에 대한 한 가지 해답은 다층 구조이다. 낮은 수준의 기준이 높은 수준의 기능과 격리되어 있는 시스템. 핵심 제약 사항들이 매우 낮은 수준에서 시스템 속에 프로그래밍되어 플랫폼의 토대 층에 두어, 컴퓨터가 접속할 수 없는 영역으로 두는 것. 그렇다면 이는 인간의 양심과 비슷한 역할을 하게 될지 모른다.

모듈 조립

도덕적 민감성을 지니고 행동하는 시스템에 대한 전망은 아직 운용적 도덕을 지닌 시스템을 설계하는 데 국한 돼 있다. 하지만 이것이 누적되다 보면 개별적인 과제가 더욱 복잡한 활동, 더 높은 자율성으로 이어질지 모른다. 이런 서브 시스템들이 상호작용하는 방식을 실험함으로써 적절한 도덕적 능력을 지닌 어떤 것이 창조될 수 있을지 모른다. 문제는 이런 개별 시스템들을 하나의 기능적 통일체로 조립해야 하는 것.

8. 하향식과 상향식의 병합

 하향식 접근법도 상향식 접근법도 효과적인 AMA를 설계하는 데 적절하지 않다면, 혼합형(hybrid)이 필요할 것이다.

하향식 접근법은 명시적이고 윤리적인 관심사들의 중요성을 강조한다.  도덕적 직관이 불분명한 사례들을 정리하도록 돕는 중요한 역할을 할 수도 있다.

상향식 접근법은 행위자 측의 내재적인 가치를 함양하는 데 초점이 맞춰진다. 진화와 기계 학습에서 비롯된 접근법은 재귀적 시스템이나 엄격한 규칙 추종자들이 보이는 제한된 행동을 훌쩍 뛰어넘어 행동의 선택 폭과 유연성이 매우 확장된다.

혼합형 접근법 또한 추가적인 문제를 야기한다. 두 가지 상이한 철학과 서로 다른 구조를 합치는 문제. 훌률한 AMA의 설계에는 함양된 내재적 가치에 의해 제공된 하향식 가치를 포함하는 다양한 입력 및 영향과 더불어 환경에 대한 풍부한 이해를 통합시킬 수 있는 컴퓨팅 시스템이 요구될 것이다.

우리는 덕 윤리의 컴퓨팅적 실현가능성에 주목하고자 한다. 덕 이론가들은 규칙의 결과에 초점을 맟추기보다는 특성 내지는 좋은 습관을 개발하는 일의 중요성에 주목한다. 덕을 프로그래밍 수단으로 활용할 수 있는가. 아리스토텔레스의 생각은 지적인 덕은 가르쳐서 얻을 수 있고, 윤리적 덕은 습관과 실천을 통해 배워야 한다. 지적인 덕은 가르쳐서 얻을 수 있는 만큼 규칙이나 원칙을 명시적으로 기술하면 된다. 윤리적 덕은 습관, 학습, 품성에 달려 있으므로 개별 AMA가 실행을 통해 학습해나가거나 상향식 과정을 통해 익혀야 한다. 우리는 덕은 혼합형이라고 본다.

덕을 컴퓨팅 시스템속에 프로그래밍하는 과제는 규칙 기반 접근법의 경우와 비슷한 문제와 마닥뜨린다. 다양한 덕 항목들 간의 상충, 불완전한 덕 목록 그리고 특히 덕에 관해 정의하는 일. 덕의 하향식 구현이 특히 어려운 까닭은 덕이 본질적으로 동기와 욕구의 복잡한 패턴을 포함하기 때문이다.

덕 기반 이론을 내놓은 후 아리스토텔레스는 '니코마코스 윤리학'의 상당 부분을 어떤 습관이 '선' 또는 행복으로 이어질지 어떻게 알 수 있는가 라는 문제를 논의하는 데 바친다. 그는 이런 일반화된 목적을 추구하는 명시적인 규칙은 없으며 단지 직관적으로 파악할 수 있을 뿐이라고 밝힌다. 여러 사람이 연결주의 또는 병렬적으로 분산된 처리가 사람이 어떻게 덕을 습득하는가에 관한 아리스토텔레스의 논의와 유사점이 있음을 알아차렸다. 깁스는 둘 다 추상적인 이론을 가르치기 보다는 훈련에 의한 개발을 강조한다고 봄. 윌리엄 케이스비어는 윤리가 어떻게 출현하는지에 관해 자연 법칙에 따른 기본 틀을 규명하려고 시도하면서 연결주의와 아리스토텔레스 윤리 이론 간의 일치성에 주목. (아리스토텔레스 덕 이론을 혼합형에 적용할 수 있는 것은 아리스토 텔레스는 중요한 덕 목록을 제시한다는 점에서는 하향식에 가깝고, 이를 달성하는 방식은 학습을 통한 상향식 접근에 가깝기 때문인 것으로 보인다.)

연결주의 이론은 뉴런의 활동이 어떻게 패턴에 관한 의식 없는 축적으로부터 패턴에 대한 의식으로 도약할 수 있는지 설명하지 못한다. 연결주의 학습 시스템에 어떤 판단을 내리는지 그 이유를 철저히 설명하면서 사회적, 정치적 고려사항들을 담아내는 하향식 구조와 어떻게 결합될 수 있는지에 관한 세부사항을 앞으로 풀어야 할 것.

9. 베이퍼웨어를 넘어서?

완전한 AMA는 여전히 '베이퍼웨어 vaporware'이다(아직 실용화되지 않았거나 실제 존재하지 않지만 제품 발표도 하고 광고도 하는 소프트웨어 또는 하드웨어). 즉 언제 실현될지 아무도 모르는 전망이다. 이 장에서는 윤리적 기능을 염두에 두고 설계되는 소프트웨어를 살펴보겠다. 

윤리적 소프트웨어에 대한 세 가지 일반적 접근법. (1)논리 기반 접근법(Logic-based approaches)은 합리적 행위자의 윤리적 사고를 모델링하기 위한, 수학적으로 엄밀한 기본 틀을 제공하려고 시도. (2)사례 기반 접근법(Case-based approaches)은 윤리적으로 적절한 행동을 추론하거나 학습하는 다양한 방식을 윤리적 또는 비윤리적 행동의 사례를 통해 탐구. (3)다중 행위자 접근법(Multiagent approaches)은 다양한 윤리적 전략을 따르는 여러 행위자들이 서로 상호작용할 때 어떤 일이 벌어지는지 연구.

셀머 브링스요드는 논리가 AMA를 위한 최상의 희망이라 여긴다. 그는 '규범 논리 deonic logics', 즉 의무와 책임 간의 관계를 기술하는 논리 체계를 이용하는 프로그램을 주장한다.  규범 논리는 행위자가 무엇을 해야 할지에 관해 추론하도록 허용한다. 여기에는 해당 사례가 어떠해야 하는지를 표현할 방법, 새로운 연산자를 이용하는 진술을 조작하기 위한 규칙, 서로 다른 행위자들의 구체적 의무를 표현하는 일 등이 필요하다.

사례 기반 접근법의 첫 번째 예는, 수전 앤더슨과 마이클 앤더슨 부부의 MedEthEx. 의료윤리 전문가가 구체적인 여러 사례에 관해 내린 결정으로부터 하나의 일관된 논리 집합을 추론.  두번 째 예는, 브루스 맥클라엔이 구현한 시로코와 트루스-텔러 시스템. 이는 '결의론적 casuistic'(윤리와 종교의 일반원리를 특정한 구체적인 인간행위의 갈등적인 상황에 적용해 그 해결책을 모색하는 방법)인 추론을 사용. 이는 사례들 간의 유사점을 찾는 방식으로 추론하는 접근. 세 번째 사례는 마르셀로 구아리니가 제시한, 윤리적 의사결정의 일반화에 대한 연결주의 접근법(신경 네트워크).

다중 행위자 접근법은 윤리의 사회적 속성에 주목. 로봇 자동차가 이에 해당. 로봇 자동차는 사고를 피하기 위해 교통법규를 위반해야 할 수 있는데, 그 때는 자신의 과제를 완수해야 하는 의무와 자신의 행동이 다른 교통 참가자에게 가할 위험을 비교평가할 필요가 있을 것이다.

10. 이성을 넘어

윤리와 관련 있는 정보에 대해 추론하는 일이 AMA에 필요한 전부인가? (로)봇을 믿을 수 있으려면, 로봇에는 도덕적 문제를 적절하게 이해하고 반응하는 어떤 추가적인 능력과 사회적 메커니즘이 필요할까?

감정 및 다른 초이성적 능력이 실제로 도덕성 자체에 관한 기반이 되느냐 하는 것은 논쟁의 여지가 있다. 여기서는 정서, 감정 그리고 사회적 메커니즘이 도덕적으로 관련 있는 정보를 습득하는 데 필요한 추가적인 채널을 어떻게 마련해줄지에 집중할 것이다. 비록 정서와 감정이 의사결정을 비윤리적인 행위로 향하도록 편견을 줄 수도 있지만, 어쨌거나 그것들은 다른 식으로는 얻기 어려운 정보의 풍부한 공급원이다.

인공적 행위자가 어느 정도로 감성 지능 및 사회적 능력을 모방해야 할까. 전투와 같은 상황에서는 감정적 동요가 적은 것이 도움이 되기도 한다. 그리고 만약 감성적 반응의 핵심적인 정도를 안다고 해도 이를 어떻게 기계 속에 실현해야 하는가.

인간과 비슷한 감정을 느끼는 시스템을 개발하는 것은 아직 요원하지만 감각이 인간의 감정과 느낌에 중요하게 작용하므로 시각, 후각, 촉각 등 감각 시스템을 통한 정보를 통해서 감정을 모방을 시도할 수 있다. 그리고 지금 도달할 수 있는 영역 내에 있는 것은 인간의 감정을 읽고 마치 인간의 의도와 기대를 이해하는 듯이 인간과 상호작용할 수 있는 인공 시스템의 개발이다.

토런스는 어떤 실체가 도덕적 행위자가 되려면 의식이 필요하다고 주장했다. 오웬 홀런드는 의식 있는 기계 제작을 위한 세 가지 접근법을 언급한다.

(1) 의식의 구성 요소를 확인하고 그 모든 것을 기계에 구현한다.

(2) 의식을 발생시키는 기계(두뇌)의 구성 요소를 확인하고 그것을 복사한다.

(3) 의식이 생기는 상황을 확인하고 그것을 복사해 의식이 다시 출현하기를 희망한다.

첫 번째 접근법은 스탠 프랭클린이 IDA에 대한 연구에 도입했다. 다음 장에서는 AMA 제작을 위한 프랭클린의 접근법이 실현가능한지 살펴본다.

11. 인간과 비슷한 AMA

AMA를 설계하기 위해서는 시스템의 구성 요소들 그리고 이들이 어떻게 상호작용하는지 구체화시키는 아키텍처가 필요하다.

첫번째 유형의 아키텍처는 로널드 아킨의 군 지원 프로젝트. 로봇 전투기계를 전시 행동의 복잡한 윤리를 다룰 수 있도록 만드는 것에 관한 것. 아킨의 아키텍처는 윤리에 대한 네 가지 특화된 구성 요소를 갖고 있다. (1) 윤리적 통제 장치 ethical governer: 허용 가능한 행동에 대한 제약사항 관리. (2) 윤리적 행동 제어 ethical behavior control: 구체적 군사적 규칙을 실행하고 선택을 행하도록 해주는 원칙 내장. (3) 윤리적 적응 장치 ethical adaptor: 행동 중에 감정 시스템을 관리하고 사실에 따른 성찰적 사고. (4) 책임 조언 장치 responsibility advisor: 로봇과 인간 운영자 사이의 인터페이스 역할.

두번째 유형의 아키텍처는 LIDA(Learning Intelligent Distribution Agent). 의식과 고수준 인식에 관한 이론인 통합작업공간 이론( global workspace theory, GWT)에 바탕을 둔 LIDA는 인지에 관한 개념적, 컴퓨팅적 모델로서 스탠 프랭클린이 다른 컴퓨터 과학자들 및 신경과학자들과 협력해서 개발.  LIDA는 정보의 의식적 처리를 가능하게 하는 무의식적 메커니즘을 기술한 것. 행위자가 자신의 환경에서 합리적으로 활동하려는 과정에 어떻게 관여하는지 파악하기 위한 모델.

우리의 과제는 도덕적 의사결정 능력이 LIDA 모델 내에서 어떻게 구현되는지를 설명하는 일이다. 우리의 논의는 다음 여섯 가지 영역에 초점을 맞춘다.

(1) 어디에서 상향식 성향과 가치가 구현되는가? 행위자는 어떻게 새로운 가치와 성향을 배우며 기존의 가치와 성향을 강화하거나 약화시키는가?

(2) LIDA 모델은 어떻게 한 단일한 사이클로부터 의식 속의 정보가 고려돼야 하는 결정으로 옮겨갈 수 있는가?

(3) 어떻게 규칙과 의무가 LIDA 모델에 표현되는가? 무엇이 규칙을 활성화시키고 의식적인 주목을 받도록 만드는가? 어떻게 일부 규칙들은 의도할 필요가 없을 정도로 자동화될 수 있는가?

(4) 계획과 상상(상이한 시나리오들을 대상으로 검사하기)은 어떻게 LIDA에서 구현될 수 있는가?

(5) 사고의 종결은 어떻게 결정되는가?

(6) 과제에 대한 결정이 이루어졌을 때 LIDA는 그 결정이 성공적인지 어떻게 관찰할 수 있는가? 그리고 LIDA는 이러한 관찰을 향후의 학습에 어떻게 이용할 수 있는가?

이러한 노력이 현재로서는 원시적으로 보일지 몰라도 AMA 설계에 관한 실험은 이미 시작됐다.

 12. 위험, 권리 그리고 책임

AI에 도덕적 의사결정 능력을 구현하는 것과 관련된 미래지향적인 고려사항을 논의해본다.

-AI가 인간에게 우호적으로 발전할 것인가? 어떻게 AI를 인간에게 우호적으로 만들 것인가?

-법은 기술에 뒤쳐진다. (로)봇의 행동에 대한 책임을 어떻게 부여할 것인가.

-지능적 시스템에 법적 지위, 권리가 부여될 것인가?

-AMA의 성능을 어떻게 평가할 것인가? (MTT, Moral Turing Test가 있지만 완벽하지 않다)

-(로)봇이 고통 및 다른 정서적 상태들을 경험할 수 있게 된다면 그런 시스템을 제작하는 것이 도덕적인가?

-신기술이 몰고 온 위험을 어떤 기준으로 평가하고 그 가능성을 증명할 것인가?

 AMA 개발을 향해 나아가야 할 필요가 있다고 믿는다. 미래 사회가 (로)봇이 진정한 도덕적 행위자라고 여길지 말지는 요점이 아니다. 윤리적 의사결정을 위한 법과 도덕적 고려사항에 대해 현재보다 더욱 민감한 시스템을 앞으로는 제작할 수 있을 것이다. 미래는 AMA를 요구한다.

에필로그 
(로)봇의 마음 그리고 인간의 윤리

인간 이외의 동물에 대해 인간이 오랫동안 매료된 까닭은 동물이 인간과 가장 비슷한 존재라는 사실에서 비롯된다. 동물과의 유사점 및 차이는 인간으로 하여금 자신이 누구이며 어떤 존재인지에 대해 많은 것을 알려준다. AMA가 더욱 정교해지면 이 시스템이 인간의 가치를 반영함에 따라 그에 상응하는 역할을 하게 될 것이다.  윤리가 무엇인지 이해하기 위해서라도 AMA의 개발보다 더 중요한 일은 세상에 없을 것이다.