왜 로봇의 도덕인가 Moral Machines

왜 로봇의 도덕인가 Moral Machines

웬델 월러치, 콜린 알렌 지음

프롤로그

로봇의 도덕을 구현하는 일은 인간을 이해하는 과정이다.

공상과학 소설에 나오듯 인간에게 직접적인 조종을 받지 않으면서 인간의 복지에 잠재적인 영향을 미치는 (로)봇이 등장하고 있다. 오늘날의 시스템은 그 스스로 도덕적 결정을 내려야 할 정도로 엄청나게 복잡한 수준에 다다르고 있다. 우리는 이를 인공적 도덕 행위자 (artificial moral agent, AMA)라고 부르기로 한다. 기계의 도덕 분야는 사람이 컴퓨터로 무엇을 할까라는 관심을 넘어 기계가 스스로 무엇을 할까 라는 질문을 다룬다. 인간은 언제나 자신의 기술적 산물에 적응해왔으며, 자동 기계를 곁에 둠으로써 얻는 이득이 비용보다 클 가능성이 훨씬 많다. 하지만 인류가 자율적이지만 나쁜 인공 행위자들이 초래할 결과를 피하고자 한다면 이에 대해 진지하게 고찰해야 한다.

산업 로봇들은 이미 사람들에게 상해를 입히기도 한다. ‘룸바'같은 로봇 진공청소기들이 벌써 수백만 대나 팔렸다. 안내 로봇이 박물관에 등장했다. 컴퓨터 프로그램은 인간으로서는 흉내조차 낼 수 없는 효율로 수백만 건의 금융 거래를 수행한다. 인류는 공학적으로 설계된 시스템들이 의사결정을 할 수 있고, 이로 인해 인간의 삶에 영향을 미칠 뿐 아니라 윤리적 효과를 야기할 수 있는 지점에 이미 와 있다.

AMA를 제작하는 일에는 원래 인간 중심의 관점에서 시작된 윤리 이론에 대한 진지한 고찰이 필요하다. 종교적, 철학적 전통에 깃들여 있는 가치와 관심사는 기계에 쉽사리 적용되지 않는다. 규칙 기반의 윤리 시스템들, 가령 아시모프의 3원칙은 컴퓨터에 탑재하기는 어느 정도 쉽지만, 이는 온갖 윤리적 난제를 초래할 수 있다. 아리스토텔레스의 윤리학은 규칙보다는 품성을 강조했다. 아리스토텔레스에서 아시모프를 거쳐 이 이상을 내다보면서 이를 공학 시스템에 적용하려면 인간 도덕성의 기원을 살펴야 한다. 진화, 학습 및 발달, 신경심리학 그리고 철학 분야에서 바라본 인간 도덕성의 기원을 고찰해야 하는 것이다.

기계의 도덕은 AMA 구현의 철학적, 실제적 사안인것 만큼이나 인간의 의사결정에 관한 것이기도 하다. AMA에 관한 성찰 그리고 이를 제작하기 위한 실험을 살펴보면 인간이 어떻게 작동하는지, 어떠한 인간의 능력들이 기계 설계에 구현될 수 있는지, 그리고 인간이 동물 또는 인간이 창조한 새로운 형태의 지성과 구별되는 속성이 무엇인지 깊이 생각할 수밖에 없다. AI가 마음에 관한 철학 분야에 새로운 탐구 방향을 이끌어냈던 것과 마찬가지로 기계의 도덕은 윤리학에 새로운 탐구 방향을 이끌어낼 수 있다. 인간의 능력을 (로)봇에 구현하는 데 필요한 단계적인 절차를 세세하게 밟아가며 도덕적 결정이 내려지는 방법에 따라 사고하는 연습은 따라서 자기 이해의 과정인 셈이다.

1. 왜 로봇의 도덕인가?

인류는 공학 시스템이 사람들의 생명에 영향을 끼칠 수 있는 의사결정을 내리는 지점에 이미 도달해 있다.  어떤 결정을 내리는 시스템이 좋은 것일까? 이 ‘좋음'에 관해 이야기할 때 우리는 윤리적 영역에 들어가게 된다. 시스템들이 여러 가지 상황과 환경에서 자동으로 작동하는 능력이 커짐에 따라 그것들이 자신만의 윤리적 프로그램을 가지는 것이 더욱 중요하게 될 것이다.

2. 공학 윤리

미국 전문공학인협회의 윤리강령 첫 번재 '근본 강령'은 공학자가 "안전, 건강 및 공공복지를 최우선시할 것"을 명시하고 있다. 만약 기계에 도덕적 기준을 부여함으로써 공공의 복지와 안전이 향상된다면, 미국의 공학자들은 이 윤리강령을 의무적으로 따라야 한다.

현재의 기술로부터 정교한 AMA에 이르는 과정을 이해하기 위한 기본 틀로서 두 가지 차원, 자율성 그리고 가치에 대한 민감성을 생각해 볼 수 있다. 

가장 단순한 도구는 자율성도 민감성도 없다. 그렇더라도 설계에 따른 일종의 '운용적 도덕'이 있다. 이것은 도구의 설계자 및 사용자의 통제 아래에 있다.

그 다음 단계로 '기능적 도덕'이 있다.  그 중 자율성은 있지만 윤리적 민감성은 거의 없는 시스템의 한 예로 자동 조종 장치를 들 수 있다.  자율성은 적지만 어느 정도 윤리적 민감성을 갖춘 시스템의 예로는 의사결정 지원 시스템(ethical decision suppert system)이 있다. 이 시스템은 의사결정자가 해당 사안과 도덕적 관련성이 있는 정보에 접근하도록 해준다. 예를 들어 의료윤리전문가 시스템.

마지막 단게로 '완전한 도덕행위'가 있다.

점점 더 정교해지는 형태의 기능적 도덕 그리고 최종적으로 완전한 AMA가 기업에도 경제적인 이득이 될 것이라 생각한다.

3. 인류는 컴퓨터가 도덕적 의사결정을 내리기를 원하는가?

인류와 기술의 깊은 관계는 "도구적 인간"이라는 표현에서 드러난다. 원시 인류가 돌을 도구나 무기로 탈바꿈시켰을 때, 인류와 기술의 공진화를 촉발시켰다. 오늘날 아이들은 컴퓨터 없는 세상을 상상하기 어렵고, 인류는 수세식 화장실, 빠른 교통 등으로 삶의 변화를 겪어왔다.

기술철학은 기술이 인류 문화에 미치는 역할을 다룬다. 

기술 가치의 두 가지 개념. 외부적 가치로 기술이 공공의 복지에 기여하는지 여부. 다른 하나는 내적 가치로 기술 발전이 인간에게 어떤 의미로 자리매김하는가.

새로운 기술의 도입으로 인간의 잠재적 능력이 달라질 뿐 아니라 인간의 성격과 의식도 바뀔수 있다고 보는 시각도 있다. 셰리 터클, "기술의 미래에 관해 우리가 현재 집착하고 있는 대다수의 사안들 뒤에는 아직 제기되지 않은 질문이 하나 있다. 그 질문은, 기술이 미래에 어떤 모습일까에 관한 것이 아니라 오히려 우리가 어떤 모습일까, 우리와 기계의 관계가 점점 더 긴밀해질수록 우리가 어떤 모습이 돼갈까에 관한 것이다."

과거의 기술철학이 인간의 통제를 벗어난 위협적 상황에 대응하는 것이 주된 동기였다면, 신세대의 기술철학자들은 공학자들이 설계 과정에 부여하는 가치에 대해 스스로 인식하고 기술의 설계와 구현에 영향력을 행사하도록 만들고자 한다. 이를 '공학적 행동주의'라 부른다.

인공 도덕 분야는 기술에 대해 이러한 행동주의 접근법을 취한다. 현재의 컴퓨터는 워낙 복잡해서 공학자는 어떤 시스템이 새로운 상황에서 어떻게 행동할지 예측할 수 없을 때가 흔히 있다. 한 시스템이 모듈식 설계를 통해 생산되므로 어떤 한 사람이 그 시스템이 어떻게 반응하고 작용할지 완벽히 파악할 수 없다. 인공 도덕의 목표는 공학적 행동주의를 진척시켜 시스템의 운용적 도덕을 형성할 때 설계자의 역할을 강조하는 수준을 넘어 시스템 자체가 명시적인 도덕적 사고와 의사결정을 갖추는 수준까지 나아가는 것이다.

기계의 도덕을 구현하기 위한 초기 시도는 의사결정자를 위한 소프트웨어 지원 도구(decision support tools, DST)라는 형태일 가능성이 가장 크다. DST는 인간 의사결정자가 도덕적 책임을 포기하도록 하는 계기를 만들어준다는 의견도 있다. 프리드먼과 칸은 "중환자 담당 의료진이 수동적으로 APACHE(환자의 치료 절차를 결정하는 데 도움을 주는 DST)의 권고에 따르는 것이 관례가 될지 모른다. 그러면 심지어 숙련된 내과의사라도 APACHE의 권고라는 '권위'에 도전하기가 점점 더 어려워질 것이다." 병원에 APACHE를 도입한다고 해서 의사의 자율성이 줄어들었을까? 이 질문에 답을 하기란 어렵다. 어쨌든 의사의 자율성 감소가 꼭 나쁜 것인지는 불명확하다. 환자에게 더 나은 혜택을 준다면 말이다.

로널드 아킨은 인간-로봇 상호작용의 세 가지 주요 유형, 전투병, 섹스토이, 노예로 인해 생기는 사회적 우려를 고려한다. 로봇 전투기계는 적 전투원을 죽일 뿐 아니라 민간인의 죽음 및 아군의 죽음도 유발하게 될 것이다. 로봇 섹스 토이와의 관계가 일탈적이고 반사회적인 행동으로 이어질 수도 있다. 로봇(robot이라는 단어는 1929년 조지프 차펙과 카렐 차펙이 체코어 robota에서 만든 신조어. 원래 허드렛일 또는 노예 상태를 의미)을 노예로 이용함으로써 그간 관행상 공식적으로 폐지되었던 노예제가 사회의 가능한 선택사항으로 다시 등장할지도 모른다.

위험이 없는 삶은 없다. 도서관 사서도 근무 중 위험 요인 때문에 죽기도 한다. 세계보건기구의 1999년 보고서에 따르면 교통사고는 17~44세 사람들의 상해 관련 사망 요인 중 가장 큰 비중을 차지한다. 만약 사람들이 자동차가 얼마나 파괴적일지 100년 전에 알았다면 이 교통 수단의 개발을 멈추었을까? 우리는 AI 시스템의 파괴적 잠재력을 우려한다. 그런 까닭에 인공 도덕 분야를 한시바삐 앞당기려 하는 것이다. 

4. (로)봇이 정말로 도덕적일 수 있는가?

사람들은 기계는 의식을 지닐 수 없으며, 인간의 가장 중요한 관계를 규정하고 인간의 윤리적 규범을 형성해주는 진정한 이해와 감정을 가질 수 없다고 믿는다. 이런 능력은 과연 무엇일까?(존재론적 질문) 그런 능력에 관해 과학적으로 무엇을 알아낼 수 있을까?(인식론적 질문) 인공적 도덕은 이 질문들에 대한 답에 좌우되는가?(실제적 질문). 이러한 존재론적, 인식론적 질문에 대한 우리의 답은, "모른다"이다.

강한 AI를 비판하는 존 설의 '중국어 방' 논증에 비추어  AMA도 무용지물이라 주장하는 사람이 있다. 그러나 존 설의 입장에 따른  AMA에 대한 반론은 실제 응용에서는 전혀 중요하지 않다. 그의 사고 실험에서는 기호처리의 출력 결과는 외부 관찰자에게 말하는 진정한 중국어 화자와 다른 점이 조금도 없다. 그러므로 의식적으로 의도적인 이해에 관한 그의 개념은 (로)봇을 윤리적으로 행동하게 만드는 법에 관한 실제적인 사안과는 전혀 무관하다.

 지금까지의 컴퓨터 기술에 없다고 여겨지는 것 두 가지 성질은 자유의지와 의식적 이해이다.

자유의지는 자유롭게 행동한다는 느낌의 바탕을 이루는 것이라고 여겨진다. 그러나 철학자 대니얼 데닛은 이러한 '마법적' 개념을 거부하고, 다수의 선택 사항을 고려해 그 중에서 선택을 할 수 있는 능력이 인간이 지닌, 그리고 지닐 가치가 있는 유일한 종류의 자유라고 한다. 크리스 랑(Chris Lang)은 스스로 학습하는 탐색 기반의 컴퓨터가 선택의 확장 덕분에 인간에 친화적인 도덕적 행위자 역할을 하게 될 시스템으로 생각했다.

세계 안에서 어떻게 행동할지 사고하는 데 필요한 모든 데이터가 두뇌에 담겨 있고 두뇌의 모형 내지 시뮬레이션에 의해 세계가 완벽하게 재현된다는 견해에 대한 대안으로 체화 인지 이론이 있다. 진정한 인식 시스템은 물리적 대상과 사회적 행위자들의 세계에 물리적으로 체화되고 자리를 잡는다. 그러한 시스템이 사용하는 단어, 개념 그리고 기호는 대상 및 다른 행위자와 맺는 상호작용을 통해 구체화 된다. 인간에게 있어서 많은 도덕적 행위는 그때그때 사회적 상황에 적응하기 위한 일이며, 그러기 위해서 변하는 필요, 가치 그리고 관련 당사자들의 기대를 충족시키려고 한다. 이러한 논의의 맥락에서 '이해'란 무엇일까. 만약 그것이 사회적, 물리적 환경에 적절하게 그리고 적응적으로 반응하는 능력이라면, 적절히 체화되고 구현된 컴퓨터가 이러한 반응을 할 수 없다고 여길 이유가 없다.비행은 기능적 속성이므로 적당한 시간 동안 공중에 머무를 수 있다면, 어떤 방법으로 그렇게 하는지는 중요하지 않다. 의식의 중요한 속성들도 기능적으로 가장 잘 이해될 수 있을 것이다. 비록 컴퓨터가 인간과 똑같은 식으로 의식을 갖지는 않더라도 컴퓨터는 그와 비슷한 능력을 지닌 것처럼 기능하도록 설계될 수 있다. 행동에 관한 기능적 의식이야말로 AMA를 실제로 설계하는 일에 중요하다.

인간은 생화학적인 플랫폼에서 진화했고 사고하는 능력이 정서적인 두뇌에서 출현했다. 하지만 AI는 논리적인 플랫폼에서 개발되고 있다. 이 점은 도덕적 과제에 대응하는 면에 있어 컴퓨터가 인간 두뇌보다 더 나은 장점을 갖고 있음을 시사한다. 컴퓨터는 더 넓은 범위의 가능성을 계산할 수 있고 감정의 방해를 받지 않을 것이다. 

 5. 철학자, 공학자 그리고 AMA의 설계

윤리학자와 철학자가 AMA 설계에 어떤 기여를 할 수 있을까? 윤리적 원리, 이론 그리고 기본 틀이 어 자율성을 지니고 작동하는 컴퓨팅 시스템의 설계를 이끄는 데 유용할까?

도덕적 로봇을 만든다는 것은 제약사항의 올바른 집합 그리고 상충하는 갈등을 해결할 올바른 공식을 찾는 일이다. 그 결과물은 일종의 '제약된 도덕성'이자, 어떤 상황에 직면했을 때 그 상황이 설계자가 예측한 일반적인 제약사항 내에 속하기만 한다면 무난하게 행동할 수 있는 시스템일 것이다. 그러한 제약사항은 어디서 나올까?

윤리학 연구는 대게 도덕적 판단에 관한 하향식 규범, 기준 그리고 이론적 접근법에 초점을 맟춘다. 소크라테스의 정의 이론, 황금률, 10계명, 칸트의 정언명령, 아시모프의 로봇 3원칙 등. 

AMA 설계에 대한 하향식 접근법은, 어떤 구체적인 윤리 이론을 택한 다음 컴퓨팅적 요건을 분석함으로써 그 이론을 구현할 수 있는 알고리즘과 서브 시스템의 설계를 이끌어내는 방식을 가리킨다.

기계의 도덕에 대한 상향식 접근법에서는 AMA가 행동 과정들을 탐구하고 배우며 도덕적으로 칭찬받을 만한 행동에 대해 보상을 받는 환경을 창조하는 데 초점이 놓인다.

6. 하향식 도덕

인공 도덕에 대한 하향식 접근법은 알고리즘으로 변환할 수 있는 규칙 집합을 만드는 일이다. 윤리적 사고가 단일한 일반 원리로 묶일 수 있다고 생각한 철학 학파들 중에는 두 가지 큰 그림이 있다. 공리주의와 의무론.

공리주의에 의하면 도덕은 이 세상의 공리의 총량을 극대화 하는 것으로 일종의 결과주의. 공리주의적 AMA는 행위들에 대해 도덕적 등급을 내리기 위해 선택사항의 수 많은 결과를 계산해야 한다.  여기서 인공 시스템 설계자가 해결해야 할 문제는 이를 계산할 수 있는 메카니즘을 만드는 것.

의무론은 의무가 윤리의 핵심에 놓인다는 관점. 일반적으로 의무 목록은 내적 갈등의 문제를 겪는다. 예를 들어 진실을 말하라는 의무는 다른 사람의 사생활을 존중하라는 의무와 상충한다. 의무론적 로봇의 설계자는 규칙이 활성화될 수 있도록 보장하는 방법 그리고 규칙들이 상충하는 상황을 관리하기 위한 메커니즘을 마련할 방법을 찾아야 한다.

둘 모두 공통적으로, 그 이론이 실시간으로 제대로 적용되도록 하는 데 필요한 모든 정보를 수집하고 비교할 수 있는가 라는 문제를 제기한다. 이 문제는 특히 결과주의적 접근법에서 심각해진다. 어떤 행위의 결과는 시간 또는 공간에서 본질적으로 무제한적이기 때문이다.

제임스 깁스는 결과주의를 따르는 임의의 로봇에 대한 컴퓨팅 요건을 제시.

(1) 현실 상황을 기술하는 방법

->상황에 관련되는 요소는 무엇인가? 사람, 동물 혹은 생태계 전체?

->윤리적으로 관련있는 모든 주체들의 상황을 기술하는 데 드는 데이터의 규모.

(2) 가능한 여러 행동을 발생시키는 방법

(3) 현재 상황에서 어떤 행동을 취했을 때 일어나게 될 상황을 예측하는 수단

->미래의 어떤 결과까지 계산해야 하는가? 공간적 제한은 얼마나 생각해야 하나?

(4) 어떤 상황을 그것이 옳거나 바람직하다는 관점에서 평가하는 방법

->무엇을 기준으로 삼는가. 비용?

문제점에도 불구하고 의무론적 윤리 규칙은 중요하다. 명시적인 것에서부터 추상적인 것까지. 구체적인 사례로 성경의 10계명, 아시모프의 로봇 3원칙, 직업윤리강령. 추상적인 사례로 여러 버전의 황금률. 칸트의 정언명령(당신이 하고자 하는 행동이 동시에 보편적인 법칙이 돼야 한다는 금언에 따라 행동하라.). 구체적인 규칙은 단순한 사례에 적용하기는 비교적 쉽지만 복잡한 상황에서는 불문명하다. 이럴 때 추상적인 규칙이 갈등을 조정하는 데 필요하다.

한 도덕 이론의 적절한 이해와 적용은, 만약 규칙이 어떤 상황에서도 명확한 지침을 내려주면 훨씬 쉬워질 것이다. 하지만 규칙을 명시적으로 만들려면 사용되는 용어 전부에 대한 명확한 정의를 해야 한다. 칸트의 정언명령의 핵심 개념인 '보편성'이라는 용어부터 애매하며 인간에게 해나 손상을 입힌다는 것을 특정하기도 어렵다. 그럼에도 불구하고 애매한 개념조차도 명확하게 적용될 수 있다. 가령 대머리는 애매한 개념이지만 피카드 함장은 어쨌거나 대머리다. 마찬가지로 어떤 행동들은 분명 해롭다. 처음에 명확한 사례에 초점을 맞추면 다수의 일상적인 도덕을 하향식으로 구현하는 것이 가능하다. 결국 AMA는 윤리적 사례들에 관해 하향식으로 사고하는 능력을 지니게 될 필요가 있다.

7. 상향식 그리고 발전적 접근법

AI가 아동 발달 과정을 흉내내야 한다는 발상은, 튜링의 1950년 논문에서 제안되었다. "성인의 마음을 모방하는 프로그램을 제작하려고 시도하는 대신 아동의 마음을 모방하는 프로그램을 제작하려고 시도해서는 안되는가? 만약 그 프로그램이 적절한 교육과정을 거친다면 성인의 두뇌를 얻게 될 것이다."

인공생명 한편, 1975년 존 홀랜드가 고안한 유전적 알고리듬은 진화하는 적응적 프로그램이 가능할 수 있다는 기대를 불러일으켰다. 이는 컴퓨터가 새로운 종류의 생명인 인공생명을 진화시키는 환경을 마련해줄지 모른다는 생각으로 이어졌다. 같은 해, 1975년, 에드워드 윌슨은 사회생물학이 "윤리의 진화적 기원을 정확히 설명해낼지 모른다."고 말했다. 이 두 개념을 합치면 인공생명이 도덕적 행위자를 생산할 수 있다는 전망이 나온다.

여기서 문제는 적절한 환경을 어떻게 만드느냐, 도덕적 기준을 명시적으로 적용하지 않고 어떻게 적합도 기능을 설계하느냐. '가장 도덕적인 자의 생존'이라는 슬로건은 '가장 도덕적'이 어느 정도여야 하는지 결정해야 하는 어려움을 드러낸다. 또한 가상의 인공생명체 환경에서 물리적으로 구현된 행위자로의 전환도 어렵다.

1971년 정치 철학자 존 롤스는 인류라는 종에 대한 보편적 도덕 문법이라는 개념을 내놓았다. 이는 노엄 촘스키가 제안한 언어의 보편문법에서 유추해 얻은 것이다. 촘스키의 보편문법이 언어에 대한 컴퓨팅적 접근법을 낳았던 것처럼 도덕적 문법을 찾아내는 일은 AMA의 설계에도 유용할 수 있을 것이다. 도덕적 문법 또는 도덕적 본능이라는 개념은 고정적이며 불변적이라고 여겨지는 인간 본성의 요소에 관심을 기울이게 한다. 하지만 생명, 특히 지능을 갖춘 생명의 가장 두드러진 특징은 유연성과 적응성이다.

학습하는 기계

진화되었든 창조되었든 AMA는 자신이 사는 무대의 규범을 습득하는 능력이 필요하다. AI에 대한 전통적인 기호적 접근법은 학습을 미리 정의된 개념 집합의 재조합으로 취급. 최근의 연결주의 접근법은 미리 구상된 구조에 덜 의존, 대신 인공 신경망 능력을 이용해서 자신들이 받아들인 입력으로부터 자신들만의 분류 방안을 역동적으로 생성.

로봇을 도덕적 발달에 적응시키려면 어린이가 어떻게 도덕적 능력을 습득하는지 이해해야 할 필요가 있다. 심리학자 로렌스 콜버그는 어린이가 여러 가지 인지 발달 단계를 거치면서 도덕적 능력을 발달시킨다고 보았다. 아동 발달의 초기 단계에서는 보상과 처벌 그리고 찬성과 반대가 아동의 도덕적 사고에 매우 큰 역할을 한다. 이를 컴퓨터가 직접적으로 이해할 만한 방식으로 처벌과 보상을 처리할 수 있지 않을까 하는 제안이 제기된다. 가령 프로세서 속도, 정보 흐름 또는 전력 공급 등을 조작함으로써 말이다.

AMA에 대한 학습 기반 접근법의 가능성을 고찰했던 사람들 중 크리스토퍼 랑이 있다. 랑은 도덕적 행위에 대한 접근법을 제안하면서 이를 '탐구 윤리 quest ethics'라고 명명했다. 이에 의하면 컴퓨터는 합리적 목표를 추구하는 끊없는 질문을 통해 윤리에 관해 배우게 된다. 랑의 생각은 'hill-climbing' 도는 'greedy-search' 알고리듬을 중심으로 이루어져 있다. 이런 학습 시스템은 미리 결정된 규칙에 구속 받지 않기 때문에 랑은 이를 '편견 없는 학습 기계'라고 부른다. 하지만 특정 플랫폼을 설계할 때 선택 하는 절차, 데이터 구조와 용량 등에 의해 편견이 끼어 들 수 있다.

학습하는 기계는 프로그래머가 모든 우발 상황을 예상할 필요가 없기 때문에 윤리 분야 이외의 여러 응용사례에서 큰 인기를 끌었다. 이런 기술이 도덕적 행위자 개발에도 유망하다고 믿는다. 그럼에도 불구하고 위험이 내재해 있다. 학습할 수 있는 시스템은 나쁜 것을 배울 잠재력도 지닐지 모르며, 심지어 어떤 내장된 제약사항을 취소하거나 무시할 수 있기 때문이다. 이에 대한 한 가지 해답은 다층 구조이다. 낮은 수준의 기준이 높은 수준의 기능과 격리되어 있는 시스템. 핵심 제약 사항들이 매우 낮은 수준에서 시스템 속에 프로그래밍되어 플랫폼의 토대 층에 두어, 컴퓨터가 접속할 수 없는 영역으로 두는 것. 그렇다면 이는 인간의 양심과 비슷한 역할을 하게 될지 모른다.

모듈 조립

도덕적 민감성을 지니고 행동하는 시스템에 대한 전망은 아직 운용적 도덕을 지닌 시스템을 설계하는 데 국한 돼 있다. 하지만 이것이 누적되다 보면 개별적인 과제가 더욱 복잡한 활동, 더 높은 자율성으로 이어질지 모른다. 이런 서브 시스템들이 상호작용하는 방식을 실험함으로써 적절한 도덕적 능력을 지닌 어떤 것이 창조될 수 있을지 모른다. 문제는 이런 개별 시스템들을 하나의 기능적 통일체로 조립해야 하는 것.

8. 하향식과 상향식의 병합

 하향식 접근법도 상향식 접근법도 효과적인 AMA를 설계하는 데 적절하지 않다면, 혼합형(hybrid)이 필요할 것이다.

하향식 접근법은 명시적이고 윤리적인 관심사들의 중요성을 강조한다.  도덕적 직관이 불분명한 사례들을 정리하도록 돕는 중요한 역할을 할 수도 있다.

상향식 접근법은 행위자 측의 내재적인 가치를 함양하는 데 초점이 맞춰진다. 진화와 기계 학습에서 비롯된 접근법은 재귀적 시스템이나 엄격한 규칙 추종자들이 보이는 제한된 행동을 훌쩍 뛰어넘어 행동의 선택 폭과 유연성이 매우 확장된다.

혼합형 접근법 또한 추가적인 문제를 야기한다. 두 가지 상이한 철학과 서로 다른 구조를 합치는 문제. 훌률한 AMA의 설계에는 함양된 내재적 가치에 의해 제공된 하향식 가치를 포함하는 다양한 입력 및 영향과 더불어 환경에 대한 풍부한 이해를 통합시킬 수 있는 컴퓨팅 시스템이 요구될 것이다.

우리는 덕 윤리의 컴퓨팅적 실현가능성에 주목하고자 한다. 덕 이론가들은 규칙의 결과에 초점을 맟추기보다는 특성 내지는 좋은 습관을 개발하는 일의 중요성에 주목한다. 덕을 프로그래밍 수단으로 활용할 수 있는가. 아리스토텔레스의 생각은 지적인 덕은 가르쳐서 얻을 수 있고, 윤리적 덕은 습관과 실천을 통해 배워야 한다. 지적인 덕은 가르쳐서 얻을 수 있는 만큼 규칙이나 원칙을 명시적으로 기술하면 된다. 윤리적 덕은 습관, 학습, 품성에 달려 있으므로 개별 AMA가 실행을 통해 학습해나가거나 상향식 과정을 통해 익혀야 한다. 우리는 덕은 혼합형이라고 본다.

덕을 컴퓨팅 시스템속에 프로그래밍하는 과제는 규칙 기반 접근법의 경우와 비슷한 문제와 마닥뜨린다. 다양한 덕 항목들 간의 상충, 불완전한 덕 목록 그리고 특히 덕에 관해 정의하는 일. 덕의 하향식 구현이 특히 어려운 까닭은 덕이 본질적으로 동기와 욕구의 복잡한 패턴을 포함하기 때문이다.

덕 기반 이론을 내놓은 후 아리스토텔레스는 '니코마코스 윤리학'의 상당 부분을 어떤 습관이 '선' 또는 행복으로 이어질지 어떻게 알 수 있는가 라는 문제를 논의하는 데 바친다. 그는 이런 일반화된 목적을 추구하는 명시적인 규칙은 없으며 단지 직관적으로 파악할 수 있을 뿐이라고 밝힌다. 여러 사람이 연결주의 또는 병렬적으로 분산된 처리가 사람이 어떻게 덕을 습득하는가에 관한 아리스토텔레스의 논의와 유사점이 있음을 알아차렸다. 깁스는 둘 다 추상적인 이론을 가르치기 보다는 훈련에 의한 개발을 강조한다고 봄. 윌리엄 케이스비어는 윤리가 어떻게 출현하는지에 관해 자연 법칙에 따른 기본 틀을 규명하려고 시도하면서 연결주의와 아리스토텔레스 윤리 이론 간의 일치성에 주목. (아리스토텔레스 덕 이론을 혼합형에 적용할 수 있는 것은 아리스토 텔레스는 중요한 덕 목록을 제시한다는 점에서는 하향식에 가깝고, 이를 달성하는 방식은 학습을 통한 상향식 접근에 가깝기 때문인 것으로 보인다.)

연결주의 이론은 뉴런의 활동이 어떻게 패턴에 관한 의식 없는 축적으로부터 패턴에 대한 의식으로 도약할 수 있는지 설명하지 못한다. 연결주의 학습 시스템에 어떤 판단을 내리는지 그 이유를 철저히 설명하면서 사회적, 정치적 고려사항들을 담아내는 하향식 구조와 어떻게 결합될 수 있는지에 관한 세부사항을 앞으로 풀어야 할 것.

9. 베이퍼웨어를 넘어서?

완전한 AMA는 여전히 '베이퍼웨어 vaporware'이다(아직 실용화되지 않았거나 실제 존재하지 않지만 제품 발표도 하고 광고도 하는 소프트웨어 또는 하드웨어). 즉 언제 실현될지 아무도 모르는 전망이다. 이 장에서는 윤리적 기능을 염두에 두고 설계되는 소프트웨어를 살펴보겠다. 

윤리적 소프트웨어에 대한 세 가지 일반적 접근법. (1)논리 기반 접근법(Logic-based approaches)은 합리적 행위자의 윤리적 사고를 모델링하기 위한, 수학적으로 엄밀한 기본 틀을 제공하려고 시도. (2)사례 기반 접근법(Case-based approaches)은 윤리적으로 적절한 행동을 추론하거나 학습하는 다양한 방식을 윤리적 또는 비윤리적 행동의 사례를 통해 탐구. (3)다중 행위자 접근법(Multiagent approaches)은 다양한 윤리적 전략을 따르는 여러 행위자들이 서로 상호작용할 때 어떤 일이 벌어지는지 연구.

셀머 브링스요드는 논리가 AMA를 위한 최상의 희망이라 여긴다. 그는 '규범 논리 deonic logics', 즉 의무와 책임 간의 관계를 기술하는 논리 체계를 이용하는 프로그램을 주장한다.  규범 논리는 행위자가 무엇을 해야 할지에 관해 추론하도록 허용한다. 여기에는 해당 사례가 어떠해야 하는지를 표현할 방법, 새로운 연산자를 이용하는 진술을 조작하기 위한 규칙, 서로 다른 행위자들의 구체적 의무를 표현하는 일 등이 필요하다.

사례 기반 접근법의 첫 번째 예는, 수전 앤더슨과 마이클 앤더슨 부부의 MedEthEx. 의료윤리 전문가가 구체적인 여러 사례에 관해 내린 결정으로부터 하나의 일관된 논리 집합을 추론.  두번 째 예는, 브루스 맥클라엔이 구현한 시로코와 트루스-텔러 시스템. 이는 '결의론적 casuistic'(윤리와 종교의 일반원리를 특정한 구체적인 인간행위의 갈등적인 상황에 적용해 그 해결책을 모색하는 방법)인 추론을 사용. 이는 사례들 간의 유사점을 찾는 방식으로 추론하는 접근. 세 번째 사례는 마르셀로 구아리니가 제시한, 윤리적 의사결정의 일반화에 대한 연결주의 접근법(신경 네트워크).

다중 행위자 접근법은 윤리의 사회적 속성에 주목. 로봇 자동차가 이에 해당. 로봇 자동차는 사고를 피하기 위해 교통법규를 위반해야 할 수 있는데, 그 때는 자신의 과제를 완수해야 하는 의무와 자신의 행동이 다른 교통 참가자에게 가할 위험을 비교평가할 필요가 있을 것이다.

10. 이성을 넘어

윤리와 관련 있는 정보에 대해 추론하는 일이 AMA에 필요한 전부인가? (로)봇을 믿을 수 있으려면, 로봇에는 도덕적 문제를 적절하게 이해하고 반응하는 어떤 추가적인 능력과 사회적 메커니즘이 필요할까?

감정 및 다른 초이성적 능력이 실제로 도덕성 자체에 관한 기반이 되느냐 하는 것은 논쟁의 여지가 있다. 여기서는 정서, 감정 그리고 사회적 메커니즘이 도덕적으로 관련 있는 정보를 습득하는 데 필요한 추가적인 채널을 어떻게 마련해줄지에 집중할 것이다. 비록 정서와 감정이 의사결정을 비윤리적인 행위로 향하도록 편견을 줄 수도 있지만, 어쨌거나 그것들은 다른 식으로는 얻기 어려운 정보의 풍부한 공급원이다.

인공적 행위자가 어느 정도로 감성 지능 및 사회적 능력을 모방해야 할까. 전투와 같은 상황에서는 감정적 동요가 적은 것이 도움이 되기도 한다. 그리고 만약 감성적 반응의 핵심적인 정도를 안다고 해도 이를 어떻게 기계 속에 실현해야 하는가.

인간과 비슷한 감정을 느끼는 시스템을 개발하는 것은 아직 요원하지만 감각이 인간의 감정과 느낌에 중요하게 작용하므로 시각, 후각, 촉각 등 감각 시스템을 통한 정보를 통해서 감정을 모방을 시도할 수 있다. 그리고 지금 도달할 수 있는 영역 내에 있는 것은 인간의 감정을 읽고 마치 인간의 의도와 기대를 이해하는 듯이 인간과 상호작용할 수 있는 인공 시스템의 개발이다.

토런스는 어떤 실체가 도덕적 행위자가 되려면 의식이 필요하다고 주장했다. 오웬 홀런드는 의식 있는 기계 제작을 위한 세 가지 접근법을 언급한다.

(1) 의식의 구성 요소를 확인하고 그 모든 것을 기계에 구현한다.

(2) 의식을 발생시키는 기계(두뇌)의 구성 요소를 확인하고 그것을 복사한다.

(3) 의식이 생기는 상황을 확인하고 그것을 복사해 의식이 다시 출현하기를 희망한다.

첫 번째 접근법은 스탠 프랭클린이 IDA에 대한 연구에 도입했다. 다음 장에서는 AMA 제작을 위한 프랭클린의 접근법이 실현가능한지 살펴본다.

11. 인간과 비슷한 AMA

AMA를 설계하기 위해서는 시스템의 구성 요소들 그리고 이들이 어떻게 상호작용하는지 구체화시키는 아키텍처가 필요하다.

첫번째 유형의 아키텍처는 로널드 아킨의 군 지원 프로젝트. 로봇 전투기계를 전시 행동의 복잡한 윤리를 다룰 수 있도록 만드는 것에 관한 것. 아킨의 아키텍처는 윤리에 대한 네 가지 특화된 구성 요소를 갖고 있다. (1) 윤리적 통제 장치 ethical governer: 허용 가능한 행동에 대한 제약사항 관리. (2) 윤리적 행동 제어 ethical behavior control: 구체적 군사적 규칙을 실행하고 선택을 행하도록 해주는 원칙 내장. (3) 윤리적 적응 장치 ethical adaptor: 행동 중에 감정 시스템을 관리하고 사실에 따른 성찰적 사고. (4) 책임 조언 장치 responsibility advisor: 로봇과 인간 운영자 사이의 인터페이스 역할.

두번째 유형의 아키텍처는 LIDA(Learning Intelligent Distribution Agent). 의식과 고수준 인식에 관한 이론인 통합작업공간 이론( global workspace theory, GWT)에 바탕을 둔 LIDA는 인지에 관한 개념적, 컴퓨팅적 모델로서 스탠 프랭클린이 다른 컴퓨터 과학자들 및 신경과학자들과 협력해서 개발.  LIDA는 정보의 의식적 처리를 가능하게 하는 무의식적 메커니즘을 기술한 것. 행위자가 자신의 환경에서 합리적으로 활동하려는 과정에 어떻게 관여하는지 파악하기 위한 모델.

우리의 과제는 도덕적 의사결정 능력이 LIDA 모델 내에서 어떻게 구현되는지를 설명하는 일이다. 우리의 논의는 다음 여섯 가지 영역에 초점을 맞춘다.

(1) 어디에서 상향식 성향과 가치가 구현되는가? 행위자는 어떻게 새로운 가치와 성향을 배우며 기존의 가치와 성향을 강화하거나 약화시키는가?

(2) LIDA 모델은 어떻게 한 단일한 사이클로부터 의식 속의 정보가 고려돼야 하는 결정으로 옮겨갈 수 있는가?

(3) 어떻게 규칙과 의무가 LIDA 모델에 표현되는가? 무엇이 규칙을 활성화시키고 의식적인 주목을 받도록 만드는가? 어떻게 일부 규칙들은 의도할 필요가 없을 정도로 자동화될 수 있는가?

(4) 계획과 상상(상이한 시나리오들을 대상으로 검사하기)은 어떻게 LIDA에서 구현될 수 있는가?

(5) 사고의 종결은 어떻게 결정되는가?

(6) 과제에 대한 결정이 이루어졌을 때 LIDA는 그 결정이 성공적인지 어떻게 관찰할 수 있는가? 그리고 LIDA는 이러한 관찰을 향후의 학습에 어떻게 이용할 수 있는가?

이러한 노력이 현재로서는 원시적으로 보일지 몰라도 AMA 설계에 관한 실험은 이미 시작됐다.

 12. 위험, 권리 그리고 책임

AI에 도덕적 의사결정 능력을 구현하는 것과 관련된 미래지향적인 고려사항을 논의해본다.

-AI가 인간에게 우호적으로 발전할 것인가? 어떻게 AI를 인간에게 우호적으로 만들 것인가?

-법은 기술에 뒤쳐진다. (로)봇의 행동에 대한 책임을 어떻게 부여할 것인가.

-지능적 시스템에 법적 지위, 권리가 부여될 것인가?

-AMA의 성능을 어떻게 평가할 것인가? (MTT, Moral Turing Test가 있지만 완벽하지 않다)

-(로)봇이 고통 및 다른 정서적 상태들을 경험할 수 있게 된다면 그런 시스템을 제작하는 것이 도덕적인가?

-신기술이 몰고 온 위험을 어떤 기준으로 평가하고 그 가능성을 증명할 것인가?

 AMA 개발을 향해 나아가야 할 필요가 있다고 믿는다. 미래 사회가 (로)봇이 진정한 도덕적 행위자라고 여길지 말지는 요점이 아니다. 윤리적 의사결정을 위한 법과 도덕적 고려사항에 대해 현재보다 더욱 민감한 시스템을 앞으로는 제작할 수 있을 것이다. 미래는 AMA를 요구한다.

에필로그 
(로)봇의 마음 그리고 인간의 윤리

인간 이외의 동물에 대해 인간이 오랫동안 매료된 까닭은 동물이 인간과 가장 비슷한 존재라는 사실에서 비롯된다. 동물과의 유사점 및 차이는 인간으로 하여금 자신이 누구이며 어떤 존재인지에 대해 많은 것을 알려준다. AMA가 더욱 정교해지면 이 시스템이 인간의 가치를 반영함에 따라 그에 상응하는 역할을 하게 될 것이다.  윤리가 무엇인지 이해하기 위해서라도 AMA의 개발보다 더 중요한 일은 세상에 없을 것이다.