Tuesday, 19 November 2013

인간과 기계의 얼굴 인식 Human and machine recognition of faces: a survey

Chellappa, R., Wilson, C.L., Sirohey, S. (1995) Human and machine recognition of faces: a survey, Proceedings of the IEEE , Volume: 83, Issue: 5, Publication Year: 1995 , Page(s): 705 - 741

상단 논문 번역 및 요약


I. Introduction
FRT(face recognition technology)는 이미지 프로세싱, 패턴 인식, 컴퓨터 비전, 신경 회로망 등의 영역에 걸친 분야이다. 상업적, 법집행 용도로 널리 이용될 수 있다. 이 논문에서는 인간이 어떻게 얼굴을 인식하는지, 지난 25년간 공학적으로 어떤 이슈들이 있었는지에 대해 다룬다.


일반적인 문제 상황은, 주어진 이미지나 비디오에서 데이터베이스의 얼굴을 사용해서 특정 사람을 식별하는 것. 얼굴 인식에는 장면에서 얼굴을 분리(segmentation), 얼굴에서 특징점을 뽑아내고(feature extraction), 식별을하고(identification), 매칭(matching)을해야 한다.


지난 20여 년간 정신물리학자, 신경과학자, 공학자 등은 인간의 얼굴 인식에 대한 다양한 측면을 연구했다. 정신물리학자와 신경과학자는 얼굴의 유일성, 얼굴을 전체적 혹은 부분적으로 인식하는지, 얼굴 표정 분석과 인식에 활용, 아기의 얼굴 인식, 얼굴 기억을 위한 기관, 뒤집힌 얼굴 인식의 어려움, 얼굴 인식을 위한 "할머니" 뉴런의 존재, 얼굴인식에서 우뇌의 역할, 얼굴인식불능증 등에 의한 얼굴인식 장애. 몇몇 결과는 얼굴 인식 기술 개발에 영향을 끼쳤다.


1970년대 FRT에는 얼굴 feature의 속성을 사용하는 방법이 사용되었다.
1980년대는 FRT 연구가 거의 없었다.
1990년대는 FRT 개발이 급격히 증가했다. 감시와 관련한 수요 증가, 실시간 하드웨어의 접근성 증가, 실시간 컴퓨테이션을 강조한 신경회로망 classifier의 재출현 등 때문.


II. Applications
--matching--
1. 신용카드, 면허증, 여권, 머그샷
2. 은행/상점 보안
3. 군중 감시
--similarity detection--
4. 전문가 Identification
5. 증인 얼굴 재구성
6. 전자 머그샷 책
7. 전자 라인업
--generating an image--
8. 자료로부터remains 얼굴 재구성
9. 노화 컴퓨팅


III. Psychophysics and Neurophysiological Issues Relevant To Face Recognition
일반적으로 인간은 얼굴 인식에 모든 감각을 다 사용한다. 맥락적 지식도 사용한다.(얼굴 위치가 대충 어디쯤 있어야 한다는 지식 등). 이 모든 전략을 다 모방할 수 있으면 좋지만 지금으로선 불가능.
그런데 인간은 기억하는 사람수에 한계가 있다. 컴퓨터의 장점은 수많은 얼굴 데이터를 처리할 수 있다는 것.


-얼굴이 독립적 과정이냐?: 다른 것보다 얼굴이 기억하기 쉽다, 얼굴인식장애 있는 사람은 다른 장애는 없다, 아기는 얼굴 패턴을 더 선호한다
-얼굴 인식은 전체적 분석이냐 특징점 분석이냐?: 연구에서는 전체적 분석은 특징점 분석을 보완하는 것으로 나타남
-중요한 얼굴 부위는 어딘가?: 코는 덜 중요하다. 얼굴 상단이 더 중요하다. 예쁜사람, 못생긴사람, 보통사람 순으로 인식
-뇌의 역할: 우뇌가 얼굴인식 역할에 있어 조금 더 나은 것 같다.
-얼굴 표정: 얼굴 인식과 얼굴 표정 인식은 별개
-인종/성별의 역할: 자신의 인종을 더 잘 인식, 일본의 경우 여자 얼굴이 훨씬 다양. 백인 여자가 남자보다 다양하지만 차이는 미미.


IV. Face Recognition From Still Intensity and Range Images
A. Segmentation
이미지를 블러시킨 후 에지를 따서 머리를 추출하고 거기서 눈, 코, 입 위치 등 파악하는 등, 이 방법에서는 배경에서 에지를 분리하고 그 에지에 머리가 있는지 다양하게 평가하는 식. 템플릿이 주로 사용되는 듯.


B. Feature Extraction
아이겐페이스: 소스 얼굴들을 아이겐 벡터들로 바꾸면, 이 벡터들의 조합으로 그 소스 얼굴을 모두 구성할 수 있음. 핵심은 이것이 사람 얼굴을 재현한 방식. 벡터의 weight가 feature 역할.
이 외에 아이겐페이스, 템플릿 사용 등 다양한 방식으로 feature를 추출. (한 논문은 feature를 visual features, statistical pixel features, transform coefficient features and algebraic features로 나눈다고 정리)


C. Recognition
1) Earlier approach
초기에는 얼굴에 사람이 특징점을 표시. 그 특징점 비교해서 얼굴 인식.
이후 특징점을 자동으로 측정. 얼굴을 기하학적 수치로 환산. 눈 사이의 거리, 각도 등.
2) Statistical approach
eigenfaces이용. 데이터 얼굴을 벡터로 환산해 놓고, 인풋 얼굴 벡터를 데이터 벡터와 거리를 재는 것. 얼굴이미지와 비얼굴이미지 값은 많이 다르니 얼굴 검출에도 이용. 사이즈에 민감.
3) Neural Networks approach
각 얼굴을 neural network으로 만들어 놓고, 인풋 얼굴이 어디에 가까운지. 얼굴인식, 감정인식, 성별인식 등에 사용.


D. Range Images
깊이값 있는 영상 이용.


V. Face Recognition from Profiles
옆 모습으로 얼굴 판단. 옆 얼굴은 앞모습과 다른 정보가 있고 머그샷에는 옆얼굴이 포함되어 있으니까 활용할수 있으면 좋다.


VI. Face Recognition From An Image Sequence
동영상 분석은 20여년 역사가 있는데 얼굴 인식 관련해서는 없다. 다음과 같은 기술은 얼굴인식에도 관련이 있다.
1) 비디오 시퀀스에서 오브제를 분리하는 것
2) 구조 추정-3D 구조를 파악하는 것
3) 얼굴 3D 모델-증거 얼굴 복원, 변장 얼굴 인식 등에 유용.
4) Nonrigid 오브제 움직임 분석-얼굴 표정 인식 등.


A. Segmentation
템플릿을 사용해서 머리 위치 파악, 프레임별 차이, Optical Flow 분석 등 활용.


VII. Applications
A. Commercial applications
B. Law Enforcement


VIII. Evaluation of a Face Recognition System
OCR, 지문 인식에 대한 연구를 바탕으로 해 볼 수 있다.
많은 데이터를 사용하는 것이 중요하다.
샘플 추출도, 예상되는 인풋 얼굴에 맞게 통계적으로 해야 한다.


IX. Summary and Conclusions
-얼굴인식은 치안을 위해서 특히 중요하고. 지문을 대체하여 활용될 수도 있다.
-컴퓨터 얼굴인식이 꼭 인간의 얼굴인식 방법을 따라야하는 것은 아니지만 참고할 수 있다.
-얼굴 영역 추출은 얼굴 인식의 첫번째 단계인데, 큰 관심을 받지 않았다. 연구해야 한다.
-얼굴의 전체적, 부분적 특징이 모두 유용하게 활용될 수 있다.
-동영상에서 얼굴 인식하는 것은 어렵다. 현재는 프레임차이를 사용해서 얼굴 위치 파악하고, 그 다음에 인식을 하는 테크닉 활용.
-현재 기술을 잘 평가하는 것이 이를 발전시키는 데 중요하다.



*Reflection
-이 때는 동영상 얼굴 검출/인식은 거의 안되고 있던 때 인것 같다.
-얼굴 검출 보다는 인식에 포커싱을 두었다. 이미 있는 정리된 데이터베이스와 인풋 데이터를 매칭하는 용도가 주를 이뤘기 때문인듯. 머그샷, 신분증 등은 얼굴만 추려져 있으니까.

Monday, 28 October 2013

인간의 인간적 활용: 사이버네틱스와 사회 The Human Use of Human Beings: Cybernetics and Society

인간의 인간적 활용: 사이버네틱스와 사회
The Human Use of Human Beings: Cybernetics and Society

노버트 위너



1. 사이버네틱스의 역사적 위치
기브스의 물리학은 뉴턴 물리학과 달리 모든 일이 정확한 법칙에 따라 일어나는 단일한 우주가 아니라 압도적인 확률로 벌어지는 세계를 제시했다. 기브스 이론 중에는 여기서 나가아 우주가 나이를 먹을수록 이 확률은 자연적 증가 경향을 보인다는 이론도 있다. 이 확률의 척도를 엔트로피라고 부르며, 엔트로피의 특징적인 경향은 증가하는 데 있다.
엔트로피가 증가하면, 우주와 우주 내에 있는 모든 닫힌계에서는 자연적으로 그 특수성이 감퇴하거나 사라지는 경향을 보이며, 확률 최소의 상태에서 확률 최대의 상태로 이동하는 경향이 있고, 구별과 형식이 존재하는 차별과 조직의 상태에서 같음과 카오스의 상태로 자연적으로 이동하는 경향이 있다.
엔트로피가 무질서의 단위라면, 메시지가 전달하는 정보는 질서의 단위이다. 메시지의 확률이 커질 수록 정보의 수는 적어진다. 기브스의 우주에서는 질서가 일어날 확률이 가장 낮고 카오스가 일어날 확률은 가장 높다. 그러나 전체 우주는 흩어져 가는 와중에 국지적으로 고립된 영역이 존재하는데, 생명은 이와 같은 고립 영역을 찾아 터전으로 삼는다.

우주는 오른쪽 방향으로 간다, 그러나 국지적으로 왼쪽으로 가려는 영역이 있다.(예, 생명체)
엔트로피(낮음) -------------> 엔트로피(높음)
확률(낮음)       -------------> 확률(높음)
질서(높음)       -------------> 질서(낮음_무질서)
정보(높음)       -------------> 정보(낮음)

살아 있는 생물체의 물리적 기능과 새롭게 등장하는 일부 커뮤니케이션 기계의 작동은 피드백을 통해 엔트로피를 통제하려는 유사한 시도를 한다는 점에서 정확히 서로 대응한다.
한 사회를 이해하기 위해서는 그 사회에 속한 메시지와 커뮤니케이션 설비를 연구해야 한다. 그리고 앞으로 이러한 메시지와 커뮤니케이션 설비가 발달함에 따라 인간과 기계 사이, 기계와 인간 사이, 기계와 기계 사이의 메시지가 점점 더 중요한 역할을 하게 될 것이 분명하다.

(우주는 엔트로피가 증가하는 혼돈으로 향하지만, 생명체는 그 반대 방향을 향한다. 기계도 그렇다.)


2. 진보와 엔트로피
자연은 무질서로 향하는 통계적 경향, 즉 엔트로피가 증가하는 경향을 보인다. 국지적이며 일시적으로 엔트로피가 감소하는 계가 있는데 이것은 단지 생명체에만 한정된 것은 아니다. 기계 또한 국지적이며 일시적으로 정보를 축적하는 데 기여한다.
생명을 흉내 낸 오토마타는 첫째, 일을 수행하기 위한 운동 기관(손, 발과 같은)이 있어야 한다. 둘째, 광전지나 온도계와 같은 감각 기관을 통해 외부 세계와 공명(피드백)해야 한다. 일반적인 반사 운동처럼 단순한 피드백도 있지만, 특정 동작은 물론 행동 방침 전체를 조절하는 데 과거의 경험을 사용하는 수준 높은 피드백(학습)도 있다. 이러한 모든 행동 형식들이나 특히 더 복잡한 행동의 경우, 피드백으로 돌아온 정보를 근거로 하여 기계가 다음에 어떤 행동을 취해야 할지 결정해 줄 중심 결정 기관이 있어야 한다. 이 때 기계는 살아있는 유기체의 기억과 유사한 방법을 사용해서 정보를 저장한다.(윌리엄 애슈비가 기계와 생명 유기체 사이의 관계에 대해 썼다. Design for a Brain)

점점 더 높이 더 나은 방향으로 자발적인 향상이 이루어진다고 본 라마르크와는 달리 다윈은 진화는 살아 있는 개체가 (a)여러 방향으로 발전하는 경향이며 (b)선조의 패턴을 따르는 경향을 보여 주는 현상으로 보았다. 지나치게 번성해서 발전하는 자연의 불필요한 부분은 제거되고 환경에 적응하지 못한 유기체들은 ‘자연 선택'의 과정을 통해 솎아진다는 것이다. 이러한 가지치기의 결과, 생명 형태 중 환경에 적응하는 잔여적 패턴만이 남는다. 다윈에 따르면 이러한 잔여적 패턴은 보편적인 목적성인 것처럼 보인다.
애슈비는 잔여적 패턴이라는 개념을 사용해서 학습 기계를 설명한다. 어느 정도 랜덤하고 우연한 구조를 지닌 기계는 평행 상태에 가까운 위치나 평행 상태에서 멀리 떨어진 위치에 놓일 것이라 지적한다. 평행 상태에 가까운 패턴은 그 본성상 오랫동안 지속되는 반면, 평행 상태에서 멀리 떨어져 있는 패턴은 아주 일시적으로만 나타난다고 설명한다. 그 결과, 다윈이 설명했던 자연에서와 마찬가지로 애슈비가 설명한 기계에서도 목적 없이 만들어진 계 안에서 목적성이 나타난다. 이는 무목적성 자체가 원래 일시적인 것이기 때문이다. 물론 장기적으로는 최대 엔트로피라는 매우 사소한 목적이 가장 지속적인 것처럼 보일 것이다. 그러나 잠정적으로 보면, 하나의 유기체 집단은 서로 다른 부분들이 어느 정도 의미 있는 패턴에 함께 협력하는 활동 모드에서 좀 더 오래 살아남을 것이다.
학습 과정을 통해 고유한 목적을 찾는다는 비목적성의 우연한 메커니즘에 대한 애슈비의 아이디어야말로, 오늘날까지 철학이 기여한 것 중에서 가장 위대한 것일 뿐 아니라 자동화 기계의 임무를 기술적으로 발전시키는 데 지극히 유용한 역할을 할 것이다. 기계에 목적을 주입할 수도 있고, 특정한 단점이나 고장을 피하도록 설계된 대다수의 기계들의 경우 그들이 수행할 수 있는 목적을 찾게 될 것이다.

열역학 제2법칙(고립계에서 엔트로피는 증가한다)을 비관적으로 해석하느냐 아니냐의 문제는, 한편으로는 우리가 전체로서의 우주를 어느 정도 중요한 것으로 보느냐에 달려 있고, 다른 한편으로는 그 안에서 국지적으로 감소하는 엔트로피의 섬을 얼마나 중요한 것으로 여기느냐에 달려 있다. 우리 모두는 그렇게 엔트로피가 감소하는 섬 가운데 하나이며, 이러한 성질을 가진 여러 섬들 사이에서 살고 있다는 점을 기억하자. 그렇게 되면 가까운 것과 먼 것 사이의 일반적인 차이를 통해 결국 우주 전체보다는 엔트로피가 감소하고 질서가 증가하는 지역을 더 중요시하게 될 것이다.
게다가 생명이 속할 수 있는 시간대는 제한적이라는 점도 알 수 있다. 지질학적 초기 시대에는 생명이 존재하지 않았으며, 지구가 또다시 생명체가 사라진 채 불타 버리거나 얼어 버린 행성이 되는 것도 상상 가능하다. 생명 유지에 필요한 화학 반응을 일으킬 수 있는 물리적 조건의 범위가 지극히 제한되어 있음을 아는 사람들에게, 지구상에서 인간은 물론 모든 형태의 생명이 지속될 수 있도록 해 주는 행운의 사건이 한순간 급작스러운 재앙으로 결말을 맞게 되리라는 것은 기정사실이다. 그러나 우리는 우리의 가치를 건설하는 데 성공하여, 살아 있는 존재라는 일시적인 사건과 그보다 훨씬 더 일시적인 인간 존재라는 사건마저도, 그 덧없는 특성에도 불구하고, 가장 중요한 긍정적 가치로 여길 수 있다.
진보에 대한 맹목적인 믿음은 굳건한 확신이 아니라 어쩔 수 없이 받아들여야 하는 미약한 신념이다.

(우주 전체적으로 보면 결국 엔트로피는 증가하지만, 우리의 삶은 그 반대 방향이다. 이것은 국부적이고 일시적이지만 우리는 이것을 더 중요시해야 한다. 미약한 신념으로.)


3. 고정성과 학습: 커뮤니케이션 행위의 두 가지 패턴
이미 살펴봤듯이 어떤 기계들과 일부 생명 유기체, 특히 고등 생명 유기체는 과거의 경험을 기반으로 행동 패턴을 수정하여 특정한 반엔트로피적인 목표를 달성한다. 이처럼 커뮤니케이션을 하는 고등 유기체의 경우에는 개체가 과거에 경험했던 환경에 따라 행동 패턴을 바꿀 수 있다. 즉 어떤 의미에서는 미래의 환경을 더욱 효과적으로 다룰 수 있는 행동 패턴으로 변화하는 것이다.
개미와 같은 곤충은 대용량을 기억할 수 없고 변태라는 중간 격변기를 겪음으로써 성충 시기와 단절된 형태로 유충 시절을 보낸다는 사실을 볼 때 개미가 많은 학습을 할 가능성은 크지 않다. 개미의 행동은 지성에 따른 것이라기보다는 본능에 가깝다. 곤충이 입고 성장해야 하는 물리적 죄수복은 그 행동 패턴을 규제하는 정신적 죄수복과 직접 관련 된다. 곤충의 역학적인 고정성이 곤충의 지적인 능력에 제한을 주는 반면, 인류의 역학적인 유동성은 거의 무한하다 할 수 있을 만큼 지적인 팽창을 가능케 하는 요소라는 사실이야말로 이 책의 핵심적인 관점과 밀접하게 연결되어 있다. 사이버네틱스가 기대고 있는 관점은 기계나 유기체의 구조는 거기에서 기대할 수 있는 수행성을 말해 주는 지표라는 점이다. 이론적으로 말해서 만일 인간 생리학을 그대로 복제한 기계 장치를 만들 수 있다면 인류의 지적인 능력까지도 그대로 복제할 수 있는 기계를 만들 수 있다.

피드백은 어떤 시스템의 과거의 실행 결과를 다시 그 시스템에 집어넣음으로써 그 시스템을 통제하는 방법이다. 만일 이러한 결과들이 단순히 그 시스템과 그 규정을 비판하는 수적인 데이터로만 사용된다면, 이는 제어 엔지니어들의 단순한 피드백이 된다. 그러나 만일 실행 결과로부터 되돌아 진행하는 정보가 실행의 일반적인 방법과 패턴을 변경할 수 있다면, 이는 학습이라고 부를 만한 과정이 된다.
시냅스의 작동 방식과 디지털 기계의 작동방식을 대응시킬 수 있다. 디지털 기계에는 테이핑(코드)이 있어서 수행해야 할 연속 작용을 결정한다고 언급했다. 또한 과거의 경험에 근거한 이 테이핑의 변화는 학습 과정에 상응한다는 점도 이야기했다. 인간의 뇌에서 이 테이핑과 유사한 것은 시냅스 문턱synaptic threshold의 결정이다.

(인간의 경험을 통한 학습은 피드백을 통해 기계에서도 나타날 수 있다.)


4. 언어의 메커니즘과 역사
일반적으로 커뮤니케이션과 언어가 인간으로부터 인간을 향한 것이라 생각한다. 그러나 실제로는 인간이 기계에 말하고, 기계가 인간에게 말하고, 기계가 기계에게 말하는 방식이 모두 가능하다.
인간에게는 세 가지 언어 커뮤니케이션 네트워크가 있다.
첫 번째는 음성학적인 측면. 소리 그 자체에 관련.
두 번째는 의미론적 측면.
세 번째는 행동수준. 개인의 경험을 외부에서 관찰 가능한 행동으로 번역하는 것.

그러나 인간을 제외한 다른 동물, 침팬지조차 말을 학습하지 못한다. 이것은 언어의 음성학적 단계가 아니라 의미론적 단계와 관련된다. 침팬지는 귀에 들어온 소리를 번역해서 자신의 아이디어와 결합하거나 복잡한 행동 양식으로 변환하는 신체 메커니즘을 타고나지 못했을 뿐이다. 인간은 부호화와 해독화에 대한 관심을 타고난 덕분에 언어에 관심을 갖게 된 것이며, 이는 그 어느 것보다 고유하게 인간만이 갖고 있는 관심인 것 같다.
인간은 물론이고 기계에서 의미론적으로 유의미한 정보란, 그 어떤 자연적, 인위적 방해에도 불구하고 수신 시스템의 실제 메커니즘을 관통하는 정보다. 사이버네틱스의 관점에서 볼 때, 의미론은 의미의 정도를 정의하고 커뮤니케이션 시스템에서 일어나는 정보의 손실을 제어한다.

(언어는 다른 동물에 비해 인간만이 가진 고유한 능력이다. 기계를 만들 때 인간만이 갖고 있는 특징을 확장시키는 것을 통해 기계도 이 능력을 학습할 수 있다.)


5. 메시지로서의 유기체
여기서는 공상의 요소를 다룬다. 이 장에서 사용할 은유는 유기체를 메시지로 볼 수 있다는 것이다.
생명이란 죽어 가는 세상에서 지금 여기 존재하는 하나의 섬이다. 살아 있는 존재가 타락과 부패의 일반적인 흐름에 저항하는 과정을 일컬어 항상성이라 한다. 이것은 기계적인 자동 장치에서 가장 잘 드러나는 것과 같은 형태의 네거티브 피드백 메커니즘이다.
생명은 항상성에 의해 유지되는 패턴이다. 패턴은 메시지이고 따라서 메시지로 전달될 수 있다. 우리가 만일 인간 몸의 패턴 전체 혹은 기억력과 상호연결성을 가진 인간 두뇌를 전송할 수 있게 된다면 어떤 일이 벌어질지 상상해 보는 것은 흥미로울 뿐 아니라 실제로 도움이 된다. 이 일이 가능하다면 가상의 수신 장치가 메시지를 적절히 재구성하여 우리의 몸과 정신 속에서 이미 일어나고 있는 과정들을 계속해서 재현할 수 있을 것이고, 이를 지속하는 데 필요한 원래의 상태는 항상성 과정에 의해 보전될 수 있을 것이다.
단순한 물리적인 이동보다 정보 소통이 더 중요하다. 인간의 말이 가 닿는 지점과 인간의 지각력이 미치는 지점까지 인간의 제어 능력과 신체적 존재가 확장된다. 메시지의 이동은 인간의 감각 기관을 확장시키고 인간의 행동 능력을 지구 한쪽 끝에서 다른 쪽 끝으로 확장시키는 정도까지 나아갔다.
4장에서 물질적 이동과 메시지 이동 사이의 구별이 그 어떤 이론적인 의미에서도 영원하거나 연결 불가능한 것이 아니라는 점을 설명했다. 이 문제는 인간의 개체성이라는 문제와 깊이 관련된다. 몸의 개별성은 돌의 개별성이 아니라 불꽃의 개별성이다. 이러한 몸의 형태는 전송되거나 수정되거나 복제될 수 있다. 그러나 현재까지는 짧은 거리에 걸쳐 복제하는 방법에 대해서만 알고 있을 뿐이다. 하나의 세포가 둘로 나뉠 때, 또는 우리의 육체적이고 정신적인 생득권을 운반하는 유전자 중 하나가 생식 세포의 감수 분열을 준비하기 위해 갈라질 때, 그 자체를 복제하려는 살아있는 조직의 패턴의 힘에 따라 조건화된 물질의 분리가 일어난다. 만일 그렇다면 한 나라에서 다른 나라로 전신을 보낼 때 사용할 수 있는 전송 양식과 인간 등의 살아 있는 유기체를 전송할 수 있는 가능성 사이에는 적어도 이론상으로는 절대적인 차이가 없다.
그렇다면 기차나 비행기 여행은 물론 전신을 통해서도 여행할 수 있다는 생각은 비록 현실화되기에는 어려운 생각일지라도 근본적으로 말이 되지 않는 생각은 아니라는 점을 인정하자. 근대 사회의 교통의 중요성을 실험하려던 키플링의 생각은 인체의 수송보다는 인간이 가진 정보를 전달하는 편에 압도적인 중점을 둔다는 교통의 견지에서 재고되어야 한다.

(유기체를 메시지로 볼 수 있다. 단순한 물리적 이동보다는 정보의 이동이 중요하다. 이를 통해 인간의 제어 능력과 신체적 존재가 확장될 수 있다.)


6. 법률과 커뮤니케이션
법률은 커뮤니케이션과 커뮤니케이션 행태로서의 언어에 적용되는 윤리적 통제라고 정의할 수 있다. 법률의 집행에는 두 가지 문제가 있다. 하나는 법률의 일반적 목적, 즉 정의에 대한 개념의 문제고 다른 하나는 이러한 정의의 개념이 효율적일 수 있는 방법에 대한 문제다.
법률은 다른 무엇보다도 법률이 원하는 바를 정확히 알아야 한다. 입법가나 판사들은 법조문을 분명하고 모호함 없이 만들어 전문가들은 물론 당대의 보통 사람들까지도 모두 한결같이 해석할 수 있게끔 하는 것이다. 법률가들이 과거의 판례를 해석할 때는 법정이 이미 했던 말뿐아니라 법정이 앞으로 하게 될 말까지도 높은 확률로 알 수 있도록 해야 한다. 따라서 법률의 문제를 커뮤니케이션의 문제나 사이버네틱스의 문제, 즉 어떤 결정적인 상황에서 질서에 따라 반복적으로 통제될 수 있는 문제로 여길 수 있다.
소음이 인간 커뮤니케이션 혼란을 주는 요인으로 여겨지지만 그 피해가 의도적으로 악의적이지는 않다. 이는 과학 커뮤니케이션에서 있어서는 사실이고 두 사람 사이에 벌어지는 일상 대화에서도 대부분 그러하다. 반면 경험적으로 볼 때 법정에서 사용되는 언어들의 경우 가장 그렇지 못하다. 법률 시스템의 전체적인 특성은 충돌에 있다. 법률은 최소한 세 이해 당사자가 참여하는 대화이다. 예컨대 민사라면 원고, 피고, 그리고 판사와 배심원으로 구성된 법 시스템이 참여하는 대화이다. 이는 전적으로 폰 노이만식 게임이다.

(법률을 사이버네틱스 문제로 볼 수 있다. 그런데 법률 시스템의 경우 폰 노이만식 게임을 닮았다. 그러므로 이것은 언어를 혼란스럽게 만들려는 자연의 경향과는 다른 것이다. 4장에서 일반적 커뮤니케이션 담론의 대상은 자연 자체의 엔트로피 경향이지 어떤 의도를 가진 실제 적수는 아니라고 언급했다. 따라서 법률은 그 비일반적 커뮤니케이션의 예인것 같다.)


7. 커뮤니케이션, 비밀, 사회 정책
전형적으로 미국적인 세계에서 정보의 운명이란 팔고 사는 어떤 물건이 되는 것이다.이러한 태도는 정보와 그와 관련한 개념들을 잘못 이해하고 잘못 다루는 결과를 초래할 수 있다.
특허법: 기술을 발전시키는 것과 자연법칙을 발견하는 것은 구분된다. 후자에는 소유권이 인정안된다. 오늘날 등장하는 발명품들은 일반적으로 머리를 써서 만들어 낸 구조를 갖고 있기 때문에 상품으로서 정체성을 상실하고 있다. 좋은 상품은 물건의 본질적인 가치를 보존하면서도 손에서 손으로 전달 가능해야 한다. 그러나 정보는 쉽게 보존할 수 없다.
국가의 군사적 과학적 노하우: 무기의 효능은 특정 시기에 정확히 그에 필적할 만한 다른 무기들이 있느냐 하는 점에 달렸다. 다음 위기에 대비해 무기를 저장하는 것은 무기 저장 과잉을 초래한다. 경제적 수준에서, 영국은 산업 혁명 초기 폭이 좁은 철도와 낡은 공장 유물탓에 현대적 시스템을 건설하는 데 어려움을 겪었다. 정보는 저장보다는 처리 과정의 문제이다. 국가의 당면 요구들에 대처하기에 적당한 상태로 정보와 과학을 처리하는 국가가 최대의 안전 보장 국가가 될 것이며, 이러한 국가에서는 우리가 외부 세계를 관찰하고 그에 맞게 효과적으로 행동하는 연속적인 과정 중 한 단계로서 정보의 중요성이 충분히 인식되어 있을 것이다.

비밀, 메시지 교란, 허세 등의 기술은 모두 우리 측이 다른 측보다 커뮤니케이션의 힘과 기구를 더 효과적으로 사용할 수 있도록 확보하는 일에 관련된다. 제아무리 완벽한 과학적 기밀이라도 그 확산은 단지 시간문제일뿐이다. 이 게임에서는 장기적으로는 우리가 무장하는 것과 적을 무장시키는 것 사이에 구별이 없다.(우리의 무장에 관한 정보를 상대가 곧 알아채고 그 수준으로 무장을 할 것이므로) 따라서 가공할 만한 발견을 하나씩 할 때마다 우리가 또다시 새로운 발견을 해야 하는 필요성은 점점 더 증가한다. 그래서 결국은 이 땅의 모든 지적 잠재 능력이 건설적인 활용 가능성으로부터 유출되어 신구를 막론하고 경쟁에 필요한 수많은 요구에 투입될 것이다. 이러한 무기의 효과는 지구의 엔트로피를 증가시켜서 결국은 뜨겁고 차가운 것 , 선하고 나쁜 것, 인간과 물질 사이의 모든 구분이 사라져 새로운 별의 하얗게 불타는 용광로가 될 것이다.

살아 있다는 것은 외부 세계로부터 끊임없이 흘러드는 영향에 참여하는 일이고 외부 세계에 대하여 행동하는 일이며, 그 속에서 우리는 과도기 단계에 있을 뿐이다. 세계에서 벌어지는 일 속에서 살아가고 있다는 것은 끊임없는 지식의 발전과 그 막힘없는 교류에 참여한다는 의미이다. 적절한 지식을 적이 갖지 못하도록 하는 일보다 훨씬 더 어렵고 중요한 일은 우리가 그러한 지식을 확보하는 일이다.

(정보는 저장하고 감추어야 할 어떤 것이 아니다. 외부세계와 끊임없이 교류하며 지식을 발전시켜야 한다.)


8. 지식인과 과학자의 역할
이 책에서 주장하는 것은 내부적인 커뮤니케이션 채널의 온전함이 사회 복지의 필수적인 요소라는 점이다.
예술가와 작가와 과학자들은 거부할 수 없는 추진력에 이끌려 창작을 해야 하고, 심지어는 그 작업에 대한 보상을 받지 못한다 할지라도 그 일을 맡을 수 있는 기회를 잡기 위해 직접 비용을 지불하기도 한다. 그러나 우리는 형식이 교육적인 내용에 우선하며 나날이 교육의 내용이 얄팍해지고 있는 시기를 살고 있다. 아마도 이제는 커다란 추진력보다는 단순히 학위를 획득하여 문화적 직업이라고 여겨지는 궤적을 따라가기 위한 사회적 지위의 문제로 간주하는 것 같다.
커뮤니케이션 할 필요가 없는 커뮤니케이션이 있을 때, 단지 누군가가 커뮤니케이션의 전도사라는 사회적이고 지적인 지위를 얻기 위해서 그러한 커뮤니케이션이 일어난다면, 그 메시지의 질적이고 커뮤니케이션적인 가치는 무거운 추처럼 급속히 추락하게 된다.

(커뮤니케이션 채널은 열린 채로 정보는 교환되어야 하고. 커뮤니케이션하는 일련의 행위는 특정 주체들이 정해놓은 방향이 아니라 개개인의 동력에 의해서 자유로운 길을 따라야 한다.)


9. 1차 산업 혁명과 2차 산업 혁명
산업혁명은 인간의 다른 기능에는 큰 영향을 미치지 않으면서 인간과 동물을 동력원의 위치에서 물러서게 해 주었다. 오늘날 곡괭이질과 삽질을 하는 노동자가 생계를 위해 할 수 있는 최선의 일은 불도저가 지나간 다음에 뒤처리를 하는 것 정도이다.
더욱 완벽한 자동화 시대의 그림을 그려 보자. 미래의 자동차 공장의 조립 라인의 연속 작동은 현대적인 고속 컴퓨터가 제어할 것이다. 컴퓨터의 가격은 내려갈 것이고 이것의 행동은 테이핑을 통해서 조정할 수 있다. 뿐만아니라 기계가 생산 과정뿐 아니라 반복적으로 실행되는 일상의 통계적 제어까지도 처리할 수 있다. 기계는 일반 노동력과 화이트 컬러 노동력을 가리지 않는다. 기계가 사용되는 곳에 누군가 판단을 대신할 기계를 사용할 수도 있다는 것은 상상 불가능한 일은 아니다.
이 새로운 혁명은 양날의 검이다. 인류의 이익을 위해 사용될 수도 있지만 인류를 파괴하는 데 사용될 수도 있다.

(산업 혁명이 노동력을 대신했다면 2차 산업혁명-지능적 기계를 통한- 판단을 대신할 수도 있을 것이다.)


10. 커뮤니케이션 기계와 그 미래
앞서 설명한 공장 시스템과 관련 없는 자동화 기계 관련 문제들도 있다. 신체 기능이 손실되거나 약화된 인간에게 인공 기관을 보조하거나 대치하는 목적의 문제이다.
기계는 불구가 되었거나 감각 기관의 장애로 인해 손상된 부분을 보강할 뿐 아니라, 이미 강력한 힘을 가진 기관에 새로이 더 큰 힘을 더해 주어 잠재적으로 위험스러울 정도까지 사용될 수 있다. 이미 기계의 도움으로 시각적 패턴을 청각적 언어로 변환함으로써 일반 텍스트 내용을 시각 장애인에게 읽어 주는 기계를 만들 수도 있다. 이와 비슷한 기계를 사용하여 시각 장애인에게 위험물에 접근하고 있다는 것을 알려줄 수도 있다. 그리고 청각을 완전히 잃은 사람들을 돕기 위해 이 기계를 사용할 수도 있다.
기계들 사이의 행동을 관찰해서 이를 사회적 행동으로 해석할 수도 있다. 이는 기계 행동에 대한 새로운 과학의 시작이다.
학습 가능한 기계는 군사적 상황을 평가하고 어떤 특정한 시기에 필요한 최선의 움직임을 결정할 수도 있다.
우리 과학자들은 심지어 군인이나 정치가로서 우리의 지식을 발휘해야 할 때라 할지라도, 인간의 특성이 무엇이며 그 타고난 목적이 무엇인지 알아야 한다.
‘노하우’ 보다 ‘노왓 know-what’이 중요하다. 이는 우리의 목적을 어떻게 달성할 것인가 뿐 아니라 우리의 목적이 무엇이 되어야 할 것인가를 결정해야 함을 의미한다.

(어떻게 하느냐 보다 무엇을 할 것인가를 아는 것이 중요하다. 다음의 혁명이 가져올 가능성을 올바르게 사용하기 위해 우리의 목적을 바로 설정해야 한다.)


11. 언어, 혼동, 방해
4장에서 파리의 브누아 만델브로와 하버드의 야콥슨 교수의 언어의 현상들에 관한 내용을 언급했다. 여기서는 그 두 연구자들의 철학적 바탕의 결과를 더 발전시키고자 한다. 그들은 커뮤니케이션은 혼동의 힘에 대항하여 발화자와 청취자가 협력 관계를 유지하는 것이라 여겼다. 즉 커뮤니케이션을 방해하는 측은 혼동을 주기 위한 최선의 방책을 강구하고, 그러면 다시 발화자와 청취자는 그때까지의 방책 중 최선의 것을 선택해 사용하는 식으로 계속되는 것이다. 이는 폰 노이만식 게임이다.
이에 관해서는 아인슈타인의 말이 가장 중요한 의미를 지닌다. “신은 속내를 알기 힘들지만, 비열하지는 않다.” 효율적인 과학자가 되기 위해서는 자신의 일이 정직한 신을 다루는 것이라는 가정을 고지식하게 받아들여야 하고, 심지어 의도적으로 고지식할 필요도 있으며, 정직한 사람의 입장에서 세상에 질문을 던져야 한다.
과학에서 신념이 필요하다는 나의 말은 순수한 인과의 세계와 확률이 지배하는 세계에서도 똑같이 적용된다. 순전히 객관적이고 개별적인 관측이 제아무리 많다 해도 확률이라는 것이 타당한 개념임을 입증할 수는 없다. 이 말을 다른 말로 표현하면, 논리학에서 귀납법은 귀납적으로 성립할 수 없다는 뜻이다. 베이컨의 논리학이기도 한 귀납 논리는 우리가 증명할 수 있는 것이라기보다 그에 입각하여 우리가 행동할 수 있는 그 어떤 것이다. 그리고 그에 따라 행동한다는 것이 신념의 궁극적인 주장이다. 이와 관련해서 신의 솔직함에 대한 아인슈타인의 격언은 그 자체로 신념의 표명이라 말해 두어야겠다. 과학은 인간이 자유로이 신념을 가질 때에만 번성할 수 있는 생활 방식이다. 외부로부터 강요된 신념은 신념이 아니며, 그러한 유사 신념에 의존하는 공동체는 건전하게 성장하는 과학의 결핍으로 마비되고, 궁극적으로는 멸망할 수밖에 없다.

(사이버네틱스는 우주의 자연적 엔트로피 증가 경향을 전제한다. 인간을 비롯한 생명체 그리고 기계는 피드백을 통한 학습 즉, 커뮤니케이션 작동을 통해 이와 반대방향으로 향한다는 것. 그런데 폰 노이만식 게임에서는 자연적 엔트로피 증가 경향과 다른 커뮤니케이션을 통해 혼란을 야기하는 현상이 있다. 메시지이론은 이 상황은 전제하지 않는다. 또한 확률적 방법이 타당하다는 것도 입증할 수 없다. 그러나 자연은 정직하며, 순수한 확률이 지배하는 세계라는 것이라는 신념이 과학에 필요하다.)

Monday, 1 July 2013

미디어아트 이론과 정의 Theories and definitions of media art

미디어아트와 문화 Media art and culture

'미디어아트 Media art'라는 용어는 뉴미디어의 등장과 함께 나타난 기술적, 미적, 사회적, 문화적, 법적 그리고 정치적인 이슈를 다루는 예술 프로젝트를 일컫는다. 1990년대 이후 뉴미디어는 인터넷, 웹, 모바일, 무선, GPS 등의 기술을 포함하게되었다. '미디어 문화 Media culture'는 이러한 점에서 뉴미디어를 활용한다.

미디어아트는 비디오, 컴퓨터, 모바일 기기, 인터넷, 소프트웨어, 코드, 컴퓨터 게임, GPS, 스트리밍, 사운드 생성 기기, 로보틱스 등과 같은 새로운 도구와 규범(standards)의 기술적이고 미적인 영역을 탐구하는 프로젝트를 포함한다. 이런 프로젝트는 보통 기술적 한계, 지각의 스테레오타입 혹은 도구의 미적인 부분에 초점을 맞춘다.

현재 논의되고 있는 주제는, 공적 영역, 데이터의 접근성, 소프트웨어, 오픈 스펙트럼(open spectrum)*, 소셜 웹, 개인적 데이터와 아이덴티티 보호, 인간적 권리와 이와 관련한 사회적, 문화적, 법적, 정치적 이슈들이다.



미디어아트 이론과 정의 Theories and definitions of media art

Jean-François Lyotard: New materials (1979)
Lyotard는 1979년 책 La Condition Postmoderne에서 네러티브의 끝, 존재에 대한 인간 컨트롤의 끝, 인본주의적 전틍의 끝을 예견했다. 그는 1985년 전시 Les Immateriaux을 큐레이팅하여 새로운 물질 new materials(새로운 기술, 컴퓨터화 된 공간, 인터넷)의 존재가 인간과 세계의 관계를 급진적으로 변화시킬 것이라는 것을 보이고자했다. 그에 따르면 '새로운 물질'은 새로운 물질이 아니고, 그 스스로 작동하고 이야기함으로써 인간만이 일하고, 말하고, 계획하고 기억한다는 생각에 의문을 제기하는 것. 

Peter Weibel: Digital Image (1984)
미래주의, 입체주의, 입체미래주의, 절대주의, 다다이즘, 초현실주의 등은 미디어아트에 대한 개념적인 전신(precursor). 2차대전 이후에 나타난 새로운 예술 형태인 액션 페인팅, 플럭서스, 해프닝, 팝아트, 옵아트, 퍼포먼스 등은 '해방된 liberated' 디지털 이미지를 위한 토대를 준비하기 위한 것이었다고 주장.

Lev Manovich: New Media (2001)
The Language of New Media
뉴미디어는, 별도로 진행된 두 개의 역사적 궤도, 즉 계산 기술과 미디어 기술 발달의 궤도가 하나로 합쳐진 것이다. 이는 모두 1830년대에 시작되었으며, 그 시초는 배비지(Charles Babbage, 1792~1871)의 자료 입출력, 기억, 계산 등을 자동적으로 처리하는 계산기의 원형인 해석기관(analytic engine)과 다게르(Louis Jacques Mand Daguerre, 1787~1851)의 다게레오타입이라는 독자적인 사진 기술이었다.
20세기 중반에 이르러, 현대적 의미의 디지털 컴퓨터가 개발되어 숫자로 된 자료에 대한 계산을 보다 효율적으로 수행하게 되었다. 이와 평행적으로 우리는 사진 원판이나 필름, 레코더 같은 것에 이미지, 연속된 이미지, 사운드, 텍스트 등을 저장할 수 있도록 하는 현대적 미디어 기술의 발전을 목격하게 된다.
이 두 역사적 과정의 종합은 무엇일까? 그것은 바로 존재하는 모든 미디어를 컴퓨터에서 처리할 수 있도록 숫자화된 자료로 전환하는 것이다. 그 결과로 컴퓨터로 처리할 수 있는 그래픽, 동영상, 사운드, 형태, 공간 그리고 텍스트 등으로 구성된 뉴미디어가 나타났다. 다시 말해서 그것들은 컴퓨터에 저장된 또 하나의 데이터가 된 것이다.

Stephen Wilson: Information Arts (2003)
사용한 기술에 따라서 작품을 80여 개의 카테고리로 나누었다. Wilson은 예술과 과학기술 연구를 비평적 이론과 통합해서 "연구로서의 예술 art as research"로 제안.

Oliver Grau: Virtual Art (2003)
Virtual Art
미디어 아티스트는 이미지 생산의 새로운 방식에 대한 미적 가능성, 지각의 새로운 방식, 미디어 혁명에서의 예술적 위치 등을 탐구할 뿐만 아니라 예술가인 동시에 과학자로서 인터렉션과 인터페이스 디자인의 혁신적인 형태를 연구하고, 미디어 개발의 핵심 영역에서 기여한다.
이 책의 주 내용은 가상 이미지 공간 virtual image spaces라는 미적인 개념의 역사를 추적하는 것이다. 서양 예술 역사의 다양한 단계에서 그것이 어떻게 탄생했고, 단절을 거쳐, 지금까지 이어져 왔는지.

Armin Medosch: Media Art (2005)
기관(institutional)의 맥락에서 미디어아트를 설명한다.
미디어아트를 새로운 영역으로 나누는 것은 그것 자체에 있는 것이 아니라, 이와 관련한 기관들의 시스템 때문이다. 이러한 기관은 두 가지로 나눌 수 있는데 하나는 Ars Electronica와 같은 페스티벌과 ZKM과 같은 대형 기관이다. 또 하나는 네트워크화되고 비중심적인 작은 기관들이다. 대형 기관이 지역적 발전에 기여해야 한다는 압박을 겪는 반면, 작은 기관들은 얼마 안되는 자본으로 꾸려나가고 때로는 열정적인 참가자들과 함께 스스로 비용을 충당하기도 한다.

Rudolf Frieling and Dieter Daniels: Media Art (2005)
미디어 아트는 멀티미디어, 시간 기반 time-based, 혹은 과정 중심 process-oriented인 것이다.
1. 미디어 아트는 멀티미디어를 포함해야 한다. 그래야 시간 기반, 과정적 그리고 인터렉티브한 부분이 이해될 수 있다.
2. 미디어 아트는 예술 역사, 미디어 과학, 미디어 기술이 결합된 특별한 이론을 필요로 한다.
3. 멀티미디어 프리젠테이션과 특별한 이론은 상호의존적이다.
4. 맥락 context는 오직 인터넷을 통해서 생산되고 제시될 수 있다.

Charlie Gere: Art and Realtime Systems (2006)
Art, Time and Technology
리얼타임 시스템의 시대에서 예술의 역할은 무엇인가. 

Mark Tribe and Reena Jana: New Media Art (2006)
New Media Art
디지털 아트, 컴퓨터 아트, 멀티미디어 아트, 인터렉티브 아트 등은 교차적으로 사용된다. 이 책에서는 뉴미디어 아트라는 용어를 새로운 미디어 기술을 사용하고, 그러한 도구와 관련한 문화, 정치, 미적 가능성을 다루는 프로젝트를 묘사하는 데 쓴다.
뉴미디어 아트를 두 가지 범주로 나눈다.
1. Art and Tecnology: 전자 예술, 로보틱 예술 등 기술을 사용하지만 미디어와는 관련이 없는 것.
2. Media: 비디오 아트, 실험 영화 등 미디어 기술과 관련 한 것 (1990년대 이후 '새롭다'라고는 여겨지지 않는 기술)
책에서는 뉴미디어 아트라는 용어가 널리 사용되기 시작한 1994년 이후에 만들어지고, 개념적인 깊이, 기술적 혁신, 사회적 연관성을 보여주는 작품들을 다룬다.

Timothy Druckrey (2007)
1. 모호한 단계 phase of ambiguity (1960~1980년대). 전자 예술, 컴퓨터 예술은 모호하고 특정한 포커스 없이 단지 재미의 일종이었다.
2. 확산 단계 proliferation period (1980후반 ~1980년대). 모두가 사용하고, 모두가 더 빨라진 시기.  뉴미디어라는 용어가 생겨나게 됨.
3. 일상 단계 phase of ubiquity. 미디어가 모든 문화 환경에 존재.



*오픈 스펙트럼: 파장을 누구나 사용할 수 있도록 공공화 하자는 운동

아래의 원문을 번역/요약한 것
Media art and culture 

Thursday, 20 June 2013

소프트웨어가 지휘한다 Software Takes Command




소프트웨어가 지휘한다 



레브 마노비치 지음
서론



미디어의 이해


나는 컴퓨터로 가능해진 새로운 문화 형식에 관한 내 이전 책의 제목을 '뉴미디어의 언어'라고 지었다. 그 책은 1999년에 완성되어 2001년에 출판되었는데, 그 즈음에는 모든 미디어 제작 업계에서 소프트웨어를 기반으로 하는 도구의 도입을 거의 끝마쳤고, "뉴미디어 아트"는 상업 소프트웨어와 전자기기들이 채 다루지 못한 가능성을 보여주며 대담하고 활발한 단계에 있었다.

10년이 지난 후, 대부분의 미디어는 "뉴미디어"가 되었다. 1990년대의 발전이 널리 펴져 수억 명의 사람들이 블로그를 운영하고 사진과 동영상을 공유하며, 10년 전 수만 달러에 달하던 미디어 저작 및 편집 소프트웨어 도구를 무료로 이용하고 있다.

구글이 개척한 기술 덕분에 이제 세계는 영원히 베타 버전 상태에서 변화하는 웹 어플리케이션과 웹 서비스 위에서 작동되는 데 익숙해졌다. 웹 어플리케이션과 서비스는 원격 서버에서 구동되기 때문에 사용자가 아무것도 하지 않아도 자동으로 업데이트된다. 실제로 구글은 검색 알고리듬 코드를 하루 수차례 업데이트 하고 있다. 페이스북 역시 매일 코드를 업데이트 하고 있고 때로는 부서지기도(오류가 발생하기도) 한다. (페이스북 사무실 곳곳에 붙어있는 포스터에 따르면 페이스북의 신조는 “재빨리 움직여라, 무엇이든 부숴보라"이다.) 영원한 변화의 세계에 오신 것을 환영한다. 이제 세계는 좀처럼 바뀌지 않는 무거운 산업 기계가 아니라 항상 변화의 상태에 있는 소프트웨어에 의해서 정의된다.

인문학자, 사회 과학자, 미디어 학자, 문화 비평가들이 왜 소프트웨어에 대해 관심을 가져야 하는가? 그것은 문화적 산물을 제작, 저장, 배포, 접근하기 위해 사용된 21세기 이전의 다양한 물리적, 기계적, 전자적 기술 대부분을 소프트웨어가 대체했기 때문이다. 워드 프로세서 혹은 그와 유사한 오픈 소스 프로그램을 사용해서 편지를 쓸 때, 당신은 소프트웨어를 이용한다. 블로거Blogger 혹은 워드프레스WordPress에 글을 올릴 때, 당신은 소프트웨어를 이용한다. 트위터나 페이스북에서 글을 쓸 때, 유투브에서 동영상을 검색하거나 스크라이브드Scribd에서 글을 읽을 때, 당신은 소프트웨어를 이용하는 것이다(서버 상에 존재하는 웹 브라우저를 통해 접근되는 이 카테고리의 소프트웨어는 웹 어플리케이션 혹은 웹웨어라고 불린다).

비디오 게임을 할 때, 미술관에서 인터렉티브 설치 작품을 감상할 때, 건물을 디자인 할 때, 영화 특수 효과를 만들 때, 웹 사이트를 디자인할 때, 휴대 전화로 영화 리뷰나 영상을 볼 때, 그리고 그 밖에 다른 수천 가지의 문화 활동을 할 때, 실질적으로 이야기해서 당신은 똑같은 일을 하고 있다. 바로 소프트웨어를 사용하는 것이다. 소프트웨어는 우리의 기억과 상상, 타인, 세계로 통하는 인터페이스가 되었다. 이것은 세계가 사용하는 보편적인 언어이자 세상이 작동하는 보편적인 엔진이다. 20세기 초기 전기와 연소 기관이 그랬던 것처럼 21세기에는 소프트웨어가 세계에 영향을 끼치고 있다.

이 책은 "미디어 소프트웨어"에 관한 것이다. 미디어 소프트웨어는 워드, 파워 포인트, 포토샵, 일러스트레이터, 애프터 이펙트, 파이널 컷, 파이어폭스, 블로거, 워드프레스, 구글 어스, 마야, 3D 맥스 등과 같은 프로그램을 일컫는다. 이러한 프로그램들은 이미지, 동영상 시퀀스, 3D 디자인, 텍스트, 지도, 인터렉션 요소 그리고 이러한 것들이 다양하게 조합된 웹사이트, 인터렉티브 어플리케이션, 모션 그래픽, 가상 지구 등을 제작, 퍼블리쉬, 공유, 리믹스할 수 있게 해준다. 미디어 소프트웨어는 파이어폭스와 크롬 등 웹 브라우저, 이메일 및 채팅 프로그램, 뉴스 리더 그리고 미디어 컨텐츠에 접근하는 것을 주목적으로 하는 다른 종류의 소프트웨어 어플리케이션도 포함한다.

이처럼 미디어를 제작하고, 미디어와 인터렉션하고 이를 공유하는 소프트웨어 도구는 일반적인 어플리케이션 소프트웨어(웹 어플리케이션을 포함한)에 포함된다. 따라서 우리는 이러한 도구들이 현대의 모든 소프트웨어가 갖는 공통적인 특징을 물려받았을 것이라고 가정할 수 있다. 이것은 무엇을 의미하는가. 공간 디자인, 영화 특수효과 제작, 웹사이트 디자인 혹은 정보 그래픽 등 분야에 관계없이 디자인 과정에 있어서 모두 같은 논리를 따라야 한다는 것일까? 모션 그래픽, 그래픽 디자인, 웹사이트, 제품 디자인, 건물, 비디오 게임은 모두 소프트웨어를 통해 디자인되므로, 이들이 공유하고 있는 어떤 구조적인 특징이 있는 것일까? 좀 더 일반적으로 이야기하자면, 미디어 저작 소프트웨어의 인터페이스와 도구는 다양한 미디어 종류의 미학과 시각 언어를 어떤 방식으로 형성하는가?

이 책에서 논의된 이러한 의문 뒤에는 다음과 같은 이론적 질문이 있다. 이것은 이 책의 서술 방식을 결정하고 주제 선정에 동기를 부여했다. 기존의 미디어 도구들이 소프트웨어를 통해 시뮬레이션 되고 확장된 이후에 "미디어"라는 것에 무슨 일이 일어났는가? 미디어들 사이의 차이에 대해서 이야기하는 것이 과연 의미가 있기나 한 것일까? 아니면 우리는 하나의 독자적인 단일미디어monomedium 혹은 메타미디어metamedium(이 책의 주인공인 앨런 케이Allen Kay의 용어를 빌리자면)의 새롭고 용감한 세계에 살게 된 것일까?

요컨대, 소프트웨어 이후의 "미디어"는 무엇인가?



“미디어”는 여전히 존재하는가?


이 책은 미디어 소프트웨어와, 이것이 미디어의 활용과 개념에 끼친 영향을 이론적으로 기록한 것이다. 지난 이십 여 년간 소프트웨어는 19세기와 20세기에 등장한 대부분의 미디어 기술을 대체시켰다. 오늘날 이것은 일상적이고 당연한 것으로 여겨진다. 그렇지만 놀랍게도 이것의 역사와 발전 이면의 이론적 바탕에 대해서 알고 있는 사람은 거의 없다. 당신은 아마도 서양 미술에 선형 원근법 사용을 대중화시킨 르네상스 예술가들의 이름, 브루넬리스키와 알베르티를 알고 있을 것이다. 아니면 20세기 초반 영화 기법을 발명한 그리피스나 아이젠슈타인을 알 것이다. 그렇지만 포토샵이나 워드, 혹은 당신이 매일 사용하는 미디어 도구들이 어디서 왔는지는 잘 모를 것이다. 더 중요한 것은, 이러한 도구들이 애초에 왜 만들어졌는지 알고 있지 않을 것이라는 점이다.

미디어 소프트웨어의 지적인 역사는 무엇일까? 1960년에서 1970년대 후반 사이에 오늘날 미디어 어플리케이션의 기초가 되는 대부분의 개념과 실질적인 기술을 만들어낸 주요 인물들(J. C. R. 리클라이더, 이반 서덜랜드, 테드 넬슨, 더글러스 엥겔바트, 앨런 케이, 니콜라스 네그로폰테)과 그들이 주도했던 연구 단체의 생각과 동기는 무엇이었을까? 내가 발견한 것은 (이들의 글에 대한 나의 분석을 읽고 당신도 내가 처음 느꼈던 놀라움을 경험하길 바란다) 그들이 컴퓨터 엔지니어였던 동시에 미디어 이론가였다는 것이다. 나는 이들의 미디어 이론에 대해 논의하고 이후 수십년 동안의 디지털 미디어 발전에 비추어 이를 확인할 것이다. 앞으로 보게되겠지만, 이들의 이론은 오늘날 우리가 만들고, 읽고, 보고, 리믹스하고, 공유하는 데 사용하는 소프트웨어를 이해하는 데 도움을 준다.

그렇다면 이제, 현대 소프트웨어 문화의 “비밀 역사”를 소개하겠다. 이것이 비밀인 이유는 그 역사가 의도적으로 숨겨졌기 때문이 아니라, 문화의 컴퓨터화가 가져온 급작스러운 변화에 흥분한 나머지 우리는 여태까지 그것의 기원을 살펴 볼 생각을 안했기 때문이다. 이 책은 그것이 가치있는 일임을 확인시켜 줄 것이다.

이 책의 제목은 건축사학자이자 비평가 지크프리트 기디온이 쓴 20세기의 중요 저작 <기계가 지휘한다(1947)>에서 따 온 것이다. 기디온은 빵, 육류, 냉장 등에 책의 섹션을 할애하며 산업 사회의 기계화 발전 과정을 위생 시스템, 폐기물 관리, 패션, 농업 생산 등을 포함한 다양한 분야를 아우르며 추적한다. 나는 훨씬 작은 범위에서, 1960년에서 2010년 사이 문화의 “소프트웨어화”(나의 신조어)의 역사적 사건들을, 이것의 발전을 이끈 최초의 아이디어에서 시작해서 현재의 일상적인 상황에 걸쳐 미디어 소프트웨어를 중심으로 소개할 것이다.

내 연구는 “소프트웨어 연구Software Studies”의 학문적 패러다임 내에 위치해 있다. 이러한 관점에서 이 책이 기여하는 바는 미디어 소프트웨어의 등장을 가능케한 아이디어를 분석하고 이러한 종류의 소프트웨어의 수용이 현대의 미디어 디자인과 시각 문화에 끼친 영향을 논의하는 것이다.

미디어 소프트웨어는 어플리케이션 소프트웨어의 하위 카테고리로 분류된다 (어플리케이션 소프트웨어라는 카테고리는 소프트웨어에 포함되는데, 소프트웨어는 어플리케이션 소프트웨어, 시스템 소프트웨어, 컴퓨터 프로그래밍 도구, 소셜 네트워크 서비스, 소셜 미디어 기술 등을 포함한다).

만약 소프트웨어를 이처럼 확장된 개념으로 이해한다면, 우리는 다음과 같은 질문을 할 수 있다. “소프트웨어 사회”에 산다는 것은 무엇을 의미하는가? “소프트웨어 문화”의 일부가 된다는 것은 무엇을 의미하는가? 다음 섹션에서는 이에 대해 다룰 것이다.



소프트웨어 혹은 현대 사회의 엔진


1990년대 초, 세계에서 가장 유명한 브랜드는 소재나 제품을 생산하거나 혹은 물질적인 것들을 처리하는 것과 관련한 사업 분야의 기업이었다. 그러나 지금 가장 잘 알려진 브랜드 리스트의 상위권에는 구글, 페이스북, 마이크로소프트가 위치하고 있다. (2007년 구글은 세계 브랜드 가치 순위에서 1위를 차지했다.) 그리고 적어도 미국에서는, 뉴욕 타임즈, USA 투데이, 비즈니스위크 등 가장 널리 읽히는 신문과 잡지에 페이스북, 트위터, 애플, 구글 및 다른 IT 기업들에 대한 기사가 매일 실린다.

다른 매체들은 어떨까? 2008년에 처음 이 책을 쓰기 시작하던 무렵 나는 CNN 웹사이트의 비즈니스 섹션을 체크했었다. 웹사이트의 첫 화면에는 10개의 기업과 지수indexes에 관한 시장 분석 정보가 표시되어 있었다. 그 목록은 매일 바꼈지만 IT 브랜드는 항상 포함되어 있었다. 2008년 1월 21일의 경우를 예로 살펴보면, 그 날의 목록은 구글, 애플, S&P500지수, 나스닥종합, 다우산업, 시스코 시스템, 제너럴 일렉트릭, 제너럴 모터스, 포드 그리고 인텔이었다.

이 리스트가 직접적으로 말해주고 있다. 제너럴 일렉트릭, 제너럴 모터스, 포드 즉, 물질적인 것이나 에너지와 관련한 기업은 리스트 후반부에 나타난다. 그 앞뒤로 두 개의 IT 기업이 있는데 이들은 하드웨어를 공급하는 사업을 한다. 인텔은 컴퓨터 칩을 만들고 시스코는 네트워크 장비를 만드는 것이다. 제일 상위에 있는 두 개의 기업, 구글과 애플은 어떤가? 첫 번째인 구글은 정보와 관련한 사업을 하고 (구글은 세계의 정보를 정리하고 그것을 보편적으로 유용하고 접근가능하도록 만드는 것을 목표로 한다), 두 번째인 애플은 전화, 타블렛, 노트북, 모니터, MP3 플레이어 등과 같은 전자 제품을 만든다. 하지만 사실상 이 두 업체는 공통적으로 ‘다른 어떤 것’을 만들고 있다. 그것은 미국의 경제 활동뿐만 아니라 세계의 경제에도 중요한 역할을 하기 때문에 이를 만드는 기업들이 거의 매일 비즈니스 뉴스에 등장하는 것이다. 그리고 구글, 페이스북, 트위터, 아마존, 이베이, 야후 같은 주요 인터넷 기업들 역시 날마다 뉴스에 나오는데 그들 역시 같은 업종에 속한다고 할 수 있다.

이 ‘다른 어떤 것’은 바로 소프트웨어이다. 검색 엔진, 추천 시스템, 맵핑 어플리케이션, 블로그 도구, 옥션 도구, SMS(단문 메시지 서비스) 서버 그리고 사람들이 새로운 소프트웨어를 만들 수 있게 해주는 iOS, 안드로이드, 페이스북, 윈도우, 리눅스 등의 플렛폼이 세계의 경제, 문화, 사회적 삶 그리고 정치의 한 복판에 자리하고 있다. 그리고 이 “문화 소프트웨어”는 광대한 소프트웨어 우주 중에서 눈에 보이는 일부일 뿐이다. (이것을 문화 소프트웨어라고 한 것은 이것이 문화의 “원자”를 품고 있고 수억의 사람들이 직접적으로 사용하기 때문이다.)

내가 벤자민 브래튼과 함께 제안했지만 결국 출판하지는 못한 책 소프트웨어 사회Software Society(2003)에서 우리는 소프트웨어의 중요성과, 인문학과 사회 과학 연구에 이것이 비교적 드러나지 않는다는 점에 대해서 기술했다. 내용은 다음과 같다.

소프트웨어는 전쟁중에 목표물로 날아가는 미사일의 방향을 통제한다. 소프트웨어는 아마존, 갭, 델의 물품 창고와 생산라인을 작동시키고, 다른 수많은 기업들로 하여금 물품을 조립하고 즉시 전 세계로 보낼 수 있도록 해준다. 소프트웨어는 상점이나 슈퍼마켓의 재고를 자동으로 파악해서 진열대에 채워놓을 수 있게 해줄 뿐만 아니라 어떤 상품을 언제, 어디서, 얼마에 판매할 것인지 결정할 수 있게 해준다. 물론 소프트웨어는 인터넷을 조직하고, 이메일을 전달하며, 서버로 부터 웹페이지를 가져오고, 네트워크 트래픽을 전환하고, IP 주소를 할당하고, 웹페이지를 브라우저 상에 표시하기도 한다. 학교와 병원, 군사 기지, 과학 실험실, 공항, 도시 등 현대의 모든 사회적, 경제적, 문화적 시스템이 소프트웨어에 의해서 작동한다. 소프트웨어는 이 모든 것을 하나로 묶는 보이지 않는 접착제이다. 현대 사회의 다양한 시스템이 각기 다른 언어로 이야기하고 저마다의 목적을 갖고 있지만, 그 모든 것들은 소프트웨어의 구문론을 공유한다. 그것은 “if then”과 “while do” 같은 제어 명령, 오퍼레이터와 데이터 종류(문자나 부동 소수점 수), 리스트 같은 데이터 구조 그리고 메뉴와 다이얼로그 박스를 아우르는 인터페이스 전통 등이다.

전기와 연소 기관이 산업 사회를 가능케했다면, 소프트웨어는 전세계적 정보 사회를 가능하게 만들었다. 정보 사회 경제의 핵심이 되는 “지식 노동자,” “창조적 전문가Symbol Analysts,” “창조 산업,” “서비스 산업” 등은 소프트웨어 없이는 존재할 수 없다.

과학자들이 사용하는 데이터 시각화 소프트웨어, 재무분석가가 쓰는 스프레드시트, 글로벌 광고 회사의 디자이너가 사용하는 웹 디자인 소프트웨어, 항공사가 이용하는 예약 소프트웨어 등이 그러한 예들이다. 소프트웨어는 글로벌화 과정을 주도하기도 한다. 기업은 소프트웨어를 이용하여 관리 구조, 생산 시설, 저장 및 소비 현황을 전 세계로 분배한다. 지난 수 십년 동안 사회학 이론이 다루었던 현대적 존재의 모든 새로운 측면(정보 사회, 지식 사회, 네트워크 사회 등)은 소프트웨어에 의해 가능해진 것이다.


사회 과학자, 철학자, 문화 비평가, 미디어/뉴미디어 이론가들이 사이버문화 연구, 인터넷 연구, 게임 연구, 뉴미디어 이론, 디지털 문화, 디지털 인문학 등의 새로운 분야를 만들어내면서 지금까지 IT 혁명의 모든 면을 다룬 것처럼 보이지만 역설적이게도 이를 근원적으로 추진하고 있는 엔진인 소프트웨어는 비교적 주목 받지 못했다. 심지어 사람들이 휴대전화와 다양한 컴퓨터 기기로 어플리케이션을 사용하고 업데이트하는 오늘날에도, IT와 이것의 문화와 사회적 영향에 관심을 가지고 있는 학자, 예술가, 문화 전문가들 대부분은 소프트웨어라는 이론적인 카테고리를 보지 못하고 있다.

몇 가지 예외는 있다. 저작권과 IP를 둘러싼 오픈소스 운동과 이와 관련한 이슈는 많은 학문 분야에서 다루었다. 그리고 구글, 페이스북, 아마존, 이베이, 오라클 등 웹 거물들에 관한 책도 꾸준히 나오고 있다. 이 책들 중 일부는 이 기업들이 개발한 소프트웨어에 관한 통찰력 있는 논의와, 이러한 소프트웨어의 사회적, 정치적, 인지적, 인식론적 영향을 다루고 있다. (존 바텔의 책이 좋은 예이다. <The Search: How Google and Its Rivals Rewrote the Rules of Business and Transformed Our Culture.>)

2003년 내가 소프트웨어 사회를 제안할 때보다는 상황이 나아졌지만, 다음의 내용은 여전히 의미가 있다고 생각한다 (소셜 미디어와 크라우드소싱만 추가되었다):

만약 우리가 디지털 문화에 관한 비평적 논의를 “오픈 액세스open access,” “공동생산peer production,” “사이버,” “디지털,” “인터넷,” “네트워크,” “뉴미디어,” “소셜 미디어” 등의 개념에 국한시킨다면, 새로운 재현 및 커뮤니케이션 미디어의 이면을 보지 못 할 것이고 또 이것이 진정 무엇이며 어떤 일을 하는지 절대 알 수 없을 것이다. 소프트웨어 자체를 언급하지 않는다면 원인이 아니라 결과만을 다루는 위험에 처하게 된다. 컴퓨터 스크린에 나타나는 결과가 아니라 이러한 결과를 만들어내는 프로그램과 사회적 문화에 대해서 생각해야 한다. “정보 사회,” “지식 사회,” “네트워크 사회,” “소셜 미디어,” “온라인 협업,” “크라우드소싱” 등 현대적 존재의 모든 새로운 측면은 소프트웨어에 의해 가능해졌다. 이제 소프트웨어 자체에 주목할 때다.

노아 와드립-프루인은 그의 저서 <Expressive Processing(2009)>에서 디지털 문학 관련 서적들에 대해 이야기 하면서 비슷한 견해를 밝혔다. “이러한 책들 거의 대부분이 디지털 미디어 기계의 외형이 어떻게 생겼는지에만 집중했다... ...관점에 상관없이, 디지털 미디어에 관한 글들은 결정적인 어떤 것을 간과했다. 그것은 디지털 미디어가 작동하게 만드는 실질적인 과정들, 디지털 미디어를 가능케 하는 컴퓨테이셔널computational 기계들이다.” 내 책은 오늘날 이러한 “기계들”의 핵심 부분이 되는 것(이것이 대부분의 사용자가 직접적으로 사용하고 보게 되는 유일한 부분이기 때문에)에 관해 다룬다. 그것은 어플리케이션 소프트웨어이다.



소프트웨어 연구는 무엇인가?


이 책은 “소프트웨어 연구”의 학문적 패러다임의 발전에 기여하는 것을 목표로 한다. 소프트웨어 연구는 무엇인가? 몇 가지 정의가 있는데, 첫 번째는 내가 아는 한 “소프트웨어 연구,” “소프트웨어 이론”이라는 용어가 처음 등장한 나의 책 <뉴미디어의 언어>에서 볼 수 있다. “뉴미디어는 1950년대 로버트 이니스와 마셜 맥루언의 혁명적인 업적에서 기원하는 미디어 이론의 새로운 단계를 필요로 한다. 뉴미디어의 논리를 이해하기 위해서는 컴퓨터 과학에 주목할 필요가 있다. 여기서 우리는 프로그래밍이 가능해진 미디어를 위한 새로운 용어, 카테고리, 작동 방식을 찾을 수 있을 것이다. 우리는 미디어 연구로부터 소프트웨어 연구라고 부를 수 있는 어떤 것으로 이동해야 한다. 미디어 이론에서 소프트웨어 이론으로.”

지금 다시 읽으니 어느 정도는 수정이 필요한 것 같다. 위에서는 컴퓨터 과학이 소프트웨어 사회에서 문화가 어떻게 작동하는지 설명해줄 수 있는 일종의 절대적 진실인 것으로 간주한다. 하지만 컴퓨터 과학은 그 자체로 문화의 일부이다. 그러므로 소프트웨어 연구는 현대 문화 안에서 소프트웨어의 역할과, 소프트웨어 자체의 발전 양상을 만들어내는 사회 문화적 힘에 대해서 탐구해야 한다.

이것의 필요성을 종합적으로 다룬 책은 노아 와드립-프루인과 닉 몬트포트가 편집한 <뉴미디어 리더New Media Reader>이다. 이 획기적인 책은 문화의 역사와 관련하여 소프트웨어를 연구하는 데 필요한 체계를 제시했다. 비록 “소프트웨어 연구”라는 용어를 명시적으로 사용하지는 않았지만, 소프트웨어를 어떤 방식으로 고찰할지에 대한 모델을 제안했다. 동시대에 활동했던 문화 컴퓨팅의 선구자들의 글과, 예술가와 작가들의 글을 조직적으로 나란히 배치함으로써 큰 틀에서 양측모두 같은 지적 체계에 속해있다는 것을 증명해보였다. 즉, 종종 동일한 아이디어가 독립적으로 문화 컴퓨팅을 발명하고 있던 예술가와 과학자에 의해서 동시에 개발되었다. 예를 들어, <뉴미디어 리더>는 호르헤 루이스 보르헤스의 소설과 바네바 부시의 글로 시작하는데 둘 모두 데이터 정리와 인간 경험을 기록하는 방법으로서 가지 뻗는 구조에 대한 아이디어를 담고있다.

문화로서 소프트웨어에 관한 선구적인 책 <Behind the Blip: essays on the culture of software(2003)>을 출판했던 매튜 퓰러는 2006년 1월 로테르담의 피에 츠바르트 학교Piet Zwart Institute에서 최초의 소프트웨어 연구 워크샵을 열었다. 인사말에서 퓰러는 다음과 같이 이야기 했다. “컴퓨테이셔널하고 네트워크 된 디지털 미디어를 이론화하고 연구하는 데 있어서 소프트웨어는 잘 드러나지 않는다. 이것은 미디어 디자인의 근간이며 ‘질료stuff’이다. 어떤 면에서 현재의 모든 학문적 작업은 ‘소프트웨어 연구’이다. 소프트웨어는 이를 위한 미디어와 맥락을 제공하기 때문이다. 그러나 공학적 측면을 제외하고 소프트웨어의 구체적 본질, 물질성에 대한 연구는 매우 드물다.”

나는 “지금의 모든 학문적 작업은 ‘소프트웨어 연구’이다”라는 데 있어 퓰러와 전적으로 동의한다. 비록 지식인들이 그것을 깨닫기 까지는 얼마 간의 시간이 걸릴 것이지만 말이다. 이를 돕기위해 매튜 퓰러와 노아 워드립-프루인 그리고 나는 2008년 MIT 출판사에 책 시리즈, 소프트웨어 연구Software Studies를 설립했다. 그 중 이미 출판된 책은 퓰러가 편집한 <Software Studies: A Lexicon(2008)>, 와드립-프루인의 <Expressive Processing: Digital Fictions, Computer Games, and Software Studies(2009)>, 웬디 휘 경 전의 <Programmed Visions: Software and Memory(2011)>, 롭 키친과 마틴 다지의 <Code/Space: Software and Everyday Life(2011)>, 지오프 콕스와 알렉스 매클린의 <Speaking Code: Coding as Aesthetic and Political Expression(2012)>가 있다. 2011년 퓰러는 출판과 논의를 위한 플랫폼으로 영국의 연구자들과 함께 온라인 학술지, <컴퓨테이셔널 문화Computational Culture>를 만들었다.

그 밖에 플랫폼 연구, 디지털 인문학, 사이버문화, 인터넷 연구, 게임 연구의 관점에서 쓰여진 책들이 점점 더 많이 발간되고 있다는 사실을 기쁘게 생각한다. 이 중 많은 책들이 소프트웨어의 역할에 대한 이해를 돕는 중요한 통찰과 논의를 담고 있다. 그 전부를 나열하는 대신에, 플랫폼 연구와 디지털 인문학에 관련한 책들 중 일부를 소개하겠다 (당신이 이 책을 읽고 있을 즈음이면 더 많은 책들이 출판되고 있을 것이다). 플랫폼 연구에 관한 책으로는 닉 몬트포트와 이안 보고스트의 <Racing the Beam: The Atari Video Computer System (2009)>, 지미 마허의 <The Future Was Here: The Commodore Amiga (2012)>이 있다. 디지털 인문학에 대한 책은 다음과 같다. 매튜 G. 커센바움의 <Mechanisms: New Media and the Forensic Imagination (2008)>, 데이비드 베리의 <The Philosophy of Software: Code and Mediation in the Digital Age (2011)>, 스테판 램지의 <Reading Machines: Toward an Algorithmic Criticism (2011)>, 캐서린 헤일즈의 <How We Think: Digital Media and Contemporary Technogenesis (2012)>. 그리고 “포맷 연구”라는 새로운 영역에 관한 최초의 서적인 조나단 스턴의 <MP3: The Meaning of a Format (2012)>도 관련이 깊다.

소프트웨어 시스템의 역할과 기능의 이해와 관련한 또 한무리의 책은 컴퓨터 과학 전공자이면서 동시에 문화 이론, 철학, 디지털 예술 혹은 다른 인문학 분야에 익숙한 사람들에 의해 쓰여졌다. 피비 센거스Phebe Sengers, 워런 색Warren Sack, 폭스 해럴Fox Harrel, 마이클 마티스Michael Mateas, 폴 도리쉬Paul Dourish와 필 애그리Phil Agre가 그들이다.

그리고 또 하나의 카테고리로, 중요 연구실과 연구 그룹에 관한 역사적 연구에 관한 책들이 있다. 이 단체들은 근대 소프트웨어, 정보 기술의 다른 주요 분야들(인터넷 등), 소프트웨어 공학의 전문적 활동(사용자 시험 등)의 발전의 중심에 있었다. 이들에 관한 책의 일부를 시대 순으로 나열하면 다음과 같다. 케이티 해프너와 매튜 라이언의 <Where Wizards Stay Up Late: The Origins Of The Internet (1998)>, 마이클 힐지크의 <Dealers of Lightning: Xerox PARC and the Dawn of the Computer Age (2000)>, 마틴 캠벨-켈리의 <From Airline Reservations to Sonic the Hedgehog: A History of the Software Industry (2004)> 그리고 네이선 엔스밍거가 쓴 <The Computer Boys Take Over: Computers, Programmers, and the Politics of Technical Expertise (2010)>.

그렇지만 내가 항상 꼽는 고전은 1985년에 나온 하워드 라인골드의 <사고 도구Tools for Thought>이다. 이 책이 출판된 바로 그 해에 컴퓨터와 소프트웨어가 일반화되기 시작해서 지금의 일상성의 단계에 이르게 되었다. 그 책은 컴퓨터와 소프트웨어가 단지 “기술”이 아니라 우리가 그것을 통해 다르게 생각하고 상상할 수는 새로운 미디어라는 핵심 통찰을 바탕으로 구성되어 있다. 이 책에 등장하는 컴퓨테이셔널한 “사고 도구”를 발명한 영웅들, J.C.R. 리클라이더, 테드 넬슨과 그들의 동료들 역시 그러한 관점을 공유한다. (오늘날 인문학과 사회 과학 분야의 많은 학자들이 단순하지만 근본적인 이러한 시각에 대해 관심을 가져야 한다. 그들은 소프트웨어를 대학의 컴퓨터학과에서나 다루는 것으로 치부한다. 소프트웨어를 인간의 지적인 창의성이 자리하고 있는 미디어가 아니라 단지 일의 효율성만 높일 수 있는 무언가로 생각하는 것이다.)

소프트웨어 연구를 둘러싼 지적인 활동의 양상을 제대로 그리기 위해서는 소프트웨어의 문화적 논의를 개척한 예술가들의 역할을 언급하지 않을 수 없다. 2000년 초반 예술가와 작가들은 전시회, 페스티벌, 출판 그리고 관련 작업들의 온라인 아카이빙 등의 활동을 통해 소프트웨어 예술 활동을 발전 시키기 시작했다. 이 활동의 주요 인물로는 에이미 알렉산더Amy Alexander, 인케 안스Inke Arns, 에이드리언워드Adrian Ward, 지오프 콕스Geoff Cox, 플로리언 크레이머Florian Cramer, 매튜 퓰러Matthew Fuller, 올가 고리우노바Olga Goriunova, 알렉스 맥린Alex McLean, 알렉산드로 루도비코Alessandro Ludovico, 핏 슐츠Pit Schultz 그리고 알렉세이 슐긴Alexei Shulgin 등이 있다. 2002년 크리스티안 폴Christiane Paul은 예술적인 코드code에 관한 전시인 CODeDOC를 휘트니 뮤지움에서 개최했다. 2003년 디지털 예술 행사인 아르스 일렉트로니카는 “코드”를 그 해 주제로 선택했다. 그리고 트렌스미디알레 페스트벌은 2001년부터 “예술적 소프트웨어” 카테고리를 만들어서 심포지움에서 중요하게 다뤘다. 일부 소프트웨어 예술 프로젝트는 새로운 문화, 사회적 산물로서 코드에 대한 탐구를 시작했고, 상업 소프트웨어에 대한 비평적 활동도 있었다. 이에 대한 예로서, 에이드리언 워드는 기존의 전문적 그래픽 디자인 프로그램에 대응하는 실험적이고 반자율적인 생성 소프트웨어 예술, 오토 일러스트레이터Auto-Illustrator를 만들었다.

소프트웨어 연구의 일부가 다수의 책과 예술 프로젝트에 걸쳐서 존재한다는 사실을 인지한 퓰러는 MIT 출판사 소프트웨어 연구 시리즈 서문에 다음과 같이 썼다.

소프트웨어는 명백하면서도 동시에 눈에 드러나지 않는 방식으로 현대의 삶에 경제적, 문화적, 창조적, 정치적으로 깊게 녹아들고 있다. 소프트웨어가 어떻게 사용되는지, 그리고 이것을 통해 만들어지는 활동은 무엇인지에 관해서는 많은 논의가 있지만 소프트웨어 그 자체에 관한 고찰은 기술적인 것으로 남아있다. 그러나 인문학과 사회 과학 분야의 예술가, 과학자, 기술자, 해커, 디자이너, 학자들은 자신이 직면하는 의문에 대한 답을 구하고, 필요한 것을 만들어내기 위해서는 소프트웨어에 대한 확장된 이해가 필수적이란 것을 점차 알아가고 있다. 소프트웨어의 이해를 위해서는, 컴퓨팅과 뉴미디어 역사에 관한 글을 읽거나, 다채로운 소프트웨어 문화에 참여하거나 혹은 새롭게 등장하고 있는 근본적으로 여러 학제간 협업인 컴퓨테이셔널 능력computational literacy의 발전에 참여 해볼 수 있을 것이다. 이러한 것들이 소프트웨어 연구의 근간을 형성한다.

프리드리히 키틀러Friedrich A. Kittler, 피터 웨이벨Peter Weibel, 캐서린 헤일즈Katherine Hayles, 로렌스 레식Lawrence Lessig, 마누엘 카스텔Manual Castells, 알렉스 갈로웨이Alex Galloway를 비롯한 주요 미디어 이론가들의 초기 작업들 역시 소프트웨어 연구에 속한다고 할 수 있다. 그러므로 나는 이 패러다임이 최근에야 명시적으로 명명되었을 뿐이지 이미 수년간 존재해왔다고 믿는다.

퓰러는 2006년 로테르담 워크샵 소개말에서 다음을 언급했다. “소프트웨어를 예술 이론, 디자인 이론과 인문학, 문화 연구와 과학 기술 연구, 그리고 새롭게 등장하는 컴퓨터 과학 연구 등 분야의 연구 대상으로 볼 수도 있고, 활동 영역으로 볼 수도 있다.” 새로운 학문 분야는 독창적인 연구 대상이나 연구 방법 혹은 그 둘의 결합 등을 통해 정의될 수 있다. 소프트웨어 연구는 어떻게 생각할 수 있을까? 퓰러는 “소프트웨어”라는 새로운 학문의 대상은 기존 학문의 바탕 위에서 이미 존재하는 방법을 통해 연구될 수 있다는 점을 암시한다. 예를 들어, 행위자 연결망 이론, 사회 기호학, 미디어 고고학 등.

이 관점을 뒷받침하는 이유들이 있다. 나는 소프트웨어를 현대 사회의 모든 분야에 스며들어 있는 하나의 층이라고 생각한다. 따라서 제어, 커뮤니케이션, 재현, 시뮬레이션, 분석, 의사 결정, 기억, 시각, 글쓰기, 인터렉션 등과 같은 현대의 기술을 이해하기 위해서는 이러한 소프트웨어 층을 고려하지 않을 수 없다. 건축, 디자인, 예술 비평, 사회학, 정치 과학, 예술사, 미디어 연구, 과학 기술 연구 등 현대의 사회와 문화에 관련한 모든 분야에서, 그 주제가 무엇이든 간에 소프트웨어의 역할과 효과에 대해서 생각해봐야 한다.

동시에, 우리가 소프트웨어 그 자체에 집중하기 위해서는 새로운 방법론이 필요하다는 것을 기존 소프트웨어 연구 활동들이 보여주었다. 즉, 소프트웨어를 직접적으로 사용해보는 것이 이에 관한 연구 주제를 발견하는 데 도움을 준다는 것이다. 사회 문화에 있어 소프트웨어의 역할에 관해서 체계적으로 기술한 모든 지식인들이 스스로 프로그램을 만들거나 혹은 문화 프로젝트나 소프트웨어를 만들거나 가르치는 활동에 참여한 것은 우연이 아니다. 이안 보고스트Ian Bogost, 제이 볼터Jay Bolter, 플로리언 크레이머Florian Cramer, 웬디 전Wendy Chun, 매튜 퓰러Matthew Fuller, 알렉산더 갈로웨이Alexander Galloway, 캐서린 헤일즈Katherine Hayles, 매튜 커센바움Matthew Kirschenbaum, 기어트 로빈크Geert Lovink, 피터 루넨펠드Peter Lunenfeld, 에이드리언 매켄지Andrian Mackenzie, 폴 밀러Paul D. Miller, 윌리엄 미첼William J. Mitchell, 닉 폰트포트Nick Montfort, 자넷 머레이Janet Murray, 케이티 살렌Katie Salen, 브루스 스털링Bruce Sterling, 노아 와드립-프루인Noah Wardrip-Fruin, 에릭 짐머만Eric Zimmerman 등이 그 예이다. 반대로, 마누엘 카스텔Manual Castells, 브루노 라투르Bruno Latour, 폴 브릴리오Paul Virilio, 지그프리드 지린스키Siegfried Zielinski 처럼 기술적 참여 경험이 없는 학자들은 현대 미디어와 기술에 관한 이론적으로 정밀하고 영향력있는 자신들의 기록에 소프트웨어를 포함하지 않았다.

2000년대에는 미디어 아트, 디자인, 건축, 인문학 분야의 학생들이 자신들의 작업에 프로그래밍이나 스크립트를 사용하는 것이 점차 많아졌다. 1999년 뉴미디어의 언어에서 내가 처음 “소프트웨어 연구”를 언급했을 때보다는 증가했다. 학문과 문화 산업 이외의 영역에서 많은 사람들이 소프트웨어를 만들고 있다. 이것에는 액션 스크립트Action Script, PHP, 펄Perl, 파이선Python, 프로세싱 Processing과 같은 프로그래밍, 스크립트 언어의 등장이 크게 작용했다. 또한 2000년대 중반 웹 2.0 기업들이 내 놓은 API도 중요한 요소이다. (API는 Application Programming Interface의 약자로, 누구나 프로그램을 만들어서 기존 어플리케이션을 다양한 방식으로 사용할 수 있도록 해준다. 예를 들어 구글 맵 API를 사용해서 개인 웹사이트에 구글 맵이 작동하도록 만들 수 있다.) 이러한 프로그래밍, 스크립트 언어와 API가 프로그래밍을 더 수월하게 만든 것은 아니다. 더 효율적으로 만들었다고 하는 편이 맞을 것이다. 자바Java를 사용했더라면 훨씬 긴 코드를 사용해야 했을 것과 반대로 프로세싱에서는 수 십줄의 코드만 써서 흥미로운 작품을 만들 수 있기 때문에, 디자이너들은 보다 쉽게 프로그래밍에 접근 할 수 있는 것이다. 마찬가지로, 자바스크립트JavaScript 몇 줄이면 구글 맵의 모든 기능을 개인 웹사이트에 추가할 수 있는데, 이것은 작업에 자바스크립트를 쓰는 데 좋은 동기가 된다. 많은 사람들이 소프트웨어를 만들게 된 또 다른 이유는 모바일 어플리케이션 시장의 등장이다. 이것은 PC 시장과 달리 몇몇 큰 기업에 독점 당하지 않았다. 2012년 초의 비공식 자료에 따르면 백만 명의 프로그래머가 아이폰, 아이패드에서 작동하는 iOS 어플리케이션을 만들고, 또 다른 백만 명이 안드로이드 어플리케이션을 만들고 있는 것으로 나타났다.

2006년 마틴 라모니카Martin LaMonica은 프로그래밍 경험이 거의 없거나 전혀 없는 사람들이 새로운 소프트웨어를 만들 수 있도록 하는 기술에 대해서 쓰면서 어플리케이션에 롱테일 현상

이 일어날 가능성에 대해서 언급했다. 몇 년이 지난 후 그것이 정확하게 현실로 나타났다. 2012년 9월 70만 개의 앱이 애플 스토어에 올라와 있고, 60만 개가 넘는 안드로이드 앱이 구글 플레이에 등록되어 있다.

뉴욕 타임즈는 2012년 3월 27일 기사 “인터넷의 언어에 대한 배움의 열기A Surge in Learning the Language of the Internet”에서 “프로그래밍, 웹 구축, 아이폰 앱 개발 등을 위한 야간 강좌와 온라인 수업 시장이 붐을 일으키고 있다.”라고 썼다. 이 기사는 코드카데미Codecademy(인터렉티브 강좌를 통해서 프로그래밍을 가르치는 온라인 학교)의 창립자 중 한명이자 프로그래밍 공부와 웹 디자인에 대한 관심이 일어나는 원인에 대해서 설명한 자크 심스Zach Sims의 말을 인용했다. “사람들은 우리가 살고 있는 세계를 이해하려는 욕구를 갖고 있다. 사람들은 단지 웹을 사용하기 원하는 것이 아니라 그것이 어떻게 작동하는지 이해하기를 바란다.”

이러한 발전적인 변화에도 불구하고, 프로그래밍을 할 수 있는 사람과 그렇지 않은 사람들 혹은 전문 프로그래머와 짧은 프로그래밍 강좌에 한 두 번 참석한 사람들 사이의 격차는 여전히 존재한다. 프로그래밍, 스크립트 언어가 아무리 쉽다고 해도 기존의 미디어 제작 및 편집 소프트웨어보다는 어렵다. 그렇지만 언제까지 그러라는 법은 없다. 예를 들어, 1850년대에 사진 스튜디오를 만들고 사진을 찍던 것과 2000년 대에 디지털 카메라나 카메라폰의 버튼을 누르는 것을 비교해보라. 프로그래밍이 그렇게 단순해지기까지는 아직 멀었다. 그렇지만 프로그래밍이 그렇게 간편해지지 못할 논리적인 이유는 전혀 없다.

스크립트를 쓰고 프로그래밍을 할 수 있는 사람들의 수는 점점 증가하고 있다. 비록 우리가 진정한 “롱 테일” 소프트웨어 시대와는 아직 멀리 있다고 하더라도, 소프트웨어 발전은 점진적으로 더욱 민주화되어가고 있다. 그러므로 어떻게 소프트웨어가 우리의 문화를 형성하고 또 반대로 소프트웨어가 어떻게 문화에 의해서 만들어지는지 이론적으로 생각해봐야 할 때이다. “소프트웨어 스튜디오”가 만들어질 때이다.



문화 소프트웨어

독일의 미디어 이론가이자 문학 이론가 프리드리히 키틀러Friedrich Kittler는 오늘날 학생들은 최소한 두 가지 소프트웨어 언어는 알고 있어야 한다고 썼다. “그래야만 현재의 ‘문화’라는 것이 무엇인지 이해할 수 있을 것이다.” 키틀러는 어셈블러 언어로 프로그래밍을 할 줄 알았는데 아마도 그것 때문에 그래픽 유저 인터페이스와 그것을 이용한 소프트웨어 어플리케이션을 불신하게 되었는지도 모르겠다. 키틀러는 컴퓨터의 “본질essence”에 집중할 필요가 있다고 주장했다. 그에게 있어서 그 본질은 수학적이고 논리적인 토대와 어셈블러 언어와 같은 도구가 특징짓는 초기 역사였다.

이 책은 프로그래머, 컴퓨터 애니메이터, 디자이너, 미디어 아티스트, 교육자로서 나 자신의 컴퓨터와 관련한 경험적 역사의 토대 위에서 쓰여졌다. 이러한 내 경험은 어셈블러 언어를 사용한 프로그래밍보다는 절차적 프로그래밍이 주를 이뤘던 1980년대 초기에 시작되었다. 그 때는 PC가 소개되고, 데스크탑 출판이 등장하고 대중화가 이루어졌으며, 문학가들이 하이퍼텍스트를 사용하던 시기였다. 나는 IBM이 그들의 첫 번째 PC를 내놓았던 1981년에 모스크바에서 뉴욕으로 왔다. 내가 컴퓨터 그래픽스를 처음 사용한 것은 1983-4년 애플 IIe 컴퓨터를 이용하면서이다. 나는 그래픽 유저 인터페이스가 1984년 애플의 메킨토시 컴퓨터에 사용되면서 최초로 성공적인 상업화가 이루어지는 것을 목격했다. 같은 해 나는 초기 컴퓨터 애니메이션 기업 중 하나인 디지털 이펙트Digital Effects에 일자리를 얻었고, 그 곳에서 3D 컴퓨터 모델링과 애니메이션을 어떻게 프로그래밍하는지를 배웠다. 1986년 나는 사진을 자동으로 변환해서 그림처럼 보이게 만드는 프로그램을 만들고 있었다.1987년 1월 어도비는 일러스트레이터를 출시했고, 1989년 뒤이어 포토샵을 내놓았다. 같은 해 제임스 카메론의 영화 심연이 개봉했다. 이 영화는 선구적인 컴퓨터 영상 합성 기술(CGI)을 사용해서 최초의 정밀 가상 캐릭터를 만들었다. 그리고 1990년 크리스마스에는 팀 버너스 리가 웹 서버, 웹 페이지, 웹 브라우저 등 현재 웹의 근간이 되는 요소들을 완성했다.

요컨대, 10년 만에 컴퓨터는 문화적으로 비가시적인 기술에서 문화의 새로운 엔진으로 변화했다. 여기에는 하드웨어의 발전과 무어의 법칙이 중요한 역할을 하지만, 그보다 더 중요한 것은 일반 사용자들을 위한 그래픽 유저 인터페이스 기반 소프트웨어의 등장이다. 워드 프로세서, 그림, 3D 모델링, 애니메이션, 작곡 등을 위한 어플리케이션, 정보 관리, 하이퍼미디어, 멀티미디어 저작 도구들 그리고 지구적 네트워킹 기술(웹) 등이 예이다. 쉽게 사용가능한 어플리케이션의 등장으로 1990년대의 발전을 위한 토대가 준비되었다. 이 시기에 그래픽 디자인, 건축, 제품 디자인, 공간 디자인, 영화제작, 애니메이션, 미디어 디자인, 음악, 고등 교육, 문화 경영 등의 대부분 문화 산업계가 소프트웨어 도구를 사용하기 시작했다. 따라서 내가 처음 프로그래밍을 배운 것은 1975년 모스크바의 고등학교에 있을 때였지만 내가 소프트웨어 연구와 관계를 맺기 시작한 것은 1980년대 그래픽 유저 인터페이스를 이용한 소프트웨어가 짧은 시간에 컴퓨터를 문화의 중심에 가져다 놓는 것을 목격하면서이다.

만약 소프트웨어가 사회적 영향에 있어서 20세기의 연소 기관과 전기와 비교할 만큼 정말 중요한 것이라면 우리는 모든 종류의 소프트웨어에 대해 고찰할 필요가 있다. 우리는 일반 소비자가 사용하는 “뚜렷한” 소프트웨어 뿐만 아니라, 현대 사회의 모든 시스템과 공정에서 사용되고 있는 “희미한” 소프트웨어에 대해서도 생각해봐야 한다. 그러나 나는 시스템 소프트웨어, 산업 자동화 소프트웨어 등과 같은 “희미한” 소프트웨어는 만들어본 적이 없기 때문에, 그러한 주제에 대해서는 다루지 않을 것이다. 내가 논의할 것은 내가 전문적으로 사용하고 가르쳤던 특정한 소프트웨어 카테고리에 관한 것이다. 나는 이것을 문화 소프트웨어라 부른다.

“문화 소프트웨어”라는 용어가 이미 은유적으로 쓰인바 있지만(J.M. 벨킨J.M. Balkin의 <Cultural Software: A Theory of Ideology, (2003)>을 참고하라), 나는 말그대로 일반적으로 “문화”와 관련한 활동들을 뒷받침하는 소프트웨어를 지칭하는 데 사용할 것이다. 소프트웨어가 가능케한 이런 문화 활동은 다음과 같이 몇 가지 카테고리로 나눌 수 있다.(물론 다른 방식으로도 분류하는 것도 가능하다.)

  1. 문화 산물과 인터렉티브 서비스를 제작하는 것. 이것은 아이디어, 재현물, 믿음 그리고 미적인 가치 등을 담고 있다. (뮤직 비디오 편집, 제품 포장 디자인, 웹사이트 디자인, 어플리케이션 디자인 등). 
  2. 온라인에서 그러한 산물(혹은 그 일부)에 접근하고, 그것을 첨부, 공유 그리고 리믹스하는 것 (웹에서 신문을 읽는 것, 유투브 비디오를 보는 것, 블로그 글에 댓글을 다는 것 등). 
  3. 온라인에서 정보와 지식을 생산하고 공유하는 것 (위키피디아 글 수정, 구글 어스에 장소를 추가, 트윗에 링크를 포함시키는 것 등). 
  4. 이메일, 문자, 인터넷 전화, 온라인 채팅, 비디오 채팅, 다양한 소셜 네트워킹 기능 등을 사용하여 사람들과 커뮤니케이션 하는 것. 
  5. 인터렉티브 문화 경험에 참여하는 것 (컴퓨터 게임을 하는 것 등). 
  6. 호감 표시나 메타데이터를 추가하는 것으로 온라인 정보 생태계에 참여하는 것 (구글 플러스에서 “+1”을 클릭하거나 페이스북에서 “좋아요” 버튼을 누르는 것, 트위터에서 “리트윗”을 하는 것, 구글 검색시 자동으로 새로운 정보가 생성되는 것 등). 
  7. 이런 모든 활동들을 뒷받침하는 소프트웨어 도구나 서비스를 개발하는 것 (인터넷을 통해 데이터를 주고 받을 수 있는 프로세싱 라이브러리를 만드는 것, 포토샵의 새로운 플러그 인을 만드는 것, 워드프레스를 위한 새로운 배경 디자인을 만드는 것 등). 
이런 소프트웨어는 다양한 방식으로 활용될 수 있다. 사용자의 컴퓨터 기기에서 작동하는 독립형 어플리케이션, 서버의 소프트웨어와 통신을 통해서 작동하는 어플리케이션, P2P 네트워크 방식 등. 만약 이러한 것들이 낯설어도 걱정할 필요는 없다. 내가 사용하는 “문화 소프트웨어”라는 용어가 넓은 분야의 상품들과 네트워크 서비스를 포함한다는 것만 이해하면 충분하다. 이 용어가 단지 1990년대에서 2000년대에 주로 사용되었던 미디어 저작 툴인 일러스트레이터, 포토샵, 애프터 이펙트 만을 일컫는 것이 아니라는 말이다. 예를 들어, 페이스북, 트위터와 같은 소셜 네트워크 서비스는 서버에서 구동되는 (자료에 따르면 2007년 구글은 전 세계에 백만개가 넘는 서버를 운영한다) 다수의 프로그램과 데이터베이스, 그리고 이 서비스 내에서 사용자들이 이메일을 보내고, 채팅을 하고, 비디오를 올리고, 댓글을 남기는 등의 일을 하는 데 쓰는 프로그램(“클라이언트”라고 불리는)을 포함한다. (예를 들어, 사용자는 twitter.com을 통해서 트위터를 이용할 수도 있고, 스마트폰 어플리케이션인 tweetdeck.com 등의 다양한 웹사이트와 어플리케이션을 사용해서 트위터를 이용할 수 있다).



미디어 어플리케이션


앞서 언급한 소프트웨어에 의해 가능해진 7가지 문화 활동 중 상위 4개 종류와 연관된 소프트웨어에 대해 좀 더 자세히 이야기해보자. 이를 다시 두 개의 카테고리로 나누면 다음과 같다.

첫 번째 카테고리는 미디어 컨텐츠를 제작, 편집, 관리하는 것이다. 워드, 파워포인트, 포토샵, 일러스트레이터, 인디자인, 파이널 컷, 애프터 이펙트, 마야, 블렌더, 드림위버, 아파처 등과 같은 어플리케이션이 그 예이다. 이 카테고리는 이 책의 중심이된다. 업계에서는 이를 “미디어 저작,” “미디어 편집,” “미디어 개발” 등의 용어로 일컫는데 여기서는 미디어 소프트웨어라고 부르겠다.

두 번째 카테고리는 미디어 컨텐츠를 웹에서 배포, 접근, 결합(혹은 퍼블리쉬, 공유, 리믹스)하는 것이다. 파이어폭스, 크롬, 블로거, 워드프레스, 텀블러, 핀터리스트, 지메일, 구글맵, 유투브, 비메오와 같은 어플리케이션과 서비스를 생각해보라. 물론 첫번째 카테고리와 두번째 카테고리가 겹치기도 한다. 다양한 데스크탑 어플리케이션이 미디어 제작뿐만 아니라 이를 웹에 공유할 수 있는 기능을 제공하고, 또한 웹어플리케이션에 미디어 저작, 편집 기능이 포함되어있기도 한 것이다 (예로서, 유투브에는 비디오 편집 기능이 있다). 그리고 블로그와 이메일 서비스는 새로운 컨텐츠의 제작과 퍼블리싱에 비슷한 정도로 활용되기 때문에 두 가지 카테고리의 중간에 속한다.

현재 누구나 어플리케이션 프로그램 혹은 “앱”을 사용하고 있으므로, 나는 기본적으로 우리가 이 용어에 대해 알고 있다고 생각하겠다. 또한 “컨텐츠”라는 용어가 디지털 문화에 있어 무엇을 의미하는지도 이해하고 있다고 가정하겠지만, 확실히 하기 위해 몇 가지 정의 방법을 살펴보자. 먼저 미디어 소프트웨어와 소셜 미디어가 제공하는 도구를 통해서 제작, 공유, 접근 가능한 다양한 미디어 종류를 단순히 나열해 볼 수 있을 것이다. 텍스트, 이미지, 디지털 비디오, 애니메이션, 3D 오브제, 지도 그리고 이들과 다른 미디어를 다양하게 조합한 것 등. 아니면 다양한 장르를 나누는 것으로 “컨텐츠”를 정의할 수도 있다. 예를 들어, 웹 페이지, 트윗, 페이스북 업데이트, 게임, 다중 사용자 온라인 게임, 사용자 제작 비디오, 검색 결과, URL, 지도 위치, 북마크 공유 등.

디지털 문화는 컨텐츠를 모듈화하는 경향이 있다. 다시 말해서, 사용자가 컨텐츠를 제작, 공유할 수 있고 또한 컨텐츠의 일부를 분리해서 재사용 할 수 있다. 애니메이션을 비디오의 배경으로 사용하는 것, 코드의 일부를 웹사이트나 블로그에 사용하는 것 등이 그 예이다. (이 모듈성은 현대 소프트웨어 공학이 재사용 가능한 작은 부분을, 펑션function 혹은 프로시저procedure라고 불리는, 이용해서 컴퓨터 프로그램을 디자인하는 기본적인 원리에 대응된다.) 그러한 모든 부분적 요소 역시 “컨텐츠”라 할 수 있다.

1970년대 후반에서 2000년대 중반 사이, 미디어 편집을 위한 어플리케이션 프로그램은 사용자의 컴퓨터에서 구동되도록 디자인되었다 (미니컴퓨터, PC, 워크스테이션, 이후에는 노트북). 5년이 지난 후, 기업들은 “클라우드”에서 구동될 수 있는 프로그램을 만들기 시작했다. 이들 중 일부는 서비스 제공자의 웹사이트(구글 독스, 마이크로소프트 웹 오피스)에서 사용가능하고, 일부는 미디어 호스팅 사이트나 소셜 미디어 서비스에 포함되어 있다 (포토버켓의 이미지 및 비디오 에디터). 많은 어플리케이션이 클라이언트 형태로 휴대전화(아이폰의 지도), 타블렛, TV 플랫폼에서 구동되어, 서버와 웹사이트와 커뮤니케이션한다. 이러한 플랫폼의 예로는 애플의 iOS, 구글의 안드로이드, LG의 스마트 TV 앱 플랫폼이 있다. 아이패드에 사용되는 어도비 포토샵 터치와 같이 타블렛 자체에서 구동되는 앱들도 여전히 있다. (현재 이 글을 쓰는 시점에는 데스크탑 어플리케이션과 비교해서 웹기반 어플리케이션과 모바일 어플리케이션의 편집 기능은 제한적이다. 하지만 당신이 이 글을 읽을 때 쯤이면 그렇지 않을지도 모른다.)

모바일 소프트웨어 플렛폼 발전의 결과로 “미디어 업로더”(미디어 공유 사이트에 컨텐츠를 올릴 수 있도록 만들어진 앱)와 같은 특정 종류의 미디어 어플리케이션(그리고 이에 대응하는 문화 활동)의 중요성이 증가했다. 또한, 미디어 컨텐츠를 관리(피카사에서 사진을 정리하는 것 등)하고 “메타 관리 meta-managing”(관리 앱들을 관리하는 시스템. 예를 들면 자신의 블로그 리스트를 관리 하는 것 등)하는 것은 컨텐츠를 제작하는 것 만큼이나 개인의 문화적 삶에 있어서 중요한 활동이 되었다.

이 책은 미디어 소프트웨어에 관한 것이다. 이것의 개념적 역사, 이것이 미디어 디자인 활동을 재정의한 방식, 이것으로 제작되는 미디어의 미학, 그리고 창작자와 사용자의 “미디어”에 대한 이해 등을 다룬다. 미디어 소프트웨어를 어느 카테고리에 위치시키고, 또 이것을 어떻게 세분화할 수 있을까? 미디어 소프트웨어의 정의로부터 출발해보자. 미디어 소프트웨어는 미디어 오브젝트와 미디어 환경을 제작하고 이것과 인터렉션하는 데 쓰이는 프로그램이다. 이것은 “어플리케이션 소프트웨어”의 하위 카테고리에 속한다. 어플리케이션 소프트웨어라는 용어는 데스크탑 어플리케이션(컴퓨터에서 구동되는 어플리케이션)에 모바일 앱(휴대 기기에서 구동되는 어플리케이션)과 웹 어플리케이션(웹 클라이언트와 서버에서 작동하는 소프트웨어로 구성된 어플리케이션)이 추가되면서 그 의미가 변화하는 과정에 있다. 미디어 소프트웨어는 이미지, 동영상 시퀀스, 3D 오브제, 텍스트, 지도, 인터렉티브 요소 등과 같은 다양한 종류의 미디어와 이러한 요소를 활용한 다양한 프로젝트와 서비스를 제작, 퍼블리쉬, 접근, 공유, 리믹스할 수 있게 해준다. 이러한 프로젝트는 인터렉티브한 것(인터렉티브 표면surfaces과 인터렉티브 설치)일 수도 있고 그렇지 않은 것(2D 디자인, 모션 그래픽, 영화 영상)일 수도 있다. 온라인 서비스들은 태생적으로 항상 인터렉티브하다 (웹사이트, 블로그, 소셜 네트워크, 소셜 미디어 서비스, 게임, 위키, 웹 미디어 그리고 구글 플레이, 애플 아이튠즈과 같은 앱 스토어들 등). 반면 사용자가 항상 컨텐츠를 추가하고 수정할 수 있지는 않고, 인터렉티브 인터페이스를 사용해서 기존의 컨텐츠를 탐색하고 이와 인터렉션한다.

오늘날 수십억 달러 규모의 세계 문화 산업이 미디어 어플리케이션에 의해 가능해졌음에도, 이를 위한 합의된 분류방식이 없다는 것은 흥미롭다. 위키피디아는 “어플리케이션 소프트웨어”의 하위 카테고리로 “미디어 개발 소프트웨어,” “컨텐츠 접근 소프트웨어”(웹브라우저, 미디어 플레이어, 프리젠테이션 어플리케이션으로 나뉘어진)를 포함한다. 이는 일반적으로 유용하지만 정확하다고는 할 수 없다. 현재 대부분의 “컨텐츠 접근 소프트웨어”는 적어도 몇 개의 미디어 편집 기능을 포함하기 때문이다. 예를 들어, 모질라 씨몽키SeaMonkey 브라우저는 HTML 에디터를 갖고 있고, 퀵타임 플레이어는 영상을 자르고 붙이는 데 사용될 수 있으며 애플의 아이포토는 사진 편집 기능을 제공한다. 반대로, 워드나 파워포인트의 경우처럼 대부분의 “미디어 개발” (혹은 “컨텐츠 제작”) 소프트웨어는 컨텐츠를 제작, 접근하는 데 동시에 사용된다. (저작과 접근 기능의 공존 현상은 소프트웨어 문화의 중요한 특징이다.) 어도비나 오토데스크와 같은 소프트웨어 어플리케이션 제공 업체의 웹사이트에 가보면, 이들이 자신의 제품을 분야(웹, 방송, 건축 등)에따라 나누거나 혹은 “소비자”와 “전문가” 등의 하위 카테고리로 분류해 놓았다는 것을 알 수 있다. 이것은 우리가 이론적 도구를 활용하여 미디어 소프트웨어를 심도있게 살펴봐야 할 또다른 이유이다.

나는 “컨텐츠,” 다시말해서 미디어 산물의 제작과 접근을 위한 미디어 어플리케이션에 집중하겠지만, 문화 소프트웨어는 정보와 지식의 공유 및 커뮤니케이션을 위해 특별히 만들어진 도구와 서비스, 즉 “소셜 소프트웨어” (앞선 분류에서 3, 4번 카테고리에 해당하는)를 포함한다. 검색 엔진, 웹 브라우저, 블로그 에디터, 이메일 어플리케이션, 문자 어플리케이션, 위키, 소셜 북마킹, 소셜 네트워크, 가상 세계 그리고 예측시장 등이 예이다. 유명한 서비스로는 페이스북, 구글 제품군(구글 웹 검색, 지메일, 구글 맵, 구글 플러스 등), 스카이프, 미디아위키, 블로거 등이 있다. 그러나 2000년대 후반 이후로 수많은 소프트웨어 앱과 서비스가 (대게 “공유” 메뉴를 통해) 이메일, 포스팅, 채팅 기능을 포함하기 시작하면서, 어느 면에서는 모든 소프트웨어가 소셜 소프트웨어가 되었다고 할 수 있다.

물론 사람들이 온라인에서 모든 것을 공유하는 것은 아니다. 적어도 지금은 말이다. 그러므로 개인적인 정보 관리 소프트웨어도 포함시켜야한다. 컴퓨터 기기에 포함되어서 나오는 프로젝트 관리, 데이터베이스 어플리케이션, 텍스트 에디터나 노트 앱 등이 그것이다.

이러한 소프트웨어 카테고리, 그리고 다른 모든 카테고리는 시간에 따라서 바뀐다. 예를 들어 2000년대에 사람들이 일상적으로 자신의 미디어를 공유 사이트에 올리고, 소셜 네트워크 상의 사람들과 커뮤니케이션하기 시작하면서 “개인 정보”와 “공공 정보” 사이의 경계가 재편되었다.

사실상 소셜 미디어, 소셜 네크워크 서비스, 호스팅 웹사이트 등은 가능한한 이러한 경계를 지우기 위해 존재한다. 사람들로 하여금 자신들의 사이트에서 사회적, 문화적 삶을 보내도록 유도함으로써, 이러한 서비스는 더 많은 광고를 팔고 더 많은 사용자들을 확보하는 것이다. 대부분의 친구들이 특정 서비스를 사용하면서 정보, 미디어, 토론 등을 나눈다면 자신 또한 그 서비스에 자연스럽게 가입하게 되는 경향이 있는 것이다.

이들 중 많은 서비스가 미디어 편집, 커뮤니케이션 그리고 소셜 네트워킹을 위한 더 향상된 기능을 제공하면서 PC 시대에 존재했던 또 다른 경계를 없애게 되었다. 어플리케이션 프로그램, 운영체제, 데이터 사이의 경계 말이다. 페이스북은 그들의 서비스가 많은 독자적 커뮤니케이션 프로그램과 서비스를 대체할 수 있는 완전한 “소셜 플랫폼”이라고 적극적으로 홍보했다.

소셜 미디어의 등장과 모바일 미디어 플랫폼의 확산 이전에는 미디어 생산, 분배, 소비를 분리된 과정으로서 연구하는 것이 가능했다. 마찬가지로, 제작 도구, 분배 기술, 접근 기기와 플랫폼을 구분하는 것이 가능했다. 예를 들어 TV 스튜디오, 카메라, 조명, 편집 도구는 제작, 송출 시스템은 분배, 텔레비전은 접근으로 구분할 수 있는 것처럼 말이다. 소셜 미디어와 클라우드 컴퓨팅은 많은 경우에 있어서 이러한 경계를 없앴고, 새로운 경계(클라이언트/서버, 공개적/상업적)를 만들어냈다. 소프트웨어 연구에서는 “컨텐츠,” “소프트웨어 어플리케이션”과 같은 용어를 사용할 수 있어야 하는데 현재의 소셜미디어/클라우드 컴퓨팅 패러다임이 시스템적으로 이러한 용어의 의미를 바꾸고 있기 때문에 이에는 어려움이 따른다.

인터렉티브 미디어 창작을 위해서는 어느정도 컴퓨터 코드를 써야 하기 때문에 프로그래밍 환경 역시 문화 소프트웨어로 볼 수 있다. 더욱이 아이콘, 폴더, 사운드, 애니메이션, 진동, 터치 스크린 등의 미디어 인터페이스는 그 자체로 문화 소프트웨어이다. 이러한 인터페이스가 사람들과 미디어 사이 그리고 사람과 사람 사이의 인터렉션을 매개하기 때문이다. 다른 추가적인 소프트웨어 카테고리도 역시 이 리스트에 포함될 수 있다.

인터페이스 카테고리는 이 책에서 특히 중요하다. 나는 소프트웨어가 사용자에게 보여지는 방식에 관심이 있다. 이것은 소프트웨어가 컨텐츠 제작, 공유, 재사용, 믹스, 관리, 커뮤니케이션를 위해서 제공하는 기능, 이러한 기능을 나타내는 데 사용되는 인터페이스, 그리고 이러한 기능과 인터페이스 디자인에 표현되어 있는 사용자, 사용자의 니즈needs 그리고 사회에 관한 가정과 모델에 대한 것이다.

어떤 어플리케이션이 제공하는 기능은 명령어와 도구에 내포되어 있다. 이는 사용자가 특정 앱으로 무엇을 어떻게 할 수 있는지 정의한다. 이것은 자명하지만 혼동을 피하기 위해서 인터페이스에 관한 중요한 점을 한가지 짚고 넘어갈 필요가 있다. 여전히 많은 사람들이 현대 컴퓨터 기기가 그래픽 유저 인터페이스(GUI)를 사용한다고 생각한다. 실제로는, 1980년대 원래의 GUI(아이콘, 폴더,메뉴)는 점점 확장되어 다른 미디어와 감각(사운드, 애니메이션, 모바일 기기의 인터렉션에 활용되는 진동 피드백, 음성 입력, 멀티 터치 제스쳐 인터페이스 등)을 포함하게 되었다. 이것이 오늘날 인터페이스가 어떻게 작동하는지 설명하는 데 “미디어 인터페이스”라는 용어가 더 적합한 이유이다. 이 용어가 윈도우, 맥 OS, 모바일 OS(안드로이드, iOS)와 같은 컴퓨터 운영체제의 인터페이스를 더 정확하게 설명한다. 그리고 사용자와의 커뮤니케이션을 위해 그래픽뿐만 아니라 모든 종류의 미디어를 사용하는 게임 콘솔, 휴대 전화, 인터렉티브 상점, 박물관의 설치물 등의 인터페이스를 나타내는 데도 적용할 수 있다.

앞서 문화 소프트웨어 종류를 분류하는 데 사용된 “미디어/컨텐츠” 카테고리 대 “데이터/정보/지식” 카테고리에 관해서도 언급할 필요가 있다. 이 책에서 사용될 다른 많은 카테고리와 마찬가지로, 나는 이 두 가지를 별개의 것이라기 보다는 연속적인 동일한 차원에 있는 두 가지 지점으로 간주할 것이다. 영화는 전자에 속하고 엑셀은 후자에 속하는 예이다. 하지만 이처럼 명확히 구분되지 않고 두 곳에 동시에 해당되는 경우도 많다. 예를 들어, 엑셀의 데이터를 사용해서 정보 시각화data visualization를 만든다면, 이 시각화는 두 카테고리에 모두 속하게 된다. 이것은 여전히 “데이터”이지만 새로운 방식으로 재현되면서 우리를 통찰과 “지식”으로 이끌게 된다. 그리고 동시에 사진이나 회화처럼 우리의 감각에 어필하는 하나의 시각 미디어가 된다.

우리 사회가 이 두 종류의 용어 세트를 반대어로 생각하는 것은 미디어와 정보 산업의 역사에 기인한다. 현대 “미디어”는 18세기 후반과 20세기 전반 사이에 만들어진 기술과 기관에 의해 형성되었다. 대형 신문, 잡지와 도서 출판, 사진, 영화, 라디오, 텔레비전, 그리고 음반 산업 등이 그것이다. “데이터”는 사회 통계학, 경제학, 비지니스 관리, 금융 시장과 같은 개별 역사를 가진 몇몇의 전문 분야에서 비롯된 것이다. 데이터가 전문 영역을 떠나 사회 전반의 관심을 얻게 된 것은 21세기가 시작되면서부터이다. 데이터는 “매력적”이고 “유행하는” 것이 되었다. 정부와 자치단체가 자신의 데이터 포털(data.gov, data.gov.uk 등)을 구축하고, 데이터 시각화가 주요 미술관의 전시(MOMA의 2008년 Design and Elastic Mind 전시 등)에 포함되고, 컴퓨터 “괴짜nerds”가 헐리우드 영화(소셜 네크워크)의 주인공으로 등장하며, 구글 애널리틱스, 페이스북, 유투브, 플리커는 사용자의 웹사이트나 미디어 공유 계정의 자세한 데이터를 제공하고 있다. 물론 미디어 소프트웨어의 작동(그리고 컴퓨터가 연구, 상업, 예술적 목적을 위한 미디어를 처리하는 것)은 컴퓨터가 미디어를 데이터로서(픽셀과 같은 분절된 요소 혹은 벡터 그래픽을 정의하는 방정식으로) 재현함으로써 가능하기 때문에 미디어 소프트웨어가 발전하고 데이터를 주요 미디어 기술로 수용한 것은 미디어와 데이터가 점진적으로 결합하는 데 있어서 중요한 역할을 했다.

소프트웨어에는 다른 많은 종류와 기술이 포함되고 컴퓨터와 컴퓨터 기기는 미디어를 제작하고 재생하는 것 이외에도 다른 많은 기능을 수행한다. 그리고 물론 소프트웨어가 작동하기 위해서는 하드웨어가 필요하며 네트워크 역시 디지털 문화에 있어서 중요한 부분을 차지한다. 그러므로 일부 사람들은 내가 미디어를 제작, 편집, 재생하는 소프트웨어에 집중하는 것을 마뜩잖게 여길 수도 있다. 모든 사람이 미디어를 제작하기 위해서 포토샵, 플래쉬, 마야 등의 어플리케이션을 사용하는 것은 아니다. 꽤 많은 사람은 스스로 컴퓨터 프로그램과 스크립트를 쓰거나 다른 사람이 작성한 프로그램을 수정해서 미디어를 다룬다. 웹사이트, 웹 어플리케이션이나 다른 인터렉티브 어플리케이션을 만드는 데 종사하는 컴퓨터 프로그래머, 소프트웨어 아티스트, 새로운 알고리듬을 개발하는 컴퓨터 과학자, 프로세싱이나 다른 높은 수준의 미디어 프로그래밍 언어를 사용하는 학생들 등이 그렇다. 이 사람들 모두가 왜 내가 프로그래밍이 아니라 제품 형태의 소프트웨어만을 다루는지 묻는다. 소프트웨어 개발이 점진적으로 민주화되고 있고, 프로그래밍을 하고 스크립트를 쓸 줄 아는 문화 전문가와 학생들의 수가 점점 늘고 있는 것에 대해서는 어떻게 생각하느냐고. 나는 어플리케이션에 대해 설명하는 대신 프로그래밍을 촉진시키는 데 내 에너지를 써야하는 것일까?

내가 어플리케이션을 선택한 이유는 문화 비평가들처럼 예외적인 현상(그것이 얼마나 진보적인가에 상관없이)을 강조하기보다는 주류 문화활동을 이해하고자하기 때문이다. 정확한 수치는 모르지만, 미디어 관련업계에 일하면서 동시에 프로그래밍을 할 수 있는 사람의 수는 어플리케이션 사용자의 숫자에 비해서 훨씬 적을 것이다. 오늘날 일반적인 그래픽 디자이너, 영화 편집자, 제품 디자이너, 건축가, 음악가들은 (그리고 유투브에 비디오를 올리고 블로그에 사진이나 비디오를 올리는 일반 사람들도) 소프트웨어 코드를 쓰거나 읽지 못한다. (HTML 마크업을 읽거나 수정하는 것, 혹은 기존의 자바스크립트의 일부를 복사하는 것은 프로그래밍하는 것과는 매우 다르다.) 따라서 소프트웨어가 개념적, 실용적인 측면에서 미디어를 어떻게 바꾸었는지 이해하기 위해서는 대부분의 일반인과 전문가가 일상적으로 사용하는 도구들(어플리케이션 소프트웨어, 웹기반 소프트웨어, 모바일 앱 등)에 대해서 자세히 살펴 볼 필요가 있다. (이 책은 첫번째 카테고리를 강조한다. 두번째, 세번째 카테고리를 희생하면서 말이다. 왜냐하면 현시점에서 전문적인 미디어를 제작하는 데 사용하는 어플리케이션은 여전히 대용량 램 메모리와 하드드라이브가 장착된 노트북이나 데스크탑에서 구동되기 때문이다. 또한 포토샵이나 파이널 컷처럼 버전에 따라 점진적으로 변화하는 데스크탑 어플리케이션과 반대로 웹기반 소프트웨어와 모바일 소프트웨어는 현재 급속하게 진화하고 있는 중이기 때문이다.)

내가 “문화 소프트웨어”를 정의하는 방식에 대해 제기될 법한 반대 의견에 대해서도 언급하고 싶다. “문화”라는 용어는 컴퓨터 속의 파일 형태 혹은 실행가능한 소프트웨어 프로그램이나 스크립트 형태로 존재하는 분리된 미디어나 디자인 “오브제”만을 지칭하는 것이 아니다. 이것은 상징, 의미, 가치, 언어, 습관, 믿음, 이데올로기, 의식, 종교, 의복과 행동 양식, 그리고 다른 많은 물질적이고 비물질적인 차원과 요소를 포함한다. 따라서 이 모든 차원을 미디어 파일을 제작 재생하는 도구들로 환원시킨다는 것에 문화 인류학자, 언어학자, 사회학자, 인문학자들은 언짢아 할지도 모른다.

내가 현재의 “문화”를 어플리케이션 소프트웨어와 미디어 오브제, 그리고 이를 통해 일어나는 경험의 특정 부분 집합과 동일시하고 있는가? 물론 아니다. 내말은(그리고 이 책이 보다 상세히 설명하길 바라는 것은) 20세기 말에 인류는 “문화”라고 할 수 있는 모든 것에 근본적으로 새로운 차원을 추가했다는 점이다. 이 새로운 차원은 소프트웨어이고, 그 중에 컨텐츠를 제작하고 접근하기 위한 어플리케이션 소프트웨어가 있는 것이다.

나는 의도적으로 새로운 차원이라는 은유를 사용한다. 다시 말해서, “문화 소프트웨어”는 우리가 “문화”라고 부르는 공간에 툭하고 떨어진 단순한 새로운 오브제(그것이 얼마나 크고 중요하던지 간에)가 아니라는 말이다. 그러므로 소프트웨어를 음악, 시각 디자인, 건설된 공간, 의복 양식, 언어, 음식, 클럽 문화, 기업 규범, 말하거나 몸을 사용하는 방식 등과 같은 것에 추가할 수 있는 용어 정도로 생각해서는 안된다. 우리가 “소프트웨어의 문화”(프로그래밍 활동, 프로그래머와 소프트웨어 기업의 가치와 이데올로기, 실리콘 밸리와 방갈로르의 문화 등)를 연구할 수는 있지만, 그것만으로는 소프트웨어의 진정한 중요성을 놓치게 될 것이다. 알파벳, 수학, 인쇄기, 연소 엔진, 전기, 집적회로가 그랬던 것처럼 소프트웨어는 이것이 적용되는 모든 것을 조정하고 개조한다(혹은 최소한 그렇게 할 수 있는 가능성을 갖고 있다). 새로운 차원을 추가하는 것이 공간에 있는 모든 점에 새로운 좌표를 더하는 것처럼, 문화에 소프트웨어를 “추가”하는 것은 문화를 만들어내는 모든 것의 성질을 바꾼다. (이 점에 있어서, 소프트웨어는 “미디어나 기술의 메시지는 이것이 인간의 삶에 일으키는 변화의 규모나 속도 혹은 패턴이다.”라는 맥루언의 말이 의미하는 바를 완벽히 예시한다.)

요약하자면, 현대 사회는 소프트웨어 사회라고 특징지을 수 있고 현대 문화를 소프트웨어 문화라고 부를 수 있다. 왜냐하면 오늘날의 소프트웨어는 “문화”를 구성하는 물질적인 요소와 비물질적인 구조를 형성하는 데 중심적인 역할을 하기 때문이다.



도큐먼트에서 퍼포먼스로

소프트웨어의 사용은 대부분의 기본적인 사회 문화적 활동을 재설정하고, 이를 설명하기 위해 우리가 발전시켜온 개념과 이론에 대해 다시 생각하도록 만든다. 이에 대한 예로서 문화적 창조, 전송 그리고 기억을 위한 근대적 “원자” 중 하나로 “도큐먼트”를 생각해 볼 수 있다. 어떤 컨텐츠는 물리적인 형태로 저장되어 물리적 복사본(책, 필름, 오디오 레코드)이나 전자적 전송 (텔레비전)을 통해 소비자에게 전달된다. 소프트웨어 문화에 있어서 “도큐먼트,” “작업,” “메시지,” “녹음”과 같은 용어는 20세기에 쓰이던 것과 다른 의미를 지닌다. 구조와 내용물을 살펴보는 것(러시아 형식주의에서 문학 다윈주의에 이르기까지 20세기 문화 분석과 이론에 있어서 전형적인 접근 방식)으로 분석할 수 있었던 고정된 도큐먼트 대신에 우리는 이제 변화하는 상태에 있는 “소프트웨어 퍼포먼스”와 인터렉션하게 되었다.내가 “퍼포먼스”라는 단어를 사용하는 것은 우리가 경험하는 것이 소프트웨어에 의해 실시간으로 구성되기 때문이다. 웹사이트를 탐색할 때, 비디오 게임을 하거나 혹은 휴대 전화의 앱을 사용해서 특정 장소를 검색하거나 근처의 친구를 찾을 때 우리는 미리 정해진 고정적인 도큐먼트가 아니라 우리가 사용하는 기기나 서버가 실시간으로 연산해서 생성하는 변화 상태의 결과와 관여하는 것이다. 컴퓨터 프로그램은 이러한 퍼포먼스를 생성하기 위해서 다양한 요소를 사용한다. 디자인 템플릿, 사용중인 기기에 저장되어 있는 파일, 네트워크 서버 상 데이터베이스의 미디어, 실시간 입력(마우스, 조이스틱, 제스쳐 등에 의한) 그리고 기타 다른 인터페이스 등이 그러한 요소에 속한다. 그러므로 일부의 고정적인 도큐먼트가 사용될 수는 있지만, 소프트웨어에 의해 구성되는 최종의 미디어 경험은 일부 미디어에 저장되어 있는 어떠한 단일 고정 도큐먼트에도 상응하는 것이 아니다. 다시 말해서, 회화, 문학 작품, 악보, 영화, 산업 디자인, 건물 등과는 반대로 비평가는 작업의 모든 컨텐츠를 담고 있는 단일 “파일”만 참고할 수가 없다.

사진을 열거나 PDF 문서를 보는 것 같은 단순해 보이는 일에도 우리는 이미 “소프트웨어 퍼포먼스”를 경험하고 있는 것이다. 왜냐하면 우리는 소프트웨어를 통해서 탐색, 편집, 공유 등을 위한 옵션을 선택하기 때문이다. 그러므로 20세기 비평가가 소설, 영화, TV 프로그램을 평가했던 방식으로 JPEG 파일이나 PDF 파일을 다룬다면 우리가 소프트웨어를 통해서 이것과 인터렉션함으로써 얻는 경험에 대해 부분적으로 밖에 이해할 수 없다. 이 경험은 소프트웨어가 제공하는 인터페이스와 도구에 의해서 만들어진다. 이것이 우리가 현대 미디어를 이해하기 위해서 문화 소프트웨어의 도구, 인터페이스, 가정, 개념, 역사에 대해서 면밀히 살펴보아야 하는 이유이다. 여기에는 1960, 70년대 이러한 개념을 정의했던 사람들이 주장한 이론도 포함되어야 한다.

미디어 “도큐먼트”가 본질적으로 새로운 것으로 구성되므로 전통적인 도큐먼트 개념을 기반으로하는 기존의 문화 이론에 대해 다시 생각해 볼 필요가 있다. 1950년대 이후 미디어 연구를 주도했던 학문적 패러다임, 즉 문화를 “전송”이라는 개념으로 바라보던 커뮤니케이션 연구에 기반한 시각을 생각해보자. 커뮤니케이션 학자들은 클로드 섀넌Claude Shannon의 글 “A Mathematical Theory of Communication(1948)”과 잇달아 워렌 위버Warren Waver와 함께 출간한 책에서 제시한 정보 전송 모델에서 가져온 커뮤니케이션 기본 모델을 매스 미디어에 적용시켰다. 이 패러다임에서는 매스 커뮤니케이션(때로는 일반적인 문화를)을 메시지를 만들어서 보내는 사람과 그것을 수신하는 사람 사이의 커뮤니케이션 과정으로 설명했다. 여기에 따르면 메시지는 기술적인 이유(전송 시의 노이즈)나 의미적 이유(의도된 의미를 수신자가 잘 못 이해함) 때문에 항상 완벽히 해석되지는 않는다.

전통적인 커뮤니케이션 이론과 미디어 산업계에서는 그러한 부분적인 수신을 문제로 인식했다. 그러나 반대로 영국 문화 연구British Cultural Studies의 창립자인 스튜어트 홀Stuart Hall은 1980년 그러한 현상을 긍정적인 것이라는 견해를 담은 글을 썼다. 홀은 수신자는 받은 정보로부터 자신만의 의미를 만들어낸다고 주장했다. 그 새로운 의미는 커뮤니케이션 실패가 아니라, 수신한 메시지에 대한 의도적인 재해석 활동이다. 그러나 전통적 커뮤니케이션 연구와 문화 연구는 모두 암묵적으로 메시지는 분명하고 완결된 무엇으로 보았다. 그것이 물리적 미디어(마그네틱 테잎 등)에 저장되어 있거나 송신자가 실시간으로 만들어내거나(생방송 등)에 관계없이 말이다. 그러므로 커뮤니케이션의 수신자는 모든 광고 문구를 읽거나, 전체 영화를 보거나 혹은 전체 노래를 다 듣는 것으로 간주되었다. 그런 후에야 그것을 바르게 해석하거나, 잘못 해석하거나, 의미를 부여하거나, 차용하거나, 리믹스하는 등의 행동을 할 수 있다는 것이다.

이 시각은 1999년 디지털 비디오 레코더(DVR)가 등장하면서 도전받았었는데, 이 사실을 차치하고라고 이는 소프트웨어 중심의 인터렉티브 미디어에 적용되지 않는다. 미디어 접근을 위한 어플리케이션의 인터페이스는 사람들로 하여금 “탐색” 하도록한다. 이러한 어플리케이션에는 웹 브라우저와 검색 엔진, 웹의 하이퍼 링크 구조, 그리고 다시보기, 미리보기, 구매하기 등을 위한 엄청나게 많은 미디어 산물을 제공하는 특정 온라인 미디어 서비스(아마존, 구글 플레이, 아이튠즈, 랩소디, 넷플릭스 등) 등이 포함된다. 사용자는 미디어(이번 검색 결과와 다음 검색결과 혹은 이 노래에서 다른 노래로) 사이를 횡으로, 그리고 미디어 산물(음악 앨범의 노래 리스트에서 특정 노래로) 사이를 종으로 신속히 움직인다. 사용자는 쉽게 임의의 부분에서 미디어를 재생하고 멈출 수 있다. 다시 말해서 사용자가 “수신”하는 “메시지”는 인지적인 해석을 통해 능동적으로 “구성”하는 것일뿐 아니라 적극적으로 관리(이것이 어떤 정보를 어떻게 받을 것인지 결정한다)하는 것이다.

이것은 최소한 사용자가 미디어 컨텐츠를 보여주는 소프트웨어 어플리케이션과 인터렉션할 때 그 컨텐츠는 고정된 경계를 갖고 있지 않은 경우가 많다는 점에서 중요하다. 예를 들어, 사용자는 구글 어스를 이용할 때마다 다른 “지구”를 경험하게 될 가능성이 크다. 구글이 위성사진이나 스트릿뷰를 업데이트했을 수도 있고 3D 빌딩, 새로운 형식의 정보, 기존 형식에 추가한 정보 등을 더했을 수 있기 때문이다. 또한 다른 사용자나 서비스 제공업자가 추가 메뉴(구글 어스 6.2.1 인터페이스) 중 일부를 선택하거나 KML 파일을 직접 열어서 추가한 정보가 업데이트 됐을 수도 있다. 구글 어스는 웹이 가능케한 새로운 미디어의 전형적인 예이다. 구글 어스는 인터렉티브 도큐먼트로서 모든 컨텐츠가 미리정의된 것은 아니다. 이것의 컨텐츠는 시간에따라 변하고 성장한다.

일부 경우에 사용자의 행위는 소프트웨어 어플리케이션, 웹 서비스, 게임 등의 인터렉티브 미디어를 통해 “커뮤니케이션”하는 “메시지”에 별로 영향을 끼치지 않을지도 모른다. 예를 들어 구글 어스가 사용하는 지구 재현 방식은 사용자가 새로운 컨텐츠를 추가하거나 맵의 추가 기능을 켜고 끄는 것에 상관없이 변하지 않는다. 이 재현법의 “메시지”는 항상 존재한다.

하지만 구글 어스 사용자는 어플리케이션이 제공하는 기초적인 지도 위에 자신의 미디어나 정보를 추가해서 복잡하고 풍부한 미디어 프로젝트를 만들 수 있다. 구글 어스는 단순히 “메시지”가 아니라 사용자가 정보를 계속 쌓아나갈 수 있는 플랫폼이다. 이것을 상업 미디어를 차용한 20세기의 창조적 활동인 팝아트, 차용 예술, 음악 리믹스, 슬래쉬 소설과 비디오 등의 연장선상에서 볼 수도 있겠지만 이들 사이에는 유사점보다는 차이점이 더 크다.

메시지에서 플랫폼으로의 전환은 2004~6년경 웹 변혁의 중심에 있었다. 그 결과는 웹 2.0이라고 불린다. 타인이 만든 특정 컨텐츠를 제공하던 1990년대의 웹사이트에 사용자들이 자신들의 컨텐츠를 공유하고, 코맨트를 남기고, 태그를 붙일 수 있는 소셜 네트워크와 소셜 미디어 사이트가 추가되었다. 위키피디아의 웹 2.0에 대한 글은 그 차이점을 다음과 같이 설명한다. “웹 2.0 사이트는 소셜 미디어를 통한 대화에 있어서 사용자들로 하여금 가상 커뮤니티의 컨텐츠 창작자로서 서로 인터렉션하고 협력할 수 있게 해준다. 이는 사용자가 소비자로서 컨텐츠를 수동적으로 보기만 할 수 있는 웹사이트와는 다르다. 웹 2.0의 예로는 소셜 네트워킹 사이트, 블로그, 위키, 비디오 공유 사이트, 호스팅 서비스, 웹 어플리케이션, 매시업, 폭소노미 등이 있다.” 구글 어스를 계속 예로 들자면, 사용자들은 공정 무역 인증, 그린피스 데이터, UN의 새천년 개발 목표 등 다양한 종류의 글로벌한 정보를 추가 했다. 또 다른 예로, 사용자들은 구글 맵이나 위키피디아 혹은 대부분의 다른 대형 웹 2.0 사이트가 제공하는 컨텐츠를 자신의 매시업에 포함시킬 수 있다. 이것은 웹 서비스업체가 제공하는 컨텐츠를 활용해서 직접적인 방식으로 자신의 플랫폼을 가꾸는 데 활용하는 것이다.

웹 기반의 커뮤니케이션 도구들(유명 소프트웨어에 관한 온라인 토론 포럼, 위키피디아의 집단 협력 편집, 트위터 등)과 함께 웹 2.0 서비스가 광범위하게 활용되면서 정보 누락, 선택, 검열 등 다양한 종류의 “나쁜 행동”들을 빠르게 찾아낼 수 있게 되었다. 이것은 웹 기반 회사가 제공하는 컨텐츠와 20세기 매스미디어의 컨텐츠를 사이의 또다른 차이점이다. 예를 들어 웹 2.0 서비스에 관한 위키피디아의 모든 글에는 논란, 비평 혹은 오류에 관한 특별 섹션이 있다.

많은 경우 사람들은 유료 어플리케이션 대신 비슷한 오픈 소스 어플리케이션을 사용할 수 있다. 오픈 소스 혹은 무료 소프트웨어(모든 무료 소프트웨어가 오픈 소스는 아니다)를 통해 사용자는 추가적인 방식으로 컨텐츠와 소프트웨어 기능을 제작, 리믹스, 공유 할 수 있다. (이것은 오픈 소스가 항상 상업 소프트웨와는 다른 가정과 기술을 사용한다는 것을 의미하지는 않는다.) 예를 들어, 사용자는 구글 맵과 구글 어스 대신 오픈 소스 혹은 무료 소프트웨어인 오픈 스트리트 맵OpenStreetMap, 지오커먼스GeoCommons, 월드맵WorldMap 등을 사용할 수 있다. (흥미롭게도, 기업들 역시 협력적으로 만들어진 시스템의 데이터를 쓰기도 하는데, 이 시스템이 기업 자신들의 시스템보다 많은 정보를 갖고 있기 때문이다. 플리커와 포스퀘어는 오픈 스트리트 맵을 사용한다. 오픈 스트리트 맵의 컨텐츠 제공자는 2011년 초 34만 명이었다.) 사용자는 오픈 소스 소프트웨어의 코드를 직접 살펴보면서 이것이 가정하는 것이나 주요 기술을 완벽히 이해할 수도 있다.

지속적으로 변화하고 성장하는 웹 서비스와 웹 사이트의 컨텐츠, 탐색과 인터렉션을 위한 다양한 메커니즘, 사용자 자신의 컨텐츠를 추가할 수 있는 능력과 다양한 소스의 매시업, 공동 저작 및 편집을 위한 설계, 컨텐츠 제공자를 모니터하는 메커니즘 등 이 모든 것이 네트워크로 연결된 인터렉티브 주도의 미디어를 20세기 미디어 도큐먼트로부터 뚜렷하게 구별해준다. 사용자가 하나의 컴퓨터 파일에 저장된 단일의 로컬 미디어 컨텐츠를 사용하고 있을 때라하더라도(요즘에는 다소 드문 상황), 소프트웨어 인터페이스를 통해 매개된 그 도큐먼트는 20세기 미디어 도큐먼트와는 구분된다. 파일의 컨텐츠와 구성은 사용자의 경험을 부분적으로만 정의할 뿐이다. 사용자는 무슨 정보를 어떤 순서로 볼 것인지 결정하면서 도큐먼트를 자유롭게 탐색할 수 있다. “올드 미디어old media”(20세기 TV 방송을 제외하고)도 이런 임의 접근random access을 제공하긴했지만 소프트웨어 주도 미디어 플레이어/뷰어의 인터페이스는 미디어를 탐색하고 무엇을 어떻게 볼 것인지 선택할 수 있는 다양한 추가적 옵션을 제공한다.

예를 들어, 어도비 아크로벳은 PDF 파일의 모든 페이지를 섬네일로 보여 줄 수 있다, 구글 어스에서는 시점을 빠르게 줌인/줌아웃 할 수 있다, 과학 논문및 초록 데이터를 제공하는 ACM Digital Library, IEEE Xplore, PubMed, Science Direct, SciVerse Scopus, Web of Science 등의 온라인 디지털 도서관 및 데이터베이스는 사용자가 선택한 논문에 참고가 되는 다른 논문들도 함께 보여준다. 가장 중요한 것은, 이러한 새로운 도구와 인터페이스는 미디어 도큐먼트 그 자체(출판된 책의 임의 접근 가능성 처럼)나 미디어 접근 기계(라디오 같이)에 고정적으로 붙어있는 것이 아니라는 것이다. 대신 그것은 개별적인 소프트웨어 층이다. 이러한 미디어 구조 덕에 도큐먼트 자체에는 아무런 변화를 주지 않은 채로 새로운 탐색, 관리 도구를 쉽게 추가할 수 있는 것이다. 예를 들어, 클릭 한 번으로 나는 내 블로그에 공유 버튼을 추가할 수 있는데 이것은 컨텐츠가 새로운 방식으로 순환할 수 있도록 해준다. 맥 OS X 프리뷰에서 텍스트 파일을 열어서 형광표시를 하거나, 코멘트를 달고, 링크를 추가하고, 그림을 그리고, 말풍선을 추가 할 수 있다. 그리고 포토샵에서는 “조정 레이어”를 사용해서 원본 이미지는 그대로 두면서 편집을 할 수 있다.



왜 문화 소프트웨어의 역사는 존재하지 않는가?




“Всякое описание мира сильно отстает от его развития.” 
(“세계에 대한 설명은 대게 이것의 실제 발전에 비해서 뒤쳐진다.”) 

러시아 MTV의 VJ Тая Катюша, 2008.


우리는 대부분의 컨텐츠의 생산, 분배, 수용이 소프트웨어에 의해서 매개되는 소프트웨어 문화 속에서 산다. 그럼에도, 창조산업에 종사하는 전문가들은 그들이 날마다 사용하는 소프트웨어(포토샵, 일러스트레이터, 김프, 파이널 컷, 애프터 이펙트, 블렌더, 플레임, 마야, 맥스, 드림위버 등)의 역사에 대해 아무것도 모르고 있다.

현대의 문화 소프트웨어는 어디로부터 왔는가? 어떻게 이것의 은유와 기법이 생겨났는가? 그리고 애초에 이것이 왜 개발되었는가? 유명한 컴퓨터, 웹 회사들은 매체에 빈번하게 등장하기 때문에 그들(예를 들어 페이스북, 구글, 애플 등)의 역사는 비교적 잘 알려져 있다. 하지만 그들은 빙산의 일각에 불과하다. 미디어 저작 및 편집 소프트웨어의 역사는 거의 알려지지 않은 채로 남아있다. 디지털 혁명은 활판 인쇄의 발명만큼이나 중요하다고 일반적으로 이야기하지만, 우리는 이 혁명의 주요 부분인 미디어 소프트웨어가 어떻게 발명되었는지에 대해서는 무지하다. 문화 업계 종사자들은 쿠텐베르그(활판 인쇄), 브루넬리스키(원근법), 뤼미에르 형제, 그리피스, 아이젠슈타인(영화), 르 코르뷔지에(건축), 이사도라 던컨(현대 무용), 솔 바스(모션 그래픽스)와 같은 사람에 대해서는 알고 있다. (만약 당신이 이들을 모른다할지라도, 알고 있는 문화 종사자 친구가 분명 있을 것이다). 그렇지만 대략 1960에서 1978년 사이 컴퓨터를 점진적으로 변화시켜 오늘날의 문화적 기계로 이르게한 J.C.R. 리클라이더, 이반 서덜랜드, 테드 넬슨, 더글러스 엥겔바트, 앨런 케이 그리고 그들의 동료들에 대해서 들어 본 사람들은 지금도 많지가 않다.

놀랍게도 문화 소프트웨어의 역사라는 카테고리도 존재하지 않는다. 주요 인물들과 제록스 파크나 MIT 미디어랩 같은 연구소에 관한 전기 위주의 책들만 있을 뿐 미디어 도구의 계보를 추적하는 종합적인 서적은 없다. 또한 문화 소프트웨어의 역사를 미디어, 미디어 이론, 시각 문화의 역사와 연관지을 수 있을만한 어떠한 연구도 없다.

현대 예술 기관들(뉴욕현대미술관과 테이트 같은 미술관, 파이돈과 리졸리 같은 출판사 등)은 현대 예술의 역사에 대해서 다룬다. 비슷하게 헐리우드는 스타, 감독, 촬영 감독, 고전 영화 등의 역사에 대해 자부심을 갖고 있다. 그렇다면 우리는 문화 기관과 컴퓨터 산업계가 문화 컴퓨팅의 역사에 대해서 무관심한 것에 대해서 어떻게 생각해야 할까? 예를 들어 왜 실리콘 밸리는 문화 소프트웨어를 위한 박물관을 갖고 있지 않은가? (캘리포니아 마운틴 뷰의 컴퓨터 역사 박물관에는 하드웨어, 운영 체제, 프로그래밍 언어를 중심으로한 상당한 상설 전시물이 있다. 그러나 소프트웨어 역사에 관한 것은 없다.)

나는 경제적인 것이 큰 이유라고 생각한다. 조롱당하고 받아들여지지 않던 현대 예술은 결국 투자할 수 있는 무언가가 되었다. 실제로 2000년대 중반에는 20세기 예술가들의 그림이 가장 유명한 고전 예술가의 작품보다 더 비싼 가격에 팔렸다. 비슷하게 헐리우드는 옛날 영화를 DVD나 블루레이 등의 새로운 포맷으로 재발매하여 계속해서 수익을 얻고 있다. IT 산업은 어떤가? 그들은 옛날 소프트웨어를 가지고 어떠한 이윤도 이끌어내지 못한다. 그래서 소프트웨어의 역사를 연구해서 홍보하지를 않는 것이다. 마이크로소프트 워드, 어도비 포토샵, 오토데스크 오토캐드 그리고 다른 많은 문화적 어플리케이션이 그것들의 최초 버전(보통 1980년대에 나온)에 기반해서 만들어졌다. 그리고 기업들은 그러한 최초 버전에 사용된 새로운 기술에 관한 특허를 통해 이윤을 얻고 있다. 그렇지만 1980년대의 비디오 게임들과 달리 이러한 초기 소프트웨어 버전은 현재 다시 발매할 수 있는 독립적인 제품으로 취급되지는 않는다. 나는 한 때 매우 중요했지만 현재 더이상 존재하지 않는 옛날 소프트웨어 버전이나 어플리케이션으로 완전히 새로운 시장을 만들어 낼 수 있다고 생각한다. 예를 들어 알더스의 페이지 메이커 같은 것들 말이다. 소비 문화가 시스템적으로 어른들의 어린시절 문화적 경험에 대한 향수를 이용한다는 점을 놓고 보면 초기 소프트웨어 버전을 시장에 내놓을 거리로 보지 않는다는 사실이 놀랍기까지하다. 만약에 내가 1980년 대에 맥라이트MacWrite와 맥페인트MacPaint를 혹은 1990-1993년에 포토샵 1.0과 2.0을 날마다 사용했었다면, 이러한 경험은 그 시절에 영화나 예술을 보았을 때와 마찬가지로 아마도 내 “문화적 계보”의 큰 부분을 차지 할 것이다. 내가 상업 제품을 위한 새로운 분야를 만드는 것을 변호하는 것은 아니긴 하지만 만약 지금 초기 소프트웨어가 사용가능하게 널리 퍼져있다면 이는 소프트웨어에대한 문화적 관심을 촉진시킬 것이다. 현대 모바일 플랫폼에서 재창조된 고전 컴퓨터 게임의 인기가 비디오 게임 연구 분야를 촉진시키는 것처럼 말이다.

지금까지 대부분의 이론가들이 문화 소프트웨어를 “소셜 미디어,” “소셜 네트워크,” “뉴미디어,” “미디어 아트,” “인터넷,” “인터렉티비티,” “사이버문화”와 구분된 독자적인 주제로 고려하지 않았다. 그래서 미디어 편집 소프트웨어에 대한 개념적 역사뿐만 아니라 미디어 생산에 있어서 소프트웨어의 역할에 대한 체계적인 조사 또한 부족하다. 예를 들어, 1900년대에 널리 쓰인 애니메이션과 합성 어플리케이션인 애프터 이펙트는 동영상의 언어를 어떻게 바꾸었는가? 같은 시기 건축을 공부하는 학생이나 젊은 건축가가 사용했던 알리아스, 마야 그리고 다른 3D 패키지는 건축의 언어에 어떻게 영향을 끼쳤는가? 1994년 HTML의 기본 뼈대에서 시작해서 5년 후 시각적으로 화려한 플래쉬를 사용한 사이트들 그리고 2010년대 초기의 반응형 웹디자인에 이르는, 웹 디자인 도구와 웹사이트 미학의 공진화는 어떤가? 기사나 컨퍼런스 강연에서 이와 비슷한 질문에 대한 언급이나 짧은 토론은 빈번하게 보인다. 그러나 내가 아는 한 이러한 주제에 관한 연구 서적은 존재하지 않는다. 종종 건축, 모션 그래픽스, 그래픽 디자인 등의 분야에 관한 책에서는 소프트웨어 도구를 통해 새로운 가능성과 기회를 추구하는 것의 중요성이 간단하게 논의되긴 하지만 대게 그 이상 진전되지 않는다.

간단히 말해서, 현대 미디어 소프트웨어의 작동방식과 디자인과 미디어 (그래픽 디자인, 웹 디자인, 제품 디자인, 모션 그래픽스, 애니메이션, 영화를 포함한)의 새로운 커뮤니케이션 언어 사이의 관련성에 대한 체계적인 고찰은 아직 이루어지지 않았다. 비록 이 책 한권이 이 모든 것을 다 아우를 수는 없지만 나는 이 책이 그러한 관련성을 어떻게 정리할 수 있는지에 대한 일반적인 모델을 제시하고, 재정의된 특정 문화 영역(모션 그래픽스와 시각 디자인 등)을 소프트웨어가 어떤 방식으로 사용하는지에 대한 자세한 분석을 제공할 수 있기를 바란다.

미디어 디자인을 위한 소프트웨어의 이론에 집중함으로써 이 책은 게임 플랫폼과 디자인(이안 보고스트, 닉 몬트포트)과 전자 문학(노아 워드립-프루인, 매튜 커센바움)에 관련된 소프트웨어를 다루었던 이론가들의 작업을 보충하는 것을 목적으로 한다.

이러한 관점에서, 관련 분야인 마크 마이노, 믹 몬트포트, 이안 보고스트 등이 발전시키고 있는 코드 연구와 플랫폼 연구는 매우 중요한 역할을 한다. 마리노의 다음 이야기에 따르면(나역시 전적으로 동감한다) 소프트웨어 연구, 코드 연구 그리고 게임 연구, 이 세 가지 분야는 상호보완 관계에 있다. “비평적인 코드 연구는 소프트웨어 연구와 플랫폼 연구에 비교하면 신생 분야이다. 하지만 이것은 프로그램의 인터페이스나 사용성(소프트웨어 연구처럼)이나 이것의 근간이 되는 하드웨어(플랫폼 연구처럼)보다는 프로그램의 코드 그 자체에 초점이 맞추어져 있다.”



이 책의 흐름에 관하여

1990년대와 2000년대 중반 사이에 미디어 소프트웨어는 19, 20세기의 미디어 기술을 대체시켰다. 현대의 미디어는 문화 소프트웨어를 통해 만들어지고 접근된다. 그러나 놀랍게도 아직까지 그것의 역사에 대해 아는 사람은 소수에 불과하다. 1960년과 1970년대 후반 사이, 현대의 문화 소프트웨의 근간이 되는 개념과 실질적 기술을 발명한 사람들의 동기는 무엇이었나. 1990년대의 소프트웨어를 기반으로하는 생산 방식은 “미디어”에 대한 개념을 어떻게 바꾸었는가. 컨텐츠 개발 소프트웨어의 인터페이스와 도구는 현대 디자인과 미디어의 미학과 시각적 언어를 어떻게 변형시키고 형성시켜왔는가. 이것이 내가 이 책에서 다루는 핵심적인 질문들이다.

나는 문화 소프트웨어나 특정 미디어 저작 소프트웨어의 종합적인 역사를 제시하려는 것이 아니다. 혹은 미디어 소프트웨어로 인해 가능해진 문화 분야의 모든 새로운 창조적 기술에 관해 논의하려는 것도 아니다. 대신 나는 그 역사의 특정 경로를 추적할 것인데, 이것은 1960년에서 출발해서 현대까지 이르며 핵심적인 지점들을 통과할 것이다. 지금부터 그 흐름을 요약하고 책의 각 부분에서 다룬 주요 개념을 소개하겠다.

Part 1은 1960, 70년대를 다룬다. 뉴미디어 이론가들이 디지털 미디어와 이전의 물리적, 전자적인 미디어 사이의 관계를 이해하기 위해서 많은 노력을 기울였지만, 중요한 자료인 이반 서덜랜드, 더글러스 앵겔바트, 테드 넬슨, 앨런 케이 등 그 시기에 활약한 문화 소프트웨어 개척자들의 글과 활동에 관해서는 다루지 않았다. 이들이 오늘날 컴퓨터가 다른 미디어를 재현 혹은 “재매개”할 수 있도록 개념과 기술을 발명한 이유는 무엇일까? 이 사람들은 무슨 이유로 컴퓨터를 미디어 창작과 변형을 위한 기계로 바꾸기 위한 체계를 만들려고 했는가? Part 1에서는 “문화 소프트웨어 운동”의 주인공인 앨런 케이의 아이디어와 작업을 중심으로 이러한 질문에 대해 논의할 것이다. (물론 현대 미디어 소프트웨어의 DNA를 구성하는 세부 요소들을 발명한 그밖의 사람들을 중심으로 다른식의 역사를 구성해볼 수도 있다. 예를 들면 1970년대에 제록스 파크의 밥 테일러, 찰스 태커, 존 워녹이나 최초의 매킨토시 디자인에 참여했던 사람들처럼 말이다. 그러나 1960년대 가장 잘 알려진 인물들이 어떻게 미디어를 변화시켰는지에 대한 이론적 분석조차 없는 상황이므로 이 책은 이 인물들과 그들의 이론적 텍스트를 분석할 것이다.)

앨런 케이를 비롯한 개척자들은 단지 예전 미디어의 외형을 시뮬레이션 하는 것이 아니라 새로운 미디어를 만드는 것을 목표로 했다고 생각한다. 이러한 새로운 미디어는 기존의 재현적인 포맷을 사용하면서도 많은 새로운 요소를 더했다. 이는 동시에 확장 가능해서 사용자들이 쉽게 새로운 요소를 더하고 새로운 미디어를 만들 수 있어야 했다. 이런 의미에서 케이는 컴퓨터를 최초의 메타미디어metamedium라고 부른다. 메타미디어의 컨텐츠는 “광범위한 영역의 기존 미디어와 아직 발명되지 않은 미디어를 포함한다.”

메타미디어 등장을 위한 기초은 1960년대와 1970년대 후반에 만들어졌다. 이 기간 동안 대부분의 물리적, 전자적 미디어는 체계적으로 소프트웨어에서 재현되었고 새로운 미디어도 다수 발명되었다. 이 발전은 이반 서덜랜드의 인터렉티브 디자인 프로그램인 스케치패드Sketchpad(1962)에서 시작해서 다양한 분야의 전문가들과 미디어 소비자까지도 소프트웨어를 기반으로한 미디어 저작과 디자인을 할 수 있게 해준 오토캐드AutoCAD(1982), 워드Word(1984), 페이지 메이커PageMaker (1985), 알리아스Alias (1985), 일러스트레이터Illustrator(1987), 디렉터Director (1987), 포토샵Photoshop(1989), 애프터 이펙트After Effects(1993) 등 상업적인 데스크탑 어플리케이션에 이른다. (이러한 개인용 컴퓨터 어플리케이션과 나란히 페인트박스Paintbox (1981), 헤리Harry (1983), 애비드Avid (1989), 플레임Flame(1992) 등 TV 및 비디오 산업 분야의 전문가를 위한 훨씬 고가의 시스템도 등장했다.)

그 다음에 무슨 일이 일어났을까? 앨런 케이의 1977년의 이론이 이후 30년의 발전을 정확하게 예견했는가? 아니면 “메타미디어” 개념에 포함되지 않는 다른 발전들이 있었나? 오늘날 우리가 사용하는 미디어에는 기존의 것들을 소프트웨어로 시뮬레이션 한 것도 있고, 새로운 것들도 있다. 두 가지 모두 지속적으로 새로운 요소를 추가시키며 확장해왔다. 이러한 발명의 과정은 무작위적으로 일어나는가 아니면 특정한 경로를 따르는가? 다시 말해서 컴퓨터 메타미디어의 확장의 메카니즘은 무엇인가?

Part 2와 Part 3는 이러한 질문에 관한 것이다. 나는 전문적인 미디어 생산의 모든 영역에 있어서 미디어 소프트웨어가 사용되던 1990년대에 집중하여, 컴퓨터 메타미디어의 확장과 발전의 몇 가지 메카니즘을 논의한다. 이러한 발전과 시각적 미디어(메타미디어 수용 과정이 충분한 속도에 이른 이후인 1990년대 후반에 개발된)의 새로운 미학을 세 가지 개념을 사용하여 설명할 것이다. 그 세 가지 개념은 미디어 하이브리드media hybridization, 진화evolution, 딥 리믹스deep remix이다. Part 2에서는 메타미디어 발전의 두번째 단계를 몇 가지 디지털 미디어 장르를 예로들어 이론적으로 분석한다. Part 3에서는 소프트웨어를 사용한 시각 디자인 (모션 그래픽스, 그래픽 디자인)을 세밀하게 다룬다. 이미지와 동영상, 합성 이미지의 새로운 미학과 이를 제작하는 데 사용한 애프터 이펙트와 같은 소프트웨어의 작동 방식과 인터페이스 사이의 관계를 분석할 것이다.

나는 기존의 물리, 전자적 미디어 기술이 소프트웨어로 옮겨가는 과정에서 기존에 독자적으로 존재했던 이질적인 기술과 도구들이 모두 동일한 소프트웨어 환경에서 만나게 되었다고 생각한다. 이 만남이 인간의 문화적 발전과 미디어 진화에 근본적인 결과를 초래했다. 이것은 미디어 기술과 그것을 사용하는 전문가들 그리고 미디어의 개념 자체의 전체적 양상를 와해, 변형시켰다.

이 기술들이 컴퓨터에서 시뮬레이션되면, 호환되지 않던 미디어 기술이 끝없는 방식으로 조합되기 시작하고 새로운 미디어 혼합물, 혹은 생물학적 은유를 사용해서 새로운 “미디어 종media species”이 만들어진다. 이러한 예는 셀 수 없을 정도로 많지만 널리 사용되고 있는 구글 어스 어플리케이션을 예로 들면, 전통적인 맵핑기술과 3D 그래픽, 소셜 소프트웨어, 검색 등의 다양한 요소와 기능이 합쳐진 것이다. 나는 개별적이던 소프트웨어를 결합할 수 있는 이러한 능력이 인류의 미디어, 기호, 커뮤니케이션의 새로운 단계를 나타낸다고 본다. 이것은 “소프트웨어화softwarization”에 의해서 가능해진 것이다.

나는 미디어 진화의 이 새로운 단계를 하이브리드성hybridity이라는 개념으로 설명한다. 첫 번째 단계에서는 대부분의 기존 미디어가 컴퓨터에서 시뮬레이션 되고 컴퓨터에서만 실현가능한 새로운 타입의 미디어가 일부 발명되었다. 두 번째 단계에서는 이러한 미디어가 상호간의 요소와 기술을 교환하기 시작했다.

이러한 과정을 친숙한 용어인 리믹스와 구분하기 위해 나는 새로운 용어인 딥 리믹스를 제시한다. 리믹스는 일반적으로 한 가지(음악 리믹스처럼) 혹은 소수의(애니메이션 뮤직비디오처럼) 미디어로부터 생산된 컨텐츠를 조합한다. 반면 소프트웨어를 통한 생산 환경에서는 여러가지 미디어의 컨텐츠를 조합할 수 있을 뿐만 아니라 다양한 미디어의 근본적인 기술, 작업 방식, 재현과 표현 방식도 리믹스할 수 있게 된다. 이것이 딥 리믹스이다.

오늘날 하이브리드와 딥 리믹스는 소프트웨어가 사용되는 모든 문화 영역에서 찾아볼 수 있지만 나는 특정 분야를 중심으로 이것이 어떻게 기능하는지 자세하게 살펴볼 것이다. 그 분야는 그래픽 디자인, 그 중에서도 모션그래픽스이다. 모션 그래픽스는 활발한 현대 문화 영역 중 하나이지만 내가 아는 한 어디에서도 이론적으로 자세하게 분석된 적이 없다. 현대 모션 그래픽스는 1950, 60년대의 솔 바스, 파블로 페로의 작업 등을 그 전신으로 볼 수 있지만, 1990년대 중반에서 시작된 가파른 성장은 동영상 디자인 소프트웨어, 특히 어도비가 1993년에 출시한 애프터 이펙트와 직접적으로 관련이 있다. 딥 리믹스는 모션 그래픽스 미학의 중심이 된다. 다시 말해서 현재 세계적으로 만들어지고 있는 모션 그래픽스 프로젝트들 중 다수는 다양한 기술과 미디어 전통(애니메이션, 그림, 타이포그래피, 사진, 3D 그래픽스, 비디오 등)을 새로운 방식으로 조합하는 데서 나오는 미적인 효과를 사용한다. 내 분석의 일부로서 현대 디자인 스튜디오의 일반적인 소프트웨어 기반 작업 흐름이 모션 그래픽스의 미학과 시각 디자인 전반의 형태를 어떻게 형성하는지 살펴 볼 것이다.

문화의 컴퓨터화와 관련한 다음의 주요 사회적 흐름은 소셜 네트워크, 소셜 미디어 서비스, 모바일 어플리케이션 등 다양한 소프트웨어 종류와 관련이 있다. 소셜 네트워크와 소셜 미디어의 유행은 천천히 시작되었다. 2005, 6년(플리커, 유투브)에 급증해서 그 영향력은 지속적으로 확장되었다. 1990년대의 미디어 혁명은 창작업계 전문가들에 영향을 끼쳤고 2000년대의 미디어 혁명은 우리 전체에 영향을 끼쳤다. 다시 말해서 페이스북, 트위터, 파이어폭스, 사파리, 구글 검색, 구글 맵, 플리커, 피카사, 비메오, 블로거 그리고 수많은 모바일 어플리케이션과 서비스를 사용하는 수억의 사람이 영향을 받았다.

우리는 여전히 소셜미디어 확산의 중심에 있기 때문에 나는 이 새로운 경향에 대해서 이론적으로 분석하는 것은 이르다고 판단했다.(이것은 내가 이 책의 초안에서 소셜 미디어에 관한 부분을 편집하면서 명확해졌다. 내가 자세히 분석했던 일부소셜 미디어 서비스가 이미 사라진 것이었다.) 일부 인기 소셜 미디어 서비스는 쇠퇴하고 다른 새로운 서비스가 성장을 하고 있으며 소프트웨어의 “사회적” 기능이 여전히 확장되고 있다. 대신, 나는 소셜 네트워크와 소셜 미디어의 폭발적 확산 이전의 “디지털 미디어”를 가능케하고 형성한 핵심적인 발전을 추적하는데 몰두한다. 1960, 70년대에 미디어 생산 및 편집을 위한 기계로서 컴퓨터에 관한 생각들, 1980, 90년대 그러한 생각을 미디어 어플리케이션에 적용한 것, 이에 뒤따르는 시각 미디어 언어의 변형에 대해 이야기할 것이다.

더 정확히 하자면 이 역사를 1961년에서 1999년 사이로 한정할 수 있다. 1961년에 MIT의 이반 서덜랜드는 스케치패드를 만들었고, 이것은 대중에게 공개된 최초의 컴퓨터 디자인 시스템이되었다. 1999년 애프터 이펙트 4.0에서는 프리미어 파일 가져오기import 기능이 추가되었고, 포토샵 5.5에서는 벡터기반 이미지를 만들수 있었다. 그리고 애플은 파이널 컷 프로 최초 버전을 소개했는데, 이는 특별한 하드웨어 없이 일반적인 컴퓨터로 전문적인 미디어를 제작할 수 있는 현재의 상호운용가능한 미디어 저작 및 편집 도구 패러다임이 완성되었다는 것을 의미한다. 이 시기 이후에도 전문적인 미디어 도구는 계속 진화하긴했지만, 그 변화의 폭은 그리 크지 않았다. 마찬가지로, 이러한 소프트웨어로 만든 전문적 시각 미디어의 언어 역시 1990년대 후반의 급진적인 변화 이후 크게 달라지지 않았다.

이 연결성을 그려보기 위하여 1990년대와 2000년대의 특정 미디어 프로젝트를 예로 들어 분석할 것이다. 그렇지만 미디어 어플리케이션의 인터페이스와 기능에 관해 논의할 때는 가능한 한 현재 소프트웨어 사용자들이 이해하기 쉽도록 최근 버전을 중심으로 할 것이다. 따라서 2000년대 후반 일반 사용자용으로 등장한 모든 미디어 소프트웨어의 소셜 미디어 기능도 고려할 것이다(예를 들어 아이포토 iPhoto의 “공유” 메뉴). 그리고 하이브리드 메카니즘은 전문 미디어 소프트웨어와 전문적으로 제작된 미디어에 국한된 것이 아니고 소셜 웹 소프트웨어 및 서비스의 진화에 있어서도 중요한 역할을 하기 때문에 구글 어스와 같은 중요한 예시도 포함시킬 것이다.

내가 예로서 선택한 미디어 소프트웨어 어플리케이션에 대해서도 언급을 해야할 것 같다. 나는 현재 가장 널리 사용되고 있는 미디어 저작을 위한 데스크탑 어플리케이션에 집중하기로 했다. 포토샵, 일러스트레이터, 인디자인, 드림위버, 애프터 이펙트, 파이널 컷, 마야, 3D 맥스, 워드, 파워 포인트 등이 그것이다. 이 프로그램들은 이미지 편집, 벡터 그래픽스, 페이지 레이아웃, 웹디자인, 모션 그래픽스, 비디오 편집, 3D 모델링 및 애니메이션 등 다양한 종류의 미디어 저작 소프트웨어 카테고리의 예가 된다. 웹 브라우저(파이어 폭스, 크롬, 인터넷 익스플로러), 블로깅 도구와 퍼블리쉬 서비스(워드프레스, 블로거), 소셜 네트워크(페이스북, 트위터, 구글 플러스), 미디어 공유 서비스(플리커, 핀터리스트, 유투브, 비메오), 이메일 서비스 및 클라이언트(지메일, 마이크로소프트 아웃룩), 웹오피스(구글 독스), 지형 정보 시스템(구글 어스, 빙맵) 등도 참고 할 것이다. 나는 사용자들이 미디어와 어떻게 인터렉션하는지에 관심이 있기 때문에 컴퓨터에 기본으로 설치되어 있는 미디어 플레이어(윈도우 미디어 플레이어, 아이튠즈, 퀵타임)와 도큐먼트 열람 어플리케이션(어도비 리더, 맥 OS 프리뷰) 역시 중요한 소프트웨어 카테고리로 다룰 것이다. 일부 프로그램과 웹 서비스는 인기가 떨어지고, 새로운 것들이 시장을 점유해가고 있기 때문에, 당신이 이 책을 읽을 때 쯤이면 앞서 나열한 리스트는 낯설어 보일 수도 있고, 많은 어플리케이션들은 데스크탑에서 웹으로 옮겨갔을지도 모르지만, 카테고리 자체는 변함이 없을 것이다.

나는 내 논의가 가능한 한 현재의 디자이너와 예술가들에게 의미가 있기를 원하기 때문에, 역사적으로는 중요하지만 더 이상 사용되지 않거나 사라진 프로그램은 가볍게 언급하고 넘어갈 것이다. 그러한 것들에는 쿼크익스프레스, 워드퍼펙트, 매크로미디어 디렉터가 있다. 다행히도 내가 자세히 분석할 두 가지 프로그램, 챕터 2의 포토샵과 챕터 5의 애프터 이펙트는 1990년대에 그랬던 것처럼 현재까지도 널리 사용되고 있다.

1980, 90년대 사용된 디지털 미디어 저작 및 편집 시스템 중에서 중요하지 않은 종류에 관해서는 다루지 않을 것이다. 왜냐하면 이 시기에는 개인용 컴퓨터의 그래픽 처리 능력 한계 때문에 실리콘 그래픽스사의 그래픽 워크스테이션(특별 제작된 컴퓨터) 등을 통해서만 이러한 프로그램을 사용할 수 있었기 때문이다. 이를 연대순으로 나열하면 다음과 같다, 페인트박스(1981년 콴텔의 TV 방송을 위한 그래픽스), 미라지Mirage(1982년 콴텔의 실시간 디지털 비디오 효과 프로세서), Personal Visualizer(1988년 웨이브프론트의 3D 모델링 및 애니메이션), 헨리Henry와 할Hal(1992년 콴텔의 효과 편집, 그래픽스 및 합성 시스템), 인페르노Inferno와 플레임Flame (1992년 디스크릿 로직의 영화, 비디오 합성).

1990년대 중반 플레임과 SGI 워크스테이션의 가격은 45만 달러, 인페르노 시스템은 70만달러였다. 2003년 인페르노 5와 플레임 8이 나왔는데 가격은 각각 571,500달러, 266,500달러였다. 이런 시스템은 가격 때문에 TV나 영화 스튜디오 혹은 대형 비디오 효과 업체에서만 사용되었다.

현재 가장 수요가 많은 영화, 애니메이션, TV 광고 등 대량의 데이터로 작업하는 미디어 제작 영역에서는 여전히 이러한 시스템의 고가 소프트웨어를 사용한다. 2000년대 후반 PC, 맥, 리눅스에서 사용가능한 버전이 나오기는 했지만 최첨단 버전은 여전히 특별한 하드웨어를 필요로 하고 가격도 매우 높다. (비디오 편집, 효과, 색보정에 사용되는 스모크, 플레임, 러스트를 포함하고 있는 오토데스크 플레임 프리미엄의 2010년 에디션 가격은 12만 5천 달러였다.)

이 책을 읽는 일반 독자가 이런 고가의 시스템을 사용한 경험이 있다고는 생각하지 않기 때문에, 이에 관해서 더 이상 언급하지 않을 것이다. 그렇지만 1980, 90년대의 동영상 미디어의 역사를 보다 종합적으로 정리(앞으로 누군가 해주기를 희망한다)하기 위해서는 이러한 시스템과 이것의 활용에 관한 고고학과 계보학이 필요하다.

마지막으로 또 한가지의 설명이 필요하다. 일부 독자는 내가 오픈 소스 어플리케이션이 아닌 상업 어플리케이션에만 집중하는 것에 대해서 의아하게 생각할 수도 있다. 예를 들어 나는 김프 보다는 포토샵, 잉크스케이프보다는 일러스트레이터에 관해 기술한다. 그러나 사실 나는 오픈 소스와 무료 소프트웨어를 좋아하고 지지하며 내가 직접 사용하기도 한다. 나는 1994년에 이래로 내가 쓴 모든 글을 manovich.net에 올려서 누구나 무료로 다운로드할 수 있게 하고 있다. 그리고 방대한 양의 미디어 데이터를 분석하고 시각화하기 위한 목적으로 2007년 연구소(www.softwarestudies.com)를 설립했을 때, 무료 소프트웨어 및 오픈 소스를 지향하기로 결정함으로써 다른 사람들이 우리가 개발한 도구를 사용하고 변형할 수 있도록 하였다.

이 책이 오픈 소스 소프트웨어 대신에 상업적 미디어 저작 및 편집 소프트웨어를 중심으로 하는 이유는 간단하다. 소프트웨어 문화 대부분의 영역에 있어 사람들은 무료 어플리케이션과 웹 서비스를 사용한다. 웹 브라우저, 웹 이메일, 소셜 네트워크, 모바일 어플리케이션, 프로그래밍 및 스크립트 언어 등이 그러한 예이다. 기업들이 이러한 어플리케이션과 서비스를 무료로 제공하는 이유는 그들이 다른 방식으로 이윤을 얻기 때문이다. (광고, 추가 기능과 서비스에 대한 비용 부과, 멤버쉽 이용료, 기기 판매 등.) 그러나 미디어 저작 및 편집을 위한 전문적인 도구의 경우에는 상업 소프트웨어가 주를 이룬다. 이것이 항상 더 나은 것은 아니지만, 어쨌든 더 많은 사람들이 사용한다. (예를 들어 구글 트렌드에 “Photoshop(포토샵)”과 “Gimp(김프)”를 입력하면 2004년 이래로 포토샵에 관한 검색이 8배 더 많다는 것을 알 수 있다.) 나는 일반적인 사용자 경험과, 가장 일반적인 저작 도구(모두 상업 제품인)를 사용해서 만든 수많은 작업에 공통적인 미디어 미학의 특징에 관심이 있기 때문에 이러한 제품을 분석하기로 선택한 것이다. 그리고 미디어 접근과 공동작업을 위한 도구를 분석할 때에도 나는 가장 널리 쓰이는 제품을 예로 들 것인데 여기에는 영리회사가 제공하는 무료 소프트웨어 및 서비스(사파리, 구글 어스)와, 무료 오픈 소프 소프트웨어(파이어폭스)가 모두 포함된다.




원문: Software Takes Command (2013) by Lev Manovich
번역: 
김용훈