미디어아트 이론과 정의 Theories and definitions of media art

미디어아트와 문화 Media art and culture

'미디어아트 Media art'라는 용어는 뉴미디어의 등장과 함께 나타난 기술적, 미적, 사회적, 문화적, 법적 그리고 정치적인 이슈를 다루는 예술 프로젝트를 일컫는다. 1990년대 이후 뉴미디어는 인터넷, 웹, 모바일, 무선, GPS 등의 기술을 포함하게되었다. '미디어 문화 Media culture'는 이러한 점에서 뉴미디어를 활용한다.

미디어아트는 비디오, 컴퓨터, 모바일 기기, 인터넷, 소프트웨어, 코드, 컴퓨터 게임, GPS, 스트리밍, 사운드 생성 기기, 로보틱스 등과 같은 새로운 도구와 규범(standards)의 기술적이고 미적인 영역을 탐구하는 프로젝트를 포함한다. 이런 프로젝트는 보통 기술적 한계, 지각의 스테레오타입 혹은 도구의 미적인 부분에 초점을 맞춘다.

현재 논의되고 있는 주제는, 공적 영역, 데이터의 접근성, 소프트웨어, 오픈 스펙트럼(open spectrum)*, 소셜 웹, 개인적 데이터와 아이덴티티 보호, 인간적 권리와 이와 관련한 사회적, 문화적, 법적, 정치적 이슈들이다.

미디어아트 이론과 정의 Theories and definitions of media art

Jean-François Lyotard: New materials (1979)

Lyotard는 1979년 책 La Condition Postmoderne에서 네러티브의 끝, 존재에 대한 인간 컨트롤의 끝, 인본주의적 전틍의 끝을 예견했다. 그는 1985년 전시 Les Immateriaux을 큐레이팅하여 새로운 물질 new materials(새로운 기술, 컴퓨터화 된 공간, 인터넷)의 존재가 인간과 세계의 관계를 급진적으로 변화시킬 것이라는 것을 보이고자했다. 그에 따르면 '새로운 물질'은 새로운 물질이 아니고, 그 스스로 작동하고 이야기함으로써 인간만이 일하고, 말하고, 계획하고 기억한다는 생각에 의문을 제기하는 것. 

Peter Weibel: Digital Image (1984)

미래주의, 입체주의, 입체미래주의, 절대주의, 다다이즘, 초현실주의 등은 미디어아트에 대한 개념적인 전신(precursor). 2차대전 이후에 나타난 새로운 예술 형태인 액션 페인팅, 플럭서스, 해프닝, 팝아트, 옵아트, 퍼포먼스 등은 '해방된 liberated' 디지털 이미지를 위한 토대를 준비하기 위한 것이었다고 주장.

Lev Manovich: New Media (2001)

The Language of New Media

뉴미디어는, 별도로 진행된 두 개의 역사적 궤도, 즉 계산 기술과 미디어 기술 발달의 궤도가 하나로 합쳐진 것이다. 이는 모두 1830년대에 시작되었으며, 그 시초는 배비지(Charles Babbage, 1792~1871)의 자료 입출력, 기억, 계산 등을 자동적으로 처리하는 계산기의 원형인 해석기관(analytic engine)과 다게르(Louis Jacques Mand Daguerre, 1787~1851)의 다게레오타입이라는 독자적인 사진 기술이었다.

20세기 중반에 이르러, 현대적 의미의 디지털 컴퓨터가 개발되어 숫자로 된 자료에 대한 계산을 보다 효율적으로 수행하게 되었다. 이와 평행적으로 우리는 사진 원판이나 필름, 레코더 같은 것에 이미지, 연속된 이미지, 사운드, 텍스트 등을 저장할 수 있도록 하는 현대적 미디어 기술의 발전을 목격하게 된다.

이 두 역사적 과정의 종합은 무엇일까? 그것은 바로 존재하는 모든 미디어를 컴퓨터에서 처리할 수 있도록 숫자화된 자료로 전환하는 것이다. 그 결과로 컴퓨터로 처리할 수 있는 그래픽, 동영상, 사운드, 형태, 공간 그리고 텍스트 등으로 구성된 뉴미디어가 나타났다. 다시 말해서 그것들은 컴퓨터에 저장된 또 하나의 데이터가 된 것이다.

Stephen Wilson: Information Arts (2003)

사용한 기술에 따라서 작품을 80여 개의 카테고리로 나누었다. Wilson은 예술과 과학기술 연구를 비평적 이론과 통합해서 "연구로서의 예술 art as research"로 제안.

Oliver Grau: Virtual Art (2003)

Virtual Art

미디어 아티스트는 이미지 생산의 새로운 방식에 대한 미적 가능성, 지각의 새로운 방식, 미디어 혁명에서의 예술적 위치 등을 탐구할 뿐만 아니라 예술가인 동시에 과학자로서 인터렉션과 인터페이스 디자인의 혁신적인 형태를 연구하고, 미디어 개발의 핵심 영역에서 기여한다.

이 책의 주 내용은 가상 이미지 공간 virtual image spaces라는 미적인 개념의 역사를 추적하는 것이다. 서양 예술 역사의 다양한 단계에서 그것이 어떻게 탄생했고, 단절을 거쳐, 지금까지 이어져 왔는지.

Armin Medosch: Media Art (2005)

기관(institutional)의 맥락에서 미디어아트를 설명한다.

미디어아트를 새로운 영역으로 나누는 것은 그것 자체에 있는 것이 아니라, 이와 관련한 기관들의 시스템 때문이다. 이러한 기관은 두 가지로 나눌 수 있는데 하나는 Ars Electronica와 같은 페스티벌과 ZKM과 같은 대형 기관이다. 또 하나는 네트워크화되고 비중심적인 작은 기관들이다. 대형 기관이 지역적 발전에 기여해야 한다는 압박을 겪는 반면, 작은 기관들은 얼마 안되는 자본으로 꾸려나가고 때로는 열정적인 참가자들과 함께 스스로 비용을 충당하기도 한다.

Rudolf Frieling and Dieter Daniels: Media Art (2005)

미디어 아트는 멀티미디어, 시간 기반 time-based, 혹은 과정 중심 process-oriented인 것이다.

1. 미디어 아트는 멀티미디어를 포함해야 한다. 그래야 시간 기반, 과정적 그리고 인터렉티브한 부분이 이해될 수 있다.

2. 미디어 아트는 예술 역사, 미디어 과학, 미디어 기술이 결합된 특별한 이론을 필요로 한다.

3. 멀티미디어 프리젠테이션과 특별한 이론은 상호의존적이다.

4. 맥락 context는 오직 인터넷을 통해서 생산되고 제시될 수 있다.

Charlie Gere: Art and Realtime Systems (2006)

Art, Time and Technology

리얼타임 시스템의 시대에서 예술의 역할은 무엇인가. 

Mark Tribe and Reena Jana: New Media Art (2006)

New Media Art

디지털 아트, 컴퓨터 아트, 멀티미디어 아트, 인터렉티브 아트 등은 교차적으로 사용된다. 이 책에서는 뉴미디어 아트라는 용어를 새로운 미디어 기술을 사용하고, 그러한 도구와 관련한 문화, 정치, 미적 가능성을 다루는 프로젝트를 묘사하는 데 쓴다.

뉴미디어 아트를 두 가지 범주로 나눈다.

1. Art and Tecnology: 전자 예술, 로보틱 예술 등 기술을 사용하지만 미디어와는 관련이 없는 것.

2. Media: 비디오 아트, 실험 영화 등 미디어 기술과 관련 한 것 (1990년대 이후 '새롭다'라고는 여겨지지 않는 기술)

책에서는 뉴미디어 아트라는 용어가 널리 사용되기 시작한 1994년 이후에 만들어지고, 개념적인 깊이, 기술적 혁신, 사회적 연관성을 보여주는 작품들을 다룬다.

Timothy Druckrey (2007)

1. 모호한 단계 phase of ambiguity (1960~1980년대). 전자 예술, 컴퓨터 예술은 모호하고 특정한 포커스 없이 단지 재미의 일종이었다.

2. 확산 단계 proliferation period (1980후반 ~1980년대). 모두가 사용하고, 모두가 더 빨라진 시기.  뉴미디어라는 용어가 생겨나게 됨.

3. 일상 단계 phase of ubiquity. 미디어가 모든 문화 환경에 존재.

*오픈 스펙트럼: 파장을 누구나 사용할 수 있도록 공공화 하자는 운동

아래의 원문을 번역/요약한 것
Media art and culture 

http://monoskop.org/Media_art_and_culture?utm_content=buffer4ea09&utm_source=buffer&utm_medium=facebook&utm_campaign=Buffer

소프트웨어가 지휘한다 Software Takes Command

소프트웨어가 지휘한다 

레브 마노비치 지음

서론

미디어의 이해

나는 컴퓨터로 가능해진 새로운 문화 형식에 관한 내 이전 책의 제목을 '뉴미디어의 언어'라고 지었다. 그 책은 1999년에 완성되어 2001년에 출판되었는데, 그 즈음에는 모든 미디어 제작 업계에서 소프트웨어를 기반으로 하는 도구의 도입을 거의 끝마쳤고, "뉴미디어 아트"는 상업 소프트웨어와 전자기기들이 채 다루지 못한 가능성을 보여주며 대담하고 활발한 단계에 있었다.

10년이 지난 후, 대부분의 미디어는 "뉴미디어"가 되었다. 1990년대의 발전이 널리 펴져 수억 명의 사람들이 블로그를 운영하고 사진과 동영상을 공유하며, 10년 전 수만 달러에 달하던 미디어 저작 및 편집 소프트웨어 도구를 무료로 이용하고 있다.

구글이 개척한 기술 덕분에 이제 세계는 영원히 베타 버전 상태에서 변화하는 웹 어플리케이션과 웹 서비스 위에서 작동되는 데 익숙해졌다. 웹 어플리케이션과 서비스는 원격 서버에서 구동되기 때문에 사용자가 아무것도 하지 않아도 자동으로 업데이트된다. 실제로 구글은 검색 알고리듬 코드를 하루 수차례 업데이트 하고 있다. 페이스북 역시 매일 코드를 업데이트 하고 있고 때로는 부서지기도(오류가 발생하기도) 한다. (페이스북 사무실 곳곳에 붙어있는 포스터에 따르면 페이스북의 신조는 “재빨리 움직여라, 무엇이든 부숴보라"이다.) 영원한 변화의 세계에 오신 것을 환영한다. 이제 세계는 좀처럼 바뀌지 않는 무거운 산업 기계가 아니라 항상 변화의 상태에 있는 소프트웨어에 의해서 정의된다.

인문학자, 사회 과학자, 미디어 학자, 문화 비평가들이 왜 소프트웨어에 대해 관심을 가져야 하는가? 그것은 문화적 산물을 제작, 저장, 배포, 접근하기 위해 사용된 21세기 이전의 다양한 물리적, 기계적, 전자적 기술 대부분을 소프트웨어가 대체했기 때문이다. 워드 프로세서 혹은 그와 유사한 오픈 소스 프로그램을 사용해서 편지를 쓸 때, 당신은 소프트웨어를 이용한다. 블로거Blogger 혹은 워드프레스WordPress에 글을 올릴 때, 당신은 소프트웨어를 이용한다. 트위터나 페이스북에서 글을 쓸 때, 유투브에서 동영상을 검색하거나 스크라이브드Scribd에서 글을 읽을 때, 당신은 소프트웨어를 이용하는 것이다(서버 상에 존재하는 웹 브라우저를 통해 접근되는 이 카테고리의 소프트웨어는 웹 어플리케이션 혹은 웹웨어라고 불린다).

비디오 게임을 할 때, 미술관에서 인터렉티브 설치 작품을 감상할 때, 건물을 디자인 할 때, 영화 특수 효과를 만들 때, 웹 사이트를 디자인할 때, 휴대 전화로 영화 리뷰나 영상을 볼 때, 그리고 그 밖에 다른 수천 가지의 문화 활동을 할 때, 실질적으로 이야기해서 당신은 똑같은 일을 하고 있다. 바로 소프트웨어를 사용하는 것이다. 소프트웨어는 우리의 기억과 상상, 타인, 세계로 통하는 인터페이스가 되었다. 이것은 세계가 사용하는 보편적인 언어이자 세상이 작동하는 보편적인 엔진이다. 20세기 초기 전기와 연소 기관이 그랬던 것처럼 21세기에는 소프트웨어가 세계에 영향을 끼치고 있다.

이 책은 "미디어 소프트웨어"에 관한 것이다. 미디어 소프트웨어는 워드, 파워 포인트, 포토샵, 일러스트레이터, 애프터 이펙트, 파이널 컷, 파이어폭스, 블로거, 워드프레스, 구글 어스, 마야, 3D 맥스 등과 같은 프로그램을 일컫는다. 이러한 프로그램들은 이미지, 동영상 시퀀스, 3D 디자인, 텍스트, 지도, 인터렉션 요소 그리고 이러한 것들이 다양하게 조합된 웹사이트, 인터렉티브 어플리케이션, 모션 그래픽, 가상 지구 등을 제작, 퍼블리쉬, 공유, 리믹스할 수 있게 해준다. 미디어 소프트웨어는 파이어폭스와 크롬 등 웹 브라우저, 이메일 및 채팅 프로그램, 뉴스 리더 그리고 미디어 컨텐츠에 접근하는 것을 주목적으로 하는 다른 종류의 소프트웨어 어플리케이션도 포함한다.

이처럼 미디어를 제작하고, 미디어와 인터렉션하고 이를 공유하는 소프트웨어 도구는 일반적인 어플리케이션 소프트웨어(웹 어플리케이션을 포함한)에 포함된다. 따라서 우리는 이러한 도구들이 현대의 모든 소프트웨어가 갖는 공통적인 특징을 물려받았을 것이라고 가정할 수 있다. 이것은 무엇을 의미하는가. 공간 디자인, 영화 특수효과 제작, 웹사이트 디자인 혹은 정보 그래픽 등 분야에 관계없이 디자인 과정에 있어서 모두 같은 논리를 따라야 한다는 것일까? 모션 그래픽, 그래픽 디자인, 웹사이트, 제품 디자인, 건물, 비디오 게임은 모두 소프트웨어를 통해 디자인되므로, 이들이 공유하고 있는 어떤 구조적인 특징이 있는 것일까? 좀 더 일반적으로 이야기하자면, 미디어 저작 소프트웨어의 인터페이스와 도구는 다양한 미디어 종류의 미학과 시각 언어를 어떤 방식으로 형성하는가?

이 책에서 논의된 이러한 의문 뒤에는 다음과 같은 이론적 질문이 있다. 이것은 이 책의 서술 방식을 결정하고 주제 선정에 동기를 부여했다. 기존의 미디어 도구들이 소프트웨어를 통해 시뮬레이션 되고 확장된 이후에 "미디어"라는 것에 무슨 일이 일어났는가? 미디어들 사이의 차이에 대해서 이야기하는 것이 과연 의미가 있기나 한 것일까? 아니면 우리는 하나의 독자적인 단일미디어monomedium 혹은 메타미디어metamedium(이 책의 주인공인 앨런 케이Allen Kay의 용어를 빌리자면)의 새롭고 용감한 세계에 살게 된 것일까?

요컨대, 소프트웨어 이후의 "미디어"는 무엇인가?



“미디어”는 여전히 존재하는가?

이 책은 미디어 소프트웨어와, 이것이 미디어의 활용과 개념에 끼친 영향을 이론적으로 기록한 것이다. 지난 이십 여 년간 소프트웨어는 19세기와 20세기에 등장한 대부분의 미디어 기술을 대체시켰다. 오늘날 이것은 일상적이고 당연한 것으로 여겨진다. 그렇지만 놀랍게도 이것의 역사와 발전 이면의 이론적 바탕에 대해서 알고 있는 사람은 거의 없다. 당신은 아마도 서양 미술에 선형 원근법 사용을 대중화시킨 르네상스 예술가들의 이름, 브루넬리스키와 알베르티를 알고 있을 것이다. 아니면 20세기 초반 영화 기법을 발명한 그리피스나 아이젠슈타인을 알 것이다. 그렇지만 포토샵이나 워드, 혹은 당신이 매일 사용하는 미디어 도구들이 어디서 왔는지는 잘 모를 것이다. 더 중요한 것은, 이러한 도구들이 애초에 왜 만들어졌는지 알고 있지 않을 것이라는 점이다.

미디어 소프트웨어의 지적인 역사는 무엇일까? 1960년에서 1970년대 후반 사이에 오늘날 미디어 어플리케이션의 기초가 되는 대부분의 개념과 실질적인 기술을 만들어낸 주요 인물들(J. C. R. 리클라이더, 이반 서덜랜드, 테드 넬슨, 더글러스 엥겔바트, 앨런 케이, 니콜라스 네그로폰테)과 그들이 주도했던 연구 단체의 생각과 동기는 무엇이었을까? 내가 발견한 것은 (이들의 글에 대한 나의 분석을 읽고 당신도 내가 처음 느꼈던 놀라움을 경험하길 바란다) 그들이 컴퓨터 엔지니어였던 동시에 미디어 이론가였다는 것이다. 나는 이들의 미디어 이론에 대해 논의하고 이후 수십년 동안의 디지털 미디어 발전에 비추어 이를 확인할 것이다. 앞으로 보게되겠지만, 이들의 이론은 오늘날 우리가 만들고, 읽고, 보고, 리믹스하고, 공유하는 데 사용하는 소프트웨어를 이해하는 데 도움을 준다.

그렇다면 이제, 현대 소프트웨어 문화의 “비밀 역사”를 소개하겠다. 이것이 비밀인 이유는 그 역사가 의도적으로 숨겨졌기 때문이 아니라, 문화의 컴퓨터화가 가져온 급작스러운 변화에 흥분한 나머지 우리는 여태까지 그것의 기원을 살펴 볼 생각을 안했기 때문이다. 이 책은 그것이 가치있는 일임을 확인시켜 줄 것이다.

이 책의 제목은 건축사학자이자 비평가 지크프리트 기디온이 쓴 20세기의 중요 저작 <기계가 지휘한다(1947)>에서 따 온 것이다. 기디온은 빵, 육류, 냉장 등에 책의 섹션을 할애하며 산업 사회의 기계화 발전 과정을 위생 시스템, 폐기물 관리, 패션, 농업 생산 등을 포함한 다양한 분야를 아우르며 추적한다. 나는 훨씬 작은 범위에서, 1960년에서 2010년 사이 문화의 “소프트웨어화”(나의 신조어)의 역사적 사건들을, 이것의 발전을 이끈 최초의 아이디어에서 시작해서 현재의 일상적인 상황에 걸쳐 미디어 소프트웨어를 중심으로 소개할 것이다.

내 연구는 “소프트웨어 연구Software Studies”의 학문적 패러다임 내에 위치해 있다. 이러한 관점에서 이 책이 기여하는 바는 미디어 소프트웨어의 등장을 가능케한 아이디어를 분석하고 이러한 종류의 소프트웨어의 수용이 현대의 미디어 디자인과 시각 문화에 끼친 영향을 논의하는 것이다.

미디어 소프트웨어는 어플리케이션 소프트웨어의 하위 카테고리로 분류된다 (어플리케이션 소프트웨어라는 카테고리는 소프트웨어에 포함되는데, 소프트웨어는 어플리케이션 소프트웨어, 시스템 소프트웨어, 컴퓨터 프로그래밍 도구, 소셜 네트워크 서비스, 소셜 미디어 기술 등을 포함한다).

만약 소프트웨어를 이처럼 확장된 개념으로 이해한다면, 우리는 다음과 같은 질문을 할 수 있다. “소프트웨어 사회”에 산다는 것은 무엇을 의미하는가? “소프트웨어 문화”의 일부가 된다는 것은 무엇을 의미하는가? 다음 섹션에서는 이에 대해 다룰 것이다.



소프트웨어 혹은 현대 사회의 엔진

1990년대 초, 세계에서 가장 유명한 브랜드는 소재나 제품을 생산하거나 혹은 물질적인 것들을 처리하는 것과 관련한 사업 분야의 기업이었다. 그러나 지금 가장 잘 알려진 브랜드 리스트의 상위권에는 구글, 페이스북, 마이크로소프트가 위치하고 있다. (2007년 구글은 세계 브랜드 가치 순위에서 1위를 차지했다.) 그리고 적어도 미국에서는, 뉴욕 타임즈, USA 투데이, 비즈니스위크 등 가장 널리 읽히는 신문과 잡지에 페이스북, 트위터, 애플, 구글 및 다른 IT 기업들에 대한 기사가 매일 실린다.

다른 매체들은 어떨까? 2008년에 처음 이 책을 쓰기 시작하던 무렵 나는 CNN 웹사이트의 비즈니스 섹션을 체크했었다. 웹사이트의 첫 화면에는 10개의 기업과 지수indexes에 관한 시장 분석 정보가 표시되어 있었다. 그 목록은 매일 바꼈지만 IT 브랜드는 항상 포함되어 있었다. 2008년 1월 21일의 경우를 예로 살펴보면, 그 날의 목록은 구글, 애플, S&P500지수, 나스닥종합, 다우산업, 시스코 시스템, 제너럴 일렉트릭, 제너럴 모터스, 포드 그리고 인텔이었다.

이 리스트가 직접적으로 말해주고 있다. 제너럴 일렉트릭, 제너럴 모터스, 포드 즉, 물질적인 것이나 에너지와 관련한 기업은 리스트 후반부에 나타난다. 그 앞뒤로 두 개의 IT 기업이 있는데 이들은 하드웨어를 공급하는 사업을 한다. 인텔은 컴퓨터 칩을 만들고 시스코는 네트워크 장비를 만드는 것이다. 제일 상위에 있는 두 개의 기업, 구글과 애플은 어떤가? 첫 번째인 구글은 정보와 관련한 사업을 하고 (구글은 세계의 정보를 정리하고 그것을 보편적으로 유용하고 접근가능하도록 만드는 것을 목표로 한다), 두 번째인 애플은 전화, 타블렛, 노트북, 모니터, MP3 플레이어 등과 같은 전자 제품을 만든다. 하지만 사실상 이 두 업체는 공통적으로 ‘다른 어떤 것’을 만들고 있다. 그것은 미국의 경제 활동뿐만 아니라 세계의 경제에도 중요한 역할을 하기 때문에 이를 만드는 기업들이 거의 매일 비즈니스 뉴스에 등장하는 것이다. 그리고 구글, 페이스북, 트위터, 아마존, 이베이, 야후 같은 주요 인터넷 기업들 역시 날마다 뉴스에 나오는데 그들 역시 같은 업종에 속한다고 할 수 있다.

이 ‘다른 어떤 것’은 바로 소프트웨어이다. 검색 엔진, 추천 시스템, 맵핑 어플리케이션, 블로그 도구, 옥션 도구, SMS(단문 메시지 서비스) 서버 그리고 사람들이 새로운 소프트웨어를 만들 수 있게 해주는 iOS, 안드로이드, 페이스북, 윈도우, 리눅스 등의 플렛폼이 세계의 경제, 문화, 사회적 삶 그리고 정치의 한 복판에 자리하고 있다. 그리고 이 “문화 소프트웨어”는 광대한 소프트웨어 우주 중에서 눈에 보이는 일부일 뿐이다. (이것을 문화 소프트웨어라고 한 것은 이것이 문화의 “원자”를 품고 있고 수억의 사람들이 직접적으로 사용하기 때문이다.)

내가 벤자민 브래튼과 함께 제안했지만 결국 출판하지는 못한 책 소프트웨어 사회Software Society(2003)에서 우리는 소프트웨어의 중요성과, 인문학과 사회 과학 연구에 이것이 비교적 드러나지 않는다는 점에 대해서 기술했다. 내용은 다음과 같다.

소프트웨어는 전쟁중에 목표물로 날아가는 미사일의 방향을 통제한다. 소프트웨어는 아마존, 갭, 델의 물품 창고와 생산라인을 작동시키고, 다른 수많은 기업들로 하여금 물품을 조립하고 즉시 전 세계로 보낼 수 있도록 해준다. 소프트웨어는 상점이나 슈퍼마켓의 재고를 자동으로 파악해서 진열대에 채워놓을 수 있게 해줄 뿐만 아니라 어떤 상품을 언제, 어디서, 얼마에 판매할 것인지 결정할 수 있게 해준다. 물론 소프트웨어는 인터넷을 조직하고, 이메일을 전달하며, 서버로 부터 웹페이지를 가져오고, 네트워크 트래픽을 전환하고, IP 주소를 할당하고, 웹페이지를 브라우저 상에 표시하기도 한다. 학교와 병원, 군사 기지, 과학 실험실, 공항, 도시 등 현대의 모든 사회적, 경제적, 문화적 시스템이 소프트웨어에 의해서 작동한다. 소프트웨어는 이 모든 것을 하나로 묶는 보이지 않는 접착제이다. 현대 사회의 다양한 시스템이 각기 다른 언어로 이야기하고 저마다의 목적을 갖고 있지만, 그 모든 것들은 소프트웨어의 구문론을 공유한다. 그것은 “if then”과 “while do” 같은 제어 명령, 오퍼레이터와 데이터 종류(문자나 부동 소수점 수), 리스트 같은 데이터 구조 그리고 메뉴와 다이얼로그 박스를 아우르는 인터페이스 전통 등이다.

전기와 연소 기관이 산업 사회를 가능케했다면, 소프트웨어는 전세계적 정보 사회를 가능하게 만들었다. 정보 사회 경제의 핵심이 되는 “지식 노동자,” “창조적 전문가Symbol Analysts,” “창조 산업,” “서비스 산업” 등은 소프트웨어 없이는 존재할 수 없다.

과학자들이 사용하는 데이터 시각화 소프트웨어, 재무분석가가 쓰는 스프레드시트, 글로벌 광고 회사의 디자이너가 사용하는 웹 디자인 소프트웨어, 항공사가 이용하는 예약 소프트웨어 등이 그러한 예들이다. 소프트웨어는 글로벌화 과정을 주도하기도 한다. 기업은 소프트웨어를 이용하여 관리 구조, 생산 시설, 저장 및 소비 현황을 전 세계로 분배한다. 지난 수 십년 동안 사회학 이론이 다루었던 현대적 존재의 모든 새로운 측면(정보 사회, 지식 사회, 네트워크 사회 등)은 소프트웨어에 의해 가능해진 것이다.

사회 과학자, 철학자, 문화 비평가, 미디어/뉴미디어 이론가들이 사이버문화 연구, 인터넷 연구, 게임 연구, 뉴미디어 이론, 디지털 문화, 디지털 인문학 등의 새로운 분야를 만들어내면서 지금까지 IT 혁명의 모든 면을 다룬 것처럼 보이지만 역설적이게도 이를 근원적으로 추진하고 있는 엔진인 소프트웨어는 비교적 주목 받지 못했다. 심지어 사람들이 휴대전화와 다양한 컴퓨터 기기로 어플리케이션을 사용하고 업데이트하는 오늘날에도, IT와 이것의 문화와 사회적 영향에 관심을 가지고 있는 학자, 예술가, 문화 전문가들 대부분은 소프트웨어라는 이론적인 카테고리를 보지 못하고 있다.

몇 가지 예외는 있다. 저작권과 IP를 둘러싼 오픈소스 운동과 이와 관련한 이슈는 많은 학문 분야에서 다루었다. 그리고 구글, 페이스북, 아마존, 이베이, 오라클 등 웹 거물들에 관한 책도 꾸준히 나오고 있다. 이 책들 중 일부는 이 기업들이 개발한 소프트웨어에 관한 통찰력 있는 논의와, 이러한 소프트웨어의 사회적, 정치적, 인지적, 인식론적 영향을 다루고 있다. (존 바텔의 책이 좋은 예이다. <The Search: How Google and Its Rivals Rewrote the Rules of Business and Transformed Our Culture.>)

2003년 내가 소프트웨어 사회를 제안할 때보다는 상황이 나아졌지만, 다음의 내용은 여전히 의미가 있다고 생각한다 (소셜 미디어와 크라우드소싱만 추가되었다):

만약 우리가 디지털 문화에 관한 비평적 논의를 “오픈 액세스open access,” “공동생산peer production,” “사이버,” “디지털,” “인터넷,” “네트워크,” “뉴미디어,” “소셜 미디어” 등의 개념에 국한시킨다면, 새로운 재현 및 커뮤니케이션 미디어의 이면을 보지 못 할 것이고 또 이것이 진정 무엇이며 어떤 일을 하는지 절대 알 수 없을 것이다. 소프트웨어 자체를 언급하지 않는다면 원인이 아니라 결과만을 다루는 위험에 처하게 된다. 컴퓨터 스크린에 나타나는 결과가 아니라 이러한 결과를 만들어내는 프로그램과 사회적 문화에 대해서 생각해야 한다. “정보 사회,” “지식 사회,” “네트워크 사회,” “소셜 미디어,” “온라인 협업,” “크라우드소싱” 등 현대적 존재의 모든 새로운 측면은 소프트웨어에 의해 가능해졌다. 이제 소프트웨어 자체에 주목할 때다.

노아 와드립-프루인은 그의 저서 <Expressive Processing(2009)>에서 디지털 문학 관련 서적들에 대해 이야기 하면서 비슷한 견해를 밝혔다. “이러한 책들 거의 대부분이 디지털 미디어 기계의 외형이 어떻게 생겼는지에만 집중했다... ...관점에 상관없이, 디지털 미디어에 관한 글들은 결정적인 어떤 것을 간과했다. 그것은 디지털 미디어가 작동하게 만드는 실질적인 과정들, 디지털 미디어를 가능케 하는 컴퓨테이셔널computational 기계들이다.” 내 책은 오늘날 이러한 “기계들”의 핵심 부분이 되는 것(이것이 대부분의 사용자가 직접적으로 사용하고 보게 되는 유일한 부분이기 때문에)에 관해 다룬다. 그것은 어플리케이션 소프트웨어이다.



소프트웨어 연구는 무엇인가?

이 책은 “소프트웨어 연구”의 학문적 패러다임의 발전에 기여하는 것을 목표로 한다. 소프트웨어 연구는 무엇인가? 몇 가지 정의가 있는데, 첫 번째는 내가 아는 한 “소프트웨어 연구,” “소프트웨어 이론”이라는 용어가 처음 등장한 나의 책 <뉴미디어의 언어>에서 볼 수 있다. “뉴미디어는 1950년대 로버트 이니스와 마셜 맥루언의 혁명적인 업적에서 기원하는 미디어 이론의 새로운 단계를 필요로 한다. 뉴미디어의 논리를 이해하기 위해서는 컴퓨터 과학에 주목할 필요가 있다. 여기서 우리는 프로그래밍이 가능해진 미디어를 위한 새로운 용어, 카테고리, 작동 방식을 찾을 수 있을 것이다. 우리는 미디어 연구로부터 소프트웨어 연구라고 부를 수 있는 어떤 것으로 이동해야 한다. 미디어 이론에서 소프트웨어 이론으로.”

지금 다시 읽으니 어느 정도는 수정이 필요한 것 같다. 위에서는 컴퓨터 과학이 소프트웨어 사회에서 문화가 어떻게 작동하는지 설명해줄 수 있는 일종의 절대적 진실인 것으로 간주한다. 하지만 컴퓨터 과학은 그 자체로 문화의 일부이다. 그러므로 소프트웨어 연구는 현대 문화 안에서 소프트웨어의 역할과, 소프트웨어 자체의 발전 양상을 만들어내는 사회 문화적 힘에 대해서 탐구해야 한다.

이것의 필요성을 종합적으로 다룬 책은 노아 와드립-프루인과 닉 몬트포트가 편집한 <뉴미디어 리더New Media Reader>이다. 이 획기적인 책은 문화의 역사와 관련하여 소프트웨어를 연구하는 데 필요한 체계를 제시했다. 비록 “소프트웨어 연구”라는 용어를 명시적으로 사용하지는 않았지만, 소프트웨어를 어떤 방식으로 고찰할지에 대한 모델을 제안했다. 동시대에 활동했던 문화 컴퓨팅의 선구자들의 글과, 예술가와 작가들의 글을 조직적으로 나란히 배치함으로써 큰 틀에서 양측모두 같은 지적 체계에 속해있다는 것을 증명해보였다. 즉, 종종 동일한 아이디어가 독립적으로 문화 컴퓨팅을 발명하고 있던 예술가와 과학자에 의해서 동시에 개발되었다. 예를 들어, <뉴미디어 리더>는 호르헤 루이스 보르헤스의 소설과 바네바 부시의 글로 시작하는데 둘 모두 데이터 정리와 인간 경험을 기록하는 방법으로서 가지 뻗는 구조에 대한 아이디어를 담고있다.

문화로서 소프트웨어에 관한 선구적인 책 <Behind the Blip: essays on the culture of software(2003)>을 출판했던 매튜 퓰러는 2006년 1월 로테르담의 피에 츠바르트 학교Piet Zwart Institute에서 최초의 소프트웨어 연구 워크샵을 열었다. 인사말에서 퓰러는 다음과 같이 이야기 했다. “컴퓨테이셔널하고 네트워크 된 디지털 미디어를 이론화하고 연구하는 데 있어서 소프트웨어는 잘 드러나지 않는다. 이것은 미디어 디자인의 근간이며 ‘질료stuff’이다. 어떤 면에서 현재의 모든 학문적 작업은 ‘소프트웨어 연구’이다. 소프트웨어는 이를 위한 미디어와 맥락을 제공하기 때문이다. 그러나 공학적 측면을 제외하고 소프트웨어의 구체적 본질, 물질성에 대한 연구는 매우 드물다.”

나는 “지금의 모든 학문적 작업은 ‘소프트웨어 연구’이다”라는 데 있어 퓰러와 전적으로 동의한다. 비록 지식인들이 그것을 깨닫기 까지는 얼마 간의 시간이 걸릴 것이지만 말이다. 이를 돕기위해 매튜 퓰러와 노아 워드립-프루인 그리고 나는 2008년 MIT 출판사에 책 시리즈, 소프트웨어 연구Software Studies를 설립했다. 그 중 이미 출판된 책은 퓰러가 편집한 <Software Studies: A Lexicon(2008)>, 와드립-프루인의 <Expressive Processing: Digital Fictions, Computer Games, and Software Studies(2009)>, 웬디 휘 경 전의 <Programmed Visions: Software and Memory(2011)>, 롭 키친과 마틴 다지의 <Code/Space: Software and Everyday Life(2011)>, 지오프 콕스와 알렉스 매클린의 <Speaking Code: Coding as Aesthetic and Political Expression(2012)>가 있다. 2011년 퓰러는 출판과 논의를 위한 플랫폼으로 영국의 연구자들과 함께 온라인 학술지, <컴퓨테이셔널 문화Computational Culture>를 만들었다.

그 밖에 플랫폼 연구, 디지털 인문학, 사이버문화, 인터넷 연구, 게임 연구의 관점에서 쓰여진 책들이 점점 더 많이 발간되고 있다는 사실을 기쁘게 생각한다. 이 중 많은 책들이 소프트웨어의 역할에 대한 이해를 돕는 중요한 통찰과 논의를 담고 있다. 그 전부를 나열하는 대신에, 플랫폼 연구와 디지털 인문학에 관련한 책들 중 일부를 소개하겠다 (당신이 이 책을 읽고 있을 즈음이면 더 많은 책들이 출판되고 있을 것이다). 플랫폼 연구에 관한 책으로는 닉 몬트포트와 이안 보고스트의 <Racing the Beam: The Atari Video Computer System (2009)>, 지미 마허의 <The Future Was Here: The Commodore Amiga (2012)>이 있다. 디지털 인문학에 대한 책은 다음과 같다. 매튜 G. 커센바움의 <Mechanisms: New Media and the Forensic Imagination (2008)>, 데이비드 베리의 <The Philosophy of Software: Code and Mediation in the Digital Age (2011)>, 스테판 램지의 <Reading Machines: Toward an Algorithmic Criticism (2011)>, 캐서린 헤일즈의 <How We Think: Digital Media and Contemporary Technogenesis (2012)>. 그리고 “포맷 연구”라는 새로운 영역에 관한 최초의 서적인 조나단 스턴의 <MP3: The Meaning of a Format (2012)>도 관련이 깊다.

소프트웨어 시스템의 역할과 기능의 이해와 관련한 또 한무리의 책은 컴퓨터 과학 전공자이면서 동시에 문화 이론, 철학, 디지털 예술 혹은 다른 인문학 분야에 익숙한 사람들에 의해 쓰여졌다. 피비 센거스Phebe Sengers, 워런 색Warren Sack, 폭스 해럴Fox Harrel, 마이클 마티스Michael Mateas, 폴 도리쉬Paul Dourish와 필 애그리Phil Agre가 그들이다.

그리고 또 하나의 카테고리로, 중요 연구실과 연구 그룹에 관한 역사적 연구에 관한 책들이 있다. 이 단체들은 근대 소프트웨어, 정보 기술의 다른 주요 분야들(인터넷 등), 소프트웨어 공학의 전문적 활동(사용자 시험 등)의 발전의 중심에 있었다. 이들에 관한 책의 일부를 시대 순으로 나열하면 다음과 같다. 케이티 해프너와 매튜 라이언의 <Where Wizards Stay Up Late: The Origins Of The Internet (1998)>, 마이클 힐지크의 <Dealers of Lightning: Xerox PARC and the Dawn of the Computer Age (2000)>, 마틴 캠벨-켈리의 <From Airline Reservations to Sonic the Hedgehog: A History of the Software Industry (2004)> 그리고 네이선 엔스밍거가 쓴 <The Computer Boys Take Over: Computers, Programmers, and the Politics of Technical Expertise (2010)>.

그렇지만 내가 항상 꼽는 고전은 1985년에 나온 하워드 라인골드의 <사고 도구Tools for Thought>이다. 이 책이 출판된 바로 그 해에 컴퓨터와 소프트웨어가 일반화되기 시작해서 지금의 일상성의 단계에 이르게 되었다. 그 책은 컴퓨터와 소프트웨어가 단지 “기술”이 아니라 우리가 그것을 통해 다르게 생각하고 상상할 수는 새로운 미디어라는 핵심 통찰을 바탕으로 구성되어 있다. 이 책에 등장하는 컴퓨테이셔널한 “사고 도구”를 발명한 영웅들, J.C.R. 리클라이더, 테드 넬슨과 그들의 동료들 역시 그러한 관점을 공유한다. (오늘날 인문학과 사회 과학 분야의 많은 학자들이 단순하지만 근본적인 이러한 시각에 대해 관심을 가져야 한다. 그들은 소프트웨어를 대학의 컴퓨터학과에서나 다루는 것으로 치부한다. 소프트웨어를 인간의 지적인 창의성이 자리하고 있는 미디어가 아니라 단지 일의 효율성만 높일 수 있는 무언가로 생각하는 것이다.)

소프트웨어 연구를 둘러싼 지적인 활동의 양상을 제대로 그리기 위해서는 소프트웨어의 문화적 논의를 개척한 예술가들의 역할을 언급하지 않을 수 없다. 2000년 초반 예술가와 작가들은 전시회, 페스티벌, 출판 그리고 관련 작업들의 온라인 아카이빙 등의 활동을 통해 소프트웨어 예술 활동을 발전 시키기 시작했다. 이 활동의 주요 인물로는 에이미 알렉산더Amy Alexander, 인케 안스Inke Arns, 에이드리언워드Adrian Ward, 지오프 콕스Geoff Cox, 플로리언 크레이머Florian Cramer, 매튜 퓰러Matthew Fuller, 올가 고리우노바Olga Goriunova, 알렉스 맥린Alex McLean, 알렉산드로 루도비코Alessandro Ludovico, 핏 슐츠Pit Schultz 그리고 알렉세이 슐긴Alexei Shulgin 등이 있다. 2002년 크리스티안 폴Christiane Paul은 예술적인 코드code에 관한 전시인 CODeDOC를 휘트니 뮤지움에서 개최했다. 2003년 디지털 예술 행사인 아르스 일렉트로니카는 “코드”를 그 해 주제로 선택했다. 그리고 트렌스미디알레 페스트벌은 2001년부터 “예술적 소프트웨어” 카테고리를 만들어서 심포지움에서 중요하게 다뤘다. 일부 소프트웨어 예술 프로젝트는 새로운 문화, 사회적 산물로서 코드에 대한 탐구를 시작했고, 상업 소프트웨어에 대한 비평적 활동도 있었다. 이에 대한 예로서, 에이드리언 워드는 기존의 전문적 그래픽 디자인 프로그램에 대응하는 실험적이고 반자율적인 생성 소프트웨어 예술, 오토 일러스트레이터Auto-Illustrator를 만들었다.

소프트웨어 연구의 일부가 다수의 책과 예술 프로젝트에 걸쳐서 존재한다는 사실을 인지한 퓰러는 MIT 출판사 소프트웨어 연구 시리즈 서문에 다음과 같이 썼다.

소프트웨어는 명백하면서도 동시에 눈에 드러나지 않는 방식으로 현대의 삶에 경제적, 문화적, 창조적, 정치적으로 깊게 녹아들고 있다. 소프트웨어가 어떻게 사용되는지, 그리고 이것을 통해 만들어지는 활동은 무엇인지에 관해서는 많은 논의가 있지만 소프트웨어 그 자체에 관한 고찰은 기술적인 것으로 남아있다. 그러나 인문학과 사회 과학 분야의 예술가, 과학자, 기술자, 해커, 디자이너, 학자들은 자신이 직면하는 의문에 대한 답을 구하고, 필요한 것을 만들어내기 위해서는 소프트웨어에 대한 확장된 이해가 필수적이란 것을 점차 알아가고 있다. 소프트웨어의 이해를 위해서는, 컴퓨팅과 뉴미디어 역사에 관한 글을 읽거나, 다채로운 소프트웨어 문화에 참여하거나 혹은 새롭게 등장하고 있는 근본적으로 여러 학제간 협업인 컴퓨테이셔널 능력computational literacy의 발전에 참여 해볼 수 있을 것이다. 이러한 것들이 소프트웨어 연구의 근간을 형성한다.

프리드리히 키틀러Friedrich A. Kittler, 피터 웨이벨Peter Weibel, 캐서린 헤일즈Katherine Hayles, 로렌스 레식Lawrence Lessig, 마누엘 카스텔Manual Castells, 알렉스 갈로웨이Alex Galloway를 비롯한 주요 미디어 이론가들의 초기 작업들 역시 소프트웨어 연구에 속한다고 할 수 있다. 그러므로 나는 이 패러다임이 최근에야 명시적으로 명명되었을 뿐이지 이미 수년간 존재해왔다고 믿는다.

퓰러는 2006년 로테르담 워크샵 소개말에서 다음을 언급했다. “소프트웨어를 예술 이론, 디자인 이론과 인문학, 문화 연구와 과학 기술 연구, 그리고 새롭게 등장하는 컴퓨터 과학 연구 등 분야의 연구 대상으로 볼 수도 있고, 활동 영역으로 볼 수도 있다.” 새로운 학문 분야는 독창적인 연구 대상이나 연구 방법 혹은 그 둘의 결합 등을 통해 정의될 수 있다. 소프트웨어 연구는 어떻게 생각할 수 있을까? 퓰러는 “소프트웨어”라는 새로운 학문의 대상은 기존 학문의 바탕 위에서 이미 존재하는 방법을 통해 연구될 수 있다는 점을 암시한다. 예를 들어, 행위자 연결망 이론, 사회 기호학, 미디어 고고학 등.

이 관점을 뒷받침하는 이유들이 있다. 나는 소프트웨어를 현대 사회의 모든 분야에 스며들어 있는 하나의 층이라고 생각한다. 따라서 제어, 커뮤니케이션, 재현, 시뮬레이션, 분석, 의사 결정, 기억, 시각, 글쓰기, 인터렉션 등과 같은 현대의 기술을 이해하기 위해서는 이러한 소프트웨어 층을 고려하지 않을 수 없다. 건축, 디자인, 예술 비평, 사회학, 정치 과학, 예술사, 미디어 연구, 과학 기술 연구 등 현대의 사회와 문화에 관련한 모든 분야에서, 그 주제가 무엇이든 간에 소프트웨어의 역할과 효과에 대해서 생각해봐야 한다.

동시에, 우리가 소프트웨어 그 자체에 집중하기 위해서는 새로운 방법론이 필요하다는 것을 기존 소프트웨어 연구 활동들이 보여주었다. 즉, 소프트웨어를 직접적으로 사용해보는 것이 이에 관한 연구 주제를 발견하는 데 도움을 준다는 것이다. 사회 문화에 있어 소프트웨어의 역할에 관해서 체계적으로 기술한 모든 지식인들이 스스로 프로그램을 만들거나 혹은 문화 프로젝트나 소프트웨어를 만들거나 가르치는 활동에 참여한 것은 우연이 아니다. 이안 보고스트Ian Bogost, 제이 볼터Jay Bolter, 플로리언 크레이머Florian Cramer, 웬디 전Wendy Chun, 매튜 퓰러Matthew Fuller, 알렉산더 갈로웨이Alexander Galloway, 캐서린 헤일즈Katherine Hayles, 매튜 커센바움Matthew Kirschenbaum, 기어트 로빈크Geert Lovink, 피터 루넨펠드Peter Lunenfeld, 에이드리언 매켄지Andrian Mackenzie, 폴 밀러Paul D. Miller, 윌리엄 미첼William J. Mitchell, 닉 폰트포트Nick Montfort, 자넷 머레이Janet Murray, 케이티 살렌Katie Salen, 브루스 스털링Bruce Sterling, 노아 와드립-프루인Noah Wardrip-Fruin, 에릭 짐머만Eric Zimmerman 등이 그 예이다. 반대로, 마누엘 카스텔Manual Castells, 브루노 라투르Bruno Latour, 폴 브릴리오Paul Virilio, 지그프리드 지린스키Siegfried Zielinski 처럼 기술적 참여 경험이 없는 학자들은 현대 미디어와 기술에 관한 이론적으로 정밀하고 영향력있는 자신들의 기록에 소프트웨어를 포함하지 않았다.

2000년대에는 미디어 아트, 디자인, 건축, 인문학 분야의 학생들이 자신들의 작업에 프로그래밍이나 스크립트를 사용하는 것이 점차 많아졌다. 1999년 뉴미디어의 언어에서 내가 처음 “소프트웨어 연구”를 언급했을 때보다는 증가했다. 학문과 문화 산업 이외의 영역에서 많은 사람들이 소프트웨어를 만들고 있다. 이것에는 액션 스크립트Action Script, PHP, 펄Perl, 파이선Python, 프로세싱 Processing과 같은 프로그래밍, 스크립트 언어의 등장이 크게 작용했다. 또한 2000년대 중반 웹 2.0 기업들이 내 놓은 API도 중요한 요소이다. (API는 Application Programming Interface의 약자로, 누구나 프로그램을 만들어서 기존 어플리케이션을 다양한 방식으로 사용할 수 있도록 해준다. 예를 들어 구글 맵 API를 사용해서 개인 웹사이트에 구글 맵이 작동하도록 만들 수 있다.) 이러한 프로그래밍, 스크립트 언어와 API가 프로그래밍을 더 수월하게 만든 것은 아니다. 더 효율적으로 만들었다고 하는 편이 맞을 것이다. 자바Java를 사용했더라면 훨씬 긴 코드를 사용해야 했을 것과 반대로 프로세싱에서는 수 십줄의 코드만 써서 흥미로운 작품을 만들 수 있기 때문에, 디자이너들은 보다 쉽게 프로그래밍에 접근 할 수 있는 것이다. 마찬가지로, 자바스크립트JavaScript 몇 줄이면 구글 맵의 모든 기능을 개인 웹사이트에 추가할 수 있는데, 이것은 작업에 자바스크립트를 쓰는 데 좋은 동기가 된다. 많은 사람들이 소프트웨어를 만들게 된 또 다른 이유는 모바일 어플리케이션 시장의 등장이다. 이것은 PC 시장과 달리 몇몇 큰 기업에 독점 당하지 않았다. 2012년 초의 비공식 자료에 따르면 백만 명의 프로그래머가 아이폰, 아이패드에서 작동하는 iOS 어플리케이션을 만들고, 또 다른 백만 명이 안드로이드 어플리케이션을 만들고 있는 것으로 나타났다.

2006년 마틴 라모니카Martin LaMonica은 프로그래밍 경험이 거의 없거나 전혀 없는 사람들이 새로운 소프트웨어를 만들 수 있도록 하는 기술에 대해서 쓰면서 어플리케이션에 롱테일 현상

이 일어날 가능성에 대해서 언급했다. 몇 년이 지난 후 그것이 정확하게 현실로 나타났다. 2012년 9월 70만 개의 앱이 애플 스토어에 올라와 있고, 60만 개가 넘는 안드로이드 앱이 구글 플레이에 등록되어 있다.

뉴욕 타임즈는 2012년 3월 27일 기사 “인터넷의 언어에 대한 배움의 열기A Surge in Learning the Language of the Internet”에서 “프로그래밍, 웹 구축, 아이폰 앱 개발 등을 위한 야간 강좌와 온라인 수업 시장이 붐을 일으키고 있다.”라고 썼다. 이 기사는 코드카데미Codecademy(인터렉티브 강좌를 통해서 프로그래밍을 가르치는 온라인 학교)의 창립자 중 한명이자 프로그래밍 공부와 웹 디자인에 대한 관심이 일어나는 원인에 대해서 설명한 자크 심스Zach Sims의 말을 인용했다. “사람들은 우리가 살고 있는 세계를 이해하려는 욕구를 갖고 있다. 사람들은 단지 웹을 사용하기 원하는 것이 아니라 그것이 어떻게 작동하는지 이해하기를 바란다.”

이러한 발전적인 변화에도 불구하고, 프로그래밍을 할 수 있는 사람과 그렇지 않은 사람들 혹은 전문 프로그래머와 짧은 프로그래밍 강좌에 한 두 번 참석한 사람들 사이의 격차는 여전히 존재한다. 프로그래밍, 스크립트 언어가 아무리 쉽다고 해도 기존의 미디어 제작 및 편집 소프트웨어보다는 어렵다. 그렇지만 언제까지 그러라는 법은 없다. 예를 들어, 1850년대에 사진 스튜디오를 만들고 사진을 찍던 것과 2000년 대에 디지털 카메라나 카메라폰의 버튼을 누르는 것을 비교해보라. 프로그래밍이 그렇게 단순해지기까지는 아직 멀었다. 그렇지만 프로그래밍이 그렇게 간편해지지 못할 논리적인 이유는 전혀 없다.

스크립트를 쓰고 프로그래밍을 할 수 있는 사람들의 수는 점점 증가하고 있다. 비록 우리가 진정한 “롱 테일” 소프트웨어 시대와는 아직 멀리 있다고 하더라도, 소프트웨어 발전은 점진적으로 더욱 민주화되어가고 있다. 그러므로 어떻게 소프트웨어가 우리의 문화를 형성하고 또 반대로 소프트웨어가 어떻게 문화에 의해서 만들어지는지 이론적으로 생각해봐야 할 때이다. “소프트웨어 스튜디오”가 만들어질 때이다.



문화 소프트웨어

독일의 미디어 이론가이자 문학 이론가 프리드리히 키틀러Friedrich Kittler는 오늘날 학생들은 최소한 두 가지 소프트웨어 언어는 알고 있어야 한다고 썼다. “그래야만 현재의 ‘문화’라는 것이 무엇인지 이해할 수 있을 것이다.” 키틀러는 어셈블러 언어로 프로그래밍을 할 줄 알았는데 아마도 그것 때문에 그래픽 유저 인터페이스와 그것을 이용한 소프트웨어 어플리케이션을 불신하게 되었는지도 모르겠다. 키틀러는 컴퓨터의 “본질essence”에 집중할 필요가 있다고 주장했다. 그에게 있어서 그 본질은 수학적이고 논리적인 토대와 어셈블러 언어와 같은 도구가 특징짓는 초기 역사였다.

이 책은 프로그래머, 컴퓨터 애니메이터, 디자이너, 미디어 아티스트, 교육자로서 나 자신의 컴퓨터와 관련한 경험적 역사의 토대 위에서 쓰여졌다. 이러한 내 경험은 어셈블러 언어를 사용한 프로그래밍보다는 절차적 프로그래밍이 주를 이뤘던 1980년대 초기에 시작되었다. 그 때는 PC가 소개되고, 데스크탑 출판이 등장하고 대중화가 이루어졌으며, 문학가들이 하이퍼텍스트를 사용하던 시기였다. 나는 IBM이 그들의 첫 번째 PC를 내놓았던 1981년에 모스크바에서 뉴욕으로 왔다. 내가 컴퓨터 그래픽스를 처음 사용한 것은 1983-4년 애플 IIe 컴퓨터를 이용하면서이다. 나는 그래픽 유저 인터페이스가 1984년 애플의 메킨토시 컴퓨터에 사용되면서 최초로 성공적인 상업화가 이루어지는 것을 목격했다. 같은 해 나는 초기 컴퓨터 애니메이션 기업 중 하나인 디지털 이펙트Digital Effects에 일자리를 얻었고, 그 곳에서 3D 컴퓨터 모델링과 애니메이션을 어떻게 프로그래밍하는지를 배웠다. 1986년 나는 사진을 자동으로 변환해서 그림처럼 보이게 만드는 프로그램을 만들고 있었다.1987년 1월 어도비는 일러스트레이터를 출시했고, 1989년 뒤이어 포토샵을 내놓았다. 같은 해 제임스 카메론의 영화 심연이 개봉했다. 이 영화는 선구적인 컴퓨터 영상 합성 기술(CGI)을 사용해서 최초의 정밀 가상 캐릭터를 만들었다. 그리고 1990년 크리스마스에는 팀 버너스 리가 웹 서버, 웹 페이지, 웹 브라우저 등 현재 웹의 근간이 되는 요소들을 완성했다.

요컨대, 10년 만에 컴퓨터는 문화적으로 비가시적인 기술에서 문화의 새로운 엔진으로 변화했다. 여기에는 하드웨어의 발전과 무어의 법칙이 중요한 역할을 하지만, 그보다 더 중요한 것은 일반 사용자들을 위한 그래픽 유저 인터페이스 기반 소프트웨어의 등장이다. 워드 프로세서, 그림, 3D 모델링, 애니메이션, 작곡 등을 위한 어플리케이션, 정보 관리, 하이퍼미디어, 멀티미디어 저작 도구들 그리고 지구적 네트워킹 기술(웹) 등이 예이다. 쉽게 사용가능한 어플리케이션의 등장으로 1990년대의 발전을 위한 토대가 준비되었다. 이 시기에 그래픽 디자인, 건축, 제품 디자인, 공간 디자인, 영화제작, 애니메이션, 미디어 디자인, 음악, 고등 교육, 문화 경영 등의 대부분 문화 산업계가 소프트웨어 도구를 사용하기 시작했다. 따라서 내가 처음 프로그래밍을 배운 것은 1975년 모스크바의 고등학교에 있을 때였지만 내가 소프트웨어 연구와 관계를 맺기 시작한 것은 1980년대 그래픽 유저 인터페이스를 이용한 소프트웨어가 짧은 시간에 컴퓨터를 문화의 중심에 가져다 놓는 것을 목격하면서이다.

만약 소프트웨어가 사회적 영향에 있어서 20세기의 연소 기관과 전기와 비교할 만큼 정말 중요한 것이라면 우리는 모든 종류의 소프트웨어에 대해 고찰할 필요가 있다. 우리는 일반 소비자가 사용하는 “뚜렷한” 소프트웨어 뿐만 아니라, 현대 사회의 모든 시스템과 공정에서 사용되고 있는 “희미한” 소프트웨어에 대해서도 생각해봐야 한다. 그러나 나는 시스템 소프트웨어, 산업 자동화 소프트웨어 등과 같은 “희미한” 소프트웨어는 만들어본 적이 없기 때문에, 그러한 주제에 대해서는 다루지 않을 것이다. 내가 논의할 것은 내가 전문적으로 사용하고 가르쳤던 특정한 소프트웨어 카테고리에 관한 것이다. 나는 이것을 문화 소프트웨어라 부른다.

“문화 소프트웨어”라는 용어가 이미 은유적으로 쓰인바 있지만(J.M. 벨킨J.M. Balkin의 <Cultural Software: A Theory of Ideology, (2003)>을 참고하라), 나는 말그대로 일반적으로 “문화”와 관련한 활동들을 뒷받침하는 소프트웨어를 지칭하는 데 사용할 것이다. 소프트웨어가 가능케한 이런 문화 활동은 다음과 같이 몇 가지 카테고리로 나눌 수 있다.(물론 다른 방식으로도 분류하는 것도 가능하다.)

1. 문화 산물과 인터렉티브 서비스를 제작하는 것. 이것은 아이디어, 재현물, 믿음 그리고 미적인 가치 등을 담고 있다. (뮤직 비디오 편집, 제품 포장 디자인, 웹사이트 디자인, 어플리케이션 디자인 등). 
2. 온라인에서 그러한 산물(혹은 그 일부)에 접근하고, 그것을 첨부, 공유 그리고 리믹스하는 것 (웹에서 신문을 읽는 것, 유투브 비디오를 보는 것, 블로그 글에 댓글을 다는 것 등). 
3. 온라인에서 정보와 지식을 생산하고 공유하는 것 (위키피디아 글 수정, 구글 어스에 장소를 추가, 트윗에 링크를 포함시키는 것 등). 
4. 이메일, 문자, 인터넷 전화, 온라인 채팅, 비디오 채팅, 다양한 소셜 네트워킹 기능 등을 사용하여 사람들과 커뮤니케이션 하는 것. 
5. 인터렉티브 문화 경험에 참여하는 것 (컴퓨터 게임을 하는 것 등). 
6. 호감 표시나 메타데이터를 추가하는 것으로 온라인 정보 생태계에 참여하는 것 (구글 플러스에서 “+1”을 클릭하거나 페이스북에서 “좋아요” 버튼을 누르는 것, 트위터에서 “리트윗”을 하는 것, 구글 검색시 자동으로 새로운 정보가 생성되는 것 등). 
7. 이런 모든 활동들을 뒷받침하는 소프트웨어 도구나 서비스를 개발하는 것 (인터넷을 통해 데이터를 주고 받을 수 있는 프로세싱 라이브러리를 만드는 것, 포토샵의 새로운 플러그 인을 만드는 것, 워드프레스를 위한 새로운 배경 디자인을 만드는 것 등). 

이런 소프트웨어는 다양한 방식으로 활용될 수 있다. 사용자의 컴퓨터 기기에서 작동하는 독립형 어플리케이션, 서버의 소프트웨어와 통신을 통해서 작동하는 어플리케이션, P2P 네트워크 방식 등. 만약 이러한 것들이 낯설어도 걱정할 필요는 없다. 내가 사용하는 “문화 소프트웨어”라는 용어가 넓은 분야의 상품들과 네트워크 서비스를 포함한다는 것만 이해하면 충분하다. 이 용어가 단지 1990년대에서 2000년대에 주로 사용되었던 미디어 저작 툴인 일러스트레이터, 포토샵, 애프터 이펙트 만을 일컫는 것이 아니라는 말이다. 예를 들어, 페이스북, 트위터와 같은 소셜 네트워크 서비스는 서버에서 구동되는 (자료에 따르면 2007년 구글은 전 세계에 백만개가 넘는 서버를 운영한다) 다수의 프로그램과 데이터베이스, 그리고 이 서비스 내에서 사용자들이 이메일을 보내고, 채팅을 하고, 비디오를 올리고, 댓글을 남기는 등의 일을 하는 데 쓰는 프로그램(“클라이언트”라고 불리는)을 포함한다. (예를 들어, 사용자는 twitter.com을 통해서 트위터를 이용할 수도 있고, 스마트폰 어플리케이션인 tweetdeck.com 등의 다양한 웹사이트와 어플리케이션을 사용해서 트위터를 이용할 수 있다).



미디어 어플리케이션

앞서 언급한 소프트웨어에 의해 가능해진 7가지 문화 활동 중 상위 4개 종류와 연관된 소프트웨어에 대해 좀 더 자세히 이야기해보자. 이를 다시 두 개의 카테고리로 나누면 다음과 같다.

첫 번째 카테고리는 미디어 컨텐츠를 제작, 편집, 관리하는 것이다. 워드, 파워포인트, 포토샵, 일러스트레이터, 인디자인, 파이널 컷, 애프터 이펙트, 마야, 블렌더, 드림위버, 아파처 등과 같은 어플리케이션이 그 예이다. 이 카테고리는 이 책의 중심이된다. 업계에서는 이를 “미디어 저작,” “미디어 편집,” “미디어 개발” 등의 용어로 일컫는데 여기서는 미디어 소프트웨어라고 부르겠다.

두 번째 카테고리는 미디어 컨텐츠를 웹에서 배포, 접근, 결합(혹은 퍼블리쉬, 공유, 리믹스)하는 것이다. 파이어폭스, 크롬, 블로거, 워드프레스, 텀블러, 핀터리스트, 지메일, 구글맵, 유투브, 비메오와 같은 어플리케이션과 서비스를 생각해보라. 물론 첫번째 카테고리와 두번째 카테고리가 겹치기도 한다. 다양한 데스크탑 어플리케이션이 미디어 제작뿐만 아니라 이를 웹에 공유할 수 있는 기능을 제공하고, 또한 웹어플리케이션에 미디어 저작, 편집 기능이 포함되어있기도 한 것이다 (예로서, 유투브에는 비디오 편집 기능이 있다). 그리고 블로그와 이메일 서비스는 새로운 컨텐츠의 제작과 퍼블리싱에 비슷한 정도로 활용되기 때문에 두 가지 카테고리의 중간에 속한다.

현재 누구나 어플리케이션 프로그램 혹은 “앱”을 사용하고 있으므로, 나는 기본적으로 우리가 이 용어에 대해 알고 있다고 생각하겠다. 또한 “컨텐츠”라는 용어가 디지털 문화에 있어 무엇을 의미하는지도 이해하고 있다고 가정하겠지만, 확실히 하기 위해 몇 가지 정의 방법을 살펴보자. 먼저 미디어 소프트웨어와 소셜 미디어가 제공하는 도구를 통해서 제작, 공유, 접근 가능한 다양한 미디어 종류를 단순히 나열해 볼 수 있을 것이다. 텍스트, 이미지, 디지털 비디오, 애니메이션, 3D 오브제, 지도 그리고 이들과 다른 미디어를 다양하게 조합한 것 등. 아니면 다양한 장르를 나누는 것으로 “컨텐츠”를 정의할 수도 있다. 예를 들어, 웹 페이지, 트윗, 페이스북 업데이트, 게임, 다중 사용자 온라인 게임, 사용자 제작 비디오, 검색 결과, URL, 지도 위치, 북마크 공유 등.

디지털 문화는 컨텐츠를 모듈화하는 경향이 있다. 다시 말해서, 사용자가 컨텐츠를 제작, 공유할 수 있고 또한 컨텐츠의 일부를 분리해서 재사용 할 수 있다. 애니메이션을 비디오의 배경으로 사용하는 것, 코드의 일부를 웹사이트나 블로그에 사용하는 것 등이 그 예이다. (이 모듈성은 현대 소프트웨어 공학이 재사용 가능한 작은 부분을, 펑션function 혹은 프로시저procedure라고 불리는, 이용해서 컴퓨터 프로그램을 디자인하는 기본적인 원리에 대응된다.) 그러한 모든 부분적 요소 역시 “컨텐츠”라 할 수 있다.

1970년대 후반에서 2000년대 중반 사이, 미디어 편집을 위한 어플리케이션 프로그램은 사용자의 컴퓨터에서 구동되도록 디자인되었다 (미니컴퓨터, PC, 워크스테이션, 이후에는 노트북). 5년이 지난 후, 기업들은 “클라우드”에서 구동될 수 있는 프로그램을 만들기 시작했다. 이들 중 일부는 서비스 제공자의 웹사이트(구글 독스, 마이크로소프트 웹 오피스)에서 사용가능하고, 일부는 미디어 호스팅 사이트나 소셜 미디어 서비스에 포함되어 있다 (포토버켓의 이미지 및 비디오 에디터). 많은 어플리케이션이 클라이언트 형태로 휴대전화(아이폰의 지도), 타블렛, TV 플랫폼에서 구동되어, 서버와 웹사이트와 커뮤니케이션한다. 이러한 플랫폼의 예로는 애플의 iOS, 구글의 안드로이드, LG의 스마트 TV 앱 플랫폼이 있다. 아이패드에 사용되는 어도비 포토샵 터치와 같이 타블렛 자체에서 구동되는 앱들도 여전히 있다. (현재 이 글을 쓰는 시점에는 데스크탑 어플리케이션과 비교해서 웹기반 어플리케이션과 모바일 어플리케이션의 편집 기능은 제한적이다. 하지만 당신이 이 글을 읽을 때 쯤이면 그렇지 않을지도 모른다.)

모바일 소프트웨어 플렛폼 발전의 결과로 “미디어 업로더”(미디어 공유 사이트에 컨텐츠를 올릴 수 있도록 만들어진 앱)와 같은 특정 종류의 미디어 어플리케이션(그리고 이에 대응하는 문화 활동)의 중요성이 증가했다. 또한, 미디어 컨텐츠를 관리(피카사에서 사진을 정리하는 것 등)하고 “메타 관리 meta-managing”(관리 앱들을 관리하는 시스템. 예를 들면 자신의 블로그 리스트를 관리 하는 것 등)하는 것은 컨텐츠를 제작하는 것 만큼이나 개인의 문화적 삶에 있어서 중요한 활동이 되었다.

이 책은 미디어 소프트웨어에 관한 것이다. 이것의 개념적 역사, 이것이 미디어 디자인 활동을 재정의한 방식, 이것으로 제작되는 미디어의 미학, 그리고 창작자와 사용자의 “미디어”에 대한 이해 등을 다룬다. 미디어 소프트웨어를 어느 카테고리에 위치시키고, 또 이것을 어떻게 세분화할 수 있을까? 미디어 소프트웨어의 정의로부터 출발해보자. 미디어 소프트웨어는 미디어 오브젝트와 미디어 환경을 제작하고 이것과 인터렉션하는 데 쓰이는 프로그램이다. 이것은 “어플리케이션 소프트웨어”의 하위 카테고리에 속한다. 어플리케이션 소프트웨어라는 용어는 데스크탑 어플리케이션(컴퓨터에서 구동되는 어플리케이션)에 모바일 앱(휴대 기기에서 구동되는 어플리케이션)과 웹 어플리케이션(웹 클라이언트와 서버에서 작동하는 소프트웨어로 구성된 어플리케이션)이 추가되면서 그 의미가 변화하는 과정에 있다. 미디어 소프트웨어는 이미지, 동영상 시퀀스, 3D 오브제, 텍스트, 지도, 인터렉티브 요소 등과 같은 다양한 종류의 미디어와 이러한 요소를 활용한 다양한 프로젝트와 서비스를 제작, 퍼블리쉬, 접근, 공유, 리믹스할 수 있게 해준다. 이러한 프로젝트는 인터렉티브한 것(인터렉티브 표면surfaces과 인터렉티브 설치)일 수도 있고 그렇지 않은 것(2D 디자인, 모션 그래픽, 영화 영상)일 수도 있다. 온라인 서비스들은 태생적으로 항상 인터렉티브하다 (웹사이트, 블로그, 소셜 네트워크, 소셜 미디어 서비스, 게임, 위키, 웹 미디어 그리고 구글 플레이, 애플 아이튠즈과 같은 앱 스토어들 등). 반면 사용자가 항상 컨텐츠를 추가하고 수정할 수 있지는 않고, 인터렉티브 인터페이스를 사용해서 기존의 컨텐츠를 탐색하고 이와 인터렉션한다.

오늘날 수십억 달러 규모의 세계 문화 산업이 미디어 어플리케이션에 의해 가능해졌음에도, 이를 위한 합의된 분류방식이 없다는 것은 흥미롭다. 위키피디아는 “어플리케이션 소프트웨어”의 하위 카테고리로 “미디어 개발 소프트웨어,” “컨텐츠 접근 소프트웨어”(웹브라우저, 미디어 플레이어, 프리젠테이션 어플리케이션으로 나뉘어진)를 포함한다. 이는 일반적으로 유용하지만 정확하다고는 할 수 없다. 현재 대부분의 “컨텐츠 접근 소프트웨어”는 적어도 몇 개의 미디어 편집 기능을 포함하기 때문이다. 예를 들어, 모질라 씨몽키SeaMonkey 브라우저는 HTML 에디터를 갖고 있고, 퀵타임 플레이어는 영상을 자르고 붙이는 데 사용될 수 있으며 애플의 아이포토는 사진 편집 기능을 제공한다. 반대로, 워드나 파워포인트의 경우처럼 대부분의 “미디어 개발” (혹은 “컨텐츠 제작”) 소프트웨어는 컨텐츠를 제작, 접근하는 데 동시에 사용된다. (저작과 접근 기능의 공존 현상은 소프트웨어 문화의 중요한 특징이다.) 어도비나 오토데스크와 같은 소프트웨어 어플리케이션 제공 업체의 웹사이트에 가보면, 이들이 자신의 제품을 분야(웹, 방송, 건축 등)에따라 나누거나 혹은 “소비자”와 “전문가” 등의 하위 카테고리로 분류해 놓았다는 것을 알 수 있다. 이것은 우리가 이론적 도구를 활용하여 미디어 소프트웨어를 심도있게 살펴봐야 할 또다른 이유이다.

나는 “컨텐츠,” 다시말해서 미디어 산물의 제작과 접근을 위한 미디어 어플리케이션에 집중하겠지만, 문화 소프트웨어는 정보와 지식의 공유 및 커뮤니케이션을 위해 특별히 만들어진 도구와 서비스, 즉 “소셜 소프트웨어” (앞선 분류에서 3, 4번 카테고리에 해당하는)를 포함한다. 검색 엔진, 웹 브라우저, 블로그 에디터, 이메일 어플리케이션, 문자 어플리케이션, 위키, 소셜 북마킹, 소셜 네트워크, 가상 세계 그리고 예측시장 등이 예이다. 유명한 서비스로는 페이스북, 구글 제품군(구글 웹 검색, 지메일, 구글 맵, 구글 플러스 등), 스카이프, 미디아위키, 블로거 등이 있다. 그러나 2000년대 후반 이후로 수많은 소프트웨어 앱과 서비스가 (대게 “공유” 메뉴를 통해) 이메일, 포스팅, 채팅 기능을 포함하기 시작하면서, 어느 면에서는 모든 소프트웨어가 소셜 소프트웨어가 되었다고 할 수 있다.

물론 사람들이 온라인에서 모든 것을 공유하는 것은 아니다. 적어도 지금은 말이다. 그러므로 개인적인 정보 관리 소프트웨어도 포함시켜야한다. 컴퓨터 기기에 포함되어서 나오는 프로젝트 관리, 데이터베이스 어플리케이션, 텍스트 에디터나 노트 앱 등이 그것이다.

이러한 소프트웨어 카테고리, 그리고 다른 모든 카테고리는 시간에 따라서 바뀐다. 예를 들어 2000년대에 사람들이 일상적으로 자신의 미디어를 공유 사이트에 올리고, 소셜 네트워크 상의 사람들과 커뮤니케이션하기 시작하면서 “개인 정보”와 “공공 정보” 사이의 경계가 재편되었다.

사실상 소셜 미디어, 소셜 네크워크 서비스, 호스팅 웹사이트 등은 가능한한 이러한 경계를 지우기 위해 존재한다. 사람들로 하여금 자신들의 사이트에서 사회적, 문화적 삶을 보내도록 유도함으로써, 이러한 서비스는 더 많은 광고를 팔고 더 많은 사용자들을 확보하는 것이다. 대부분의 친구들이 특정 서비스를 사용하면서 정보, 미디어, 토론 등을 나눈다면 자신 또한 그 서비스에 자연스럽게 가입하게 되는 경향이 있는 것이다.

이들 중 많은 서비스가 미디어 편집, 커뮤니케이션 그리고 소셜 네트워킹을 위한 더 향상된 기능을 제공하면서 PC 시대에 존재했던 또 다른 경계를 없애게 되었다. 어플리케이션 프로그램, 운영체제, 데이터 사이의 경계 말이다. 페이스북은 그들의 서비스가 많은 독자적 커뮤니케이션 프로그램과 서비스를 대체할 수 있는 완전한 “소셜 플랫폼”이라고 적극적으로 홍보했다.

소셜 미디어의 등장과 모바일 미디어 플랫폼의 확산 이전에는 미디어 생산, 분배, 소비를 분리된 과정으로서 연구하는 것이 가능했다. 마찬가지로, 제작 도구, 분배 기술, 접근 기기와 플랫폼을 구분하는 것이 가능했다. 예를 들어 TV 스튜디오, 카메라, 조명, 편집 도구는 제작, 송출 시스템은 분배, 텔레비전은 접근으로 구분할 수 있는 것처럼 말이다. 소셜 미디어와 클라우드 컴퓨팅은 많은 경우에 있어서 이러한 경계를 없앴고, 새로운 경계(클라이언트/서버, 공개적/상업적)를 만들어냈다. 소프트웨어 연구에서는 “컨텐츠,” “소프트웨어 어플리케이션”과 같은 용어를 사용할 수 있어야 하는데 현재의 소셜미디어/클라우드 컴퓨팅 패러다임이 시스템적으로 이러한 용어의 의미를 바꾸고 있기 때문에 이에는 어려움이 따른다.

인터렉티브 미디어 창작을 위해서는 어느정도 컴퓨터 코드를 써야 하기 때문에 프로그래밍 환경 역시 문화 소프트웨어로 볼 수 있다. 더욱이 아이콘, 폴더, 사운드, 애니메이션, 진동, 터치 스크린 등의 미디어 인터페이스는 그 자체로 문화 소프트웨어이다. 이러한 인터페이스가 사람들과 미디어 사이 그리고 사람과 사람 사이의 인터렉션을 매개하기 때문이다. 다른 추가적인 소프트웨어 카테고리도 역시 이 리스트에 포함될 수 있다.

인터페이스 카테고리는 이 책에서 특히 중요하다. 나는 소프트웨어가 사용자에게 보여지는 방식에 관심이 있다. 이것은 소프트웨어가 컨텐츠 제작, 공유, 재사용, 믹스, 관리, 커뮤니케이션를 위해서 제공하는 기능, 이러한 기능을 나타내는 데 사용되는 인터페이스, 그리고 이러한 기능과 인터페이스 디자인에 표현되어 있는 사용자, 사용자의 니즈needs 그리고 사회에 관한 가정과 모델에 대한 것이다.

어떤 어플리케이션이 제공하는 기능은 명령어와 도구에 내포되어 있다. 이는 사용자가 특정 앱으로 무엇을 어떻게 할 수 있는지 정의한다. 이것은 자명하지만 혼동을 피하기 위해서 인터페이스에 관한 중요한 점을 한가지 짚고 넘어갈 필요가 있다. 여전히 많은 사람들이 현대 컴퓨터 기기가 그래픽 유저 인터페이스(GUI)를 사용한다고 생각한다. 실제로는, 1980년대 원래의 GUI(아이콘, 폴더,메뉴)는 점점 확장되어 다른 미디어와 감각(사운드, 애니메이션, 모바일 기기의 인터렉션에 활용되는 진동 피드백, 음성 입력, 멀티 터치 제스쳐 인터페이스 등)을 포함하게 되었다. 이것이 오늘날 인터페이스가 어떻게 작동하는지 설명하는 데 “미디어 인터페이스”라는 용어가 더 적합한 이유이다. 이 용어가 윈도우, 맥 OS, 모바일 OS(안드로이드, iOS)와 같은 컴퓨터 운영체제의 인터페이스를 더 정확하게 설명한다. 그리고 사용자와의 커뮤니케이션을 위해 그래픽뿐만 아니라 모든 종류의 미디어를 사용하는 게임 콘솔, 휴대 전화, 인터렉티브 상점, 박물관의 설치물 등의 인터페이스를 나타내는 데도 적용할 수 있다.

앞서 문화 소프트웨어 종류를 분류하는 데 사용된 “미디어/컨텐츠” 카테고리 대 “데이터/정보/지식” 카테고리에 관해서도 언급할 필요가 있다. 이 책에서 사용될 다른 많은 카테고리와 마찬가지로, 나는 이 두 가지를 별개의 것이라기 보다는 연속적인 동일한 차원에 있는 두 가지 지점으로 간주할 것이다. 영화는 전자에 속하고 엑셀은 후자에 속하는 예이다. 하지만 이처럼 명확히 구분되지 않고 두 곳에 동시에 해당되는 경우도 많다. 예를 들어, 엑셀의 데이터를 사용해서 정보 시각화data visualization를 만든다면, 이 시각화는 두 카테고리에 모두 속하게 된다. 이것은 여전히 “데이터”이지만 새로운 방식으로 재현되면서 우리를 통찰과 “지식”으로 이끌게 된다. 그리고 동시에 사진이나 회화처럼 우리의 감각에 어필하는 하나의 시각 미디어가 된다.

우리 사회가 이 두 종류의 용어 세트를 반대어로 생각하는 것은 미디어와 정보 산업의 역사에 기인한다. 현대 “미디어”는 18세기 후반과 20세기 전반 사이에 만들어진 기술과 기관에 의해 형성되었다. 대형 신문, 잡지와 도서 출판, 사진, 영화, 라디오, 텔레비전, 그리고 음반 산업 등이 그것이다. “데이터”는 사회 통계학, 경제학, 비지니스 관리, 금융 시장과 같은 개별 역사를 가진 몇몇의 전문 분야에서 비롯된 것이다. 데이터가 전문 영역을 떠나 사회 전반의 관심을 얻게 된 것은 21세기가 시작되면서부터이다. 데이터는 “매력적”이고 “유행하는” 것이 되었다. 정부와 자치단체가 자신의 데이터 포털(data.gov, data.gov.uk 등)을 구축하고, 데이터 시각화가 주요 미술관의 전시(MOMA의 2008년 Design and Elastic Mind 전시 등)에 포함되고, 컴퓨터 “괴짜nerds”가 헐리우드 영화(소셜 네크워크)의 주인공으로 등장하며, 구글 애널리틱스, 페이스북, 유투브, 플리커는 사용자의 웹사이트나 미디어 공유 계정의 자세한 데이터를 제공하고 있다. 물론 미디어 소프트웨어의 작동(그리고 컴퓨터가 연구, 상업, 예술적 목적을 위한 미디어를 처리하는 것)은 컴퓨터가 미디어를 데이터로서(픽셀과 같은 분절된 요소 혹은 벡터 그래픽을 정의하는 방정식으로) 재현함으로써 가능하기 때문에 미디어 소프트웨어가 발전하고 데이터를 주요 미디어 기술로 수용한 것은 미디어와 데이터가 점진적으로 결합하는 데 있어서 중요한 역할을 했다.

소프트웨어에는 다른 많은 종류와 기술이 포함되고 컴퓨터와 컴퓨터 기기는 미디어를 제작하고 재생하는 것 이외에도 다른 많은 기능을 수행한다. 그리고 물론 소프트웨어가 작동하기 위해서는 하드웨어가 필요하며 네트워크 역시 디지털 문화에 있어서 중요한 부분을 차지한다. 그러므로 일부 사람들은 내가 미디어를 제작, 편집, 재생하는 소프트웨어에 집중하는 것을 마뜩잖게 여길 수도 있다. 모든 사람이 미디어를 제작하기 위해서 포토샵, 플래쉬, 마야 등의 어플리케이션을 사용하는 것은 아니다. 꽤 많은 사람은 스스로 컴퓨터 프로그램과 스크립트를 쓰거나 다른 사람이 작성한 프로그램을 수정해서 미디어를 다룬다. 웹사이트, 웹 어플리케이션이나 다른 인터렉티브 어플리케이션을 만드는 데 종사하는 컴퓨터 프로그래머, 소프트웨어 아티스트, 새로운 알고리듬을 개발하는 컴퓨터 과학자, 프로세싱이나 다른 높은 수준의 미디어 프로그래밍 언어를 사용하는 학생들 등이 그렇다. 이 사람들 모두가 왜 내가 프로그래밍이 아니라 제품 형태의 소프트웨어만을 다루는지 묻는다. 소프트웨어 개발이 점진적으로 민주화되고 있고, 프로그래밍을 하고 스크립트를 쓸 줄 아는 문화 전문가와 학생들의 수가 점점 늘고 있는 것에 대해서는 어떻게 생각하느냐고. 나는 어플리케이션에 대해 설명하는 대신 프로그래밍을 촉진시키는 데 내 에너지를 써야하는 것일까?

내가 어플리케이션을 선택한 이유는 문화 비평가들처럼 예외적인 현상(그것이 얼마나 진보적인가에 상관없이)을 강조하기보다는 주류 문화활동을 이해하고자하기 때문이다. 정확한 수치는 모르지만, 미디어 관련업계에 일하면서 동시에 프로그래밍을 할 수 있는 사람의 수는 어플리케이션 사용자의 숫자에 비해서 훨씬 적을 것이다. 오늘날 일반적인 그래픽 디자이너, 영화 편집자, 제품 디자이너, 건축가, 음악가들은 (그리고 유투브에 비디오를 올리고 블로그에 사진이나 비디오를 올리는 일반 사람들도) 소프트웨어 코드를 쓰거나 읽지 못한다. (HTML 마크업을 읽거나 수정하는 것, 혹은 기존의 자바스크립트의 일부를 복사하는 것은 프로그래밍하는 것과는 매우 다르다.) 따라서 소프트웨어가 개념적, 실용적인 측면에서 미디어를 어떻게 바꾸었는지 이해하기 위해서는 대부분의 일반인과 전문가가 일상적으로 사용하는 도구들(어플리케이션 소프트웨어, 웹기반 소프트웨어, 모바일 앱 등)에 대해서 자세히 살펴 볼 필요가 있다. (이 책은 첫번째 카테고리를 강조한다. 두번째, 세번째 카테고리를 희생하면서 말이다. 왜냐하면 현시점에서 전문적인 미디어를 제작하는 데 사용하는 어플리케이션은 여전히 대용량 램 메모리와 하드드라이브가 장착된 노트북이나 데스크탑에서 구동되기 때문이다. 또한 포토샵이나 파이널 컷처럼 버전에 따라 점진적으로 변화하는 데스크탑 어플리케이션과 반대로 웹기반 소프트웨어와 모바일 소프트웨어는 현재 급속하게 진화하고 있는 중이기 때문이다.)

내가 “문화 소프트웨어”를 정의하는 방식에 대해 제기될 법한 반대 의견에 대해서도 언급하고 싶다. “문화”라는 용어는 컴퓨터 속의 파일 형태 혹은 실행가능한 소프트웨어 프로그램이나 스크립트 형태로 존재하는 분리된 미디어나 디자인 “오브제”만을 지칭하는 것이 아니다. 이것은 상징, 의미, 가치, 언어, 습관, 믿음, 이데올로기, 의식, 종교, 의복과 행동 양식, 그리고 다른 많은 물질적이고 비물질적인 차원과 요소를 포함한다. 따라서 이 모든 차원을 미디어 파일을 제작 재생하는 도구들로 환원시킨다는 것에 문화 인류학자, 언어학자, 사회학자, 인문학자들은 언짢아 할지도 모른다.

내가 현재의 “문화”를 어플리케이션 소프트웨어와 미디어 오브제, 그리고 이를 통해 일어나는 경험의 특정 부분 집합과 동일시하고 있는가? 물론 아니다. 내말은(그리고 이 책이 보다 상세히 설명하길 바라는 것은) 20세기 말에 인류는 “문화”라고 할 수 있는 모든 것에 근본적으로 새로운 차원을 추가했다는 점이다. 이 새로운 차원은 소프트웨어이고, 그 중에 컨텐츠를 제작하고 접근하기 위한 어플리케이션 소프트웨어가 있는 것이다.

나는 의도적으로 새로운 차원이라는 은유를 사용한다. 다시 말해서, “문화 소프트웨어”는 우리가 “문화”라고 부르는 공간에 툭하고 떨어진 단순한 새로운 오브제(그것이 얼마나 크고 중요하던지 간에)가 아니라는 말이다. 그러므로 소프트웨어를 음악, 시각 디자인, 건설된 공간, 의복 양식, 언어, 음식, 클럽 문화, 기업 규범, 말하거나 몸을 사용하는 방식 등과 같은 것에 추가할 수 있는 용어 정도로 생각해서는 안된다. 우리가 “소프트웨어의 문화”(프로그래밍 활동, 프로그래머와 소프트웨어 기업의 가치와 이데올로기, 실리콘 밸리와 방갈로르의 문화 등)를 연구할 수는 있지만, 그것만으로는 소프트웨어의 진정한 중요성을 놓치게 될 것이다. 알파벳, 수학, 인쇄기, 연소 엔진, 전기, 집적회로가 그랬던 것처럼 소프트웨어는 이것이 적용되는 모든 것을 조정하고 개조한다(혹은 최소한 그렇게 할 수 있는 가능성을 갖고 있다). 새로운 차원을 추가하는 것이 공간에 있는 모든 점에 새로운 좌표를 더하는 것처럼, 문화에 소프트웨어를 “추가”하는 것은 문화를 만들어내는 모든 것의 성질을 바꾼다. (이 점에 있어서, 소프트웨어는 “미디어나 기술의 메시지는 이것이 인간의 삶에 일으키는 변화의 규모나 속도 혹은 패턴이다.”라는 맥루언의 말이 의미하는 바를 완벽히 예시한다.)

요약하자면, 현대 사회는 소프트웨어 사회라고 특징지을 수 있고 현대 문화를 소프트웨어 문화라고 부를 수 있다. 왜냐하면 오늘날의 소프트웨어는 “문화”를 구성하는 물질적인 요소와 비물질적인 구조를 형성하는 데 중심적인 역할을 하기 때문이다.



도큐먼트에서 퍼포먼스로

소프트웨어의 사용은 대부분의 기본적인 사회 문화적 활동을 재설정하고, 이를 설명하기 위해 우리가 발전시켜온 개념과 이론에 대해 다시 생각하도록 만든다. 이에 대한 예로서 문화적 창조, 전송 그리고 기억을 위한 근대적 “원자” 중 하나로 “도큐먼트”를 생각해 볼 수 있다. 어떤 컨텐츠는 물리적인 형태로 저장되어 물리적 복사본(책, 필름, 오디오 레코드)이나 전자적 전송 (텔레비전)을 통해 소비자에게 전달된다. 소프트웨어 문화에 있어서 “도큐먼트,” “작업,” “메시지,” “녹음”과 같은 용어는 20세기에 쓰이던 것과 다른 의미를 지닌다. 구조와 내용물을 살펴보는 것(러시아 형식주의에서 문학 다윈주의에 이르기까지 20세기 문화 분석과 이론에 있어서 전형적인 접근 방식)으로 분석할 수 있었던 고정된 도큐먼트 대신에 우리는 이제 변화하는 상태에 있는 “소프트웨어 퍼포먼스”와 인터렉션하게 되었다.내가 “퍼포먼스”라는 단어를 사용하는 것은 우리가 경험하는 것이 소프트웨어에 의해 실시간으로 구성되기 때문이다. 웹사이트를 탐색할 때, 비디오 게임을 하거나 혹은 휴대 전화의 앱을 사용해서 특정 장소를 검색하거나 근처의 친구를 찾을 때 우리는 미리 정해진 고정적인 도큐먼트가 아니라 우리가 사용하는 기기나 서버가 실시간으로 연산해서 생성하는 변화 상태의 결과와 관여하는 것이다. 컴퓨터 프로그램은 이러한 퍼포먼스를 생성하기 위해서 다양한 요소를 사용한다. 디자인 템플릿, 사용중인 기기에 저장되어 있는 파일, 네트워크 서버 상 데이터베이스의 미디어, 실시간 입력(마우스, 조이스틱, 제스쳐 등에 의한) 그리고 기타 다른 인터페이스 등이 그러한 요소에 속한다. 그러므로 일부의 고정적인 도큐먼트가 사용될 수는 있지만, 소프트웨어에 의해 구성되는 최종의 미디어 경험은 일부 미디어에 저장되어 있는 어떠한 단일 고정 도큐먼트에도 상응하는 것이 아니다. 다시 말해서, 회화, 문학 작품, 악보, 영화, 산업 디자인, 건물 등과는 반대로 비평가는 작업의 모든 컨텐츠를 담고 있는 단일 “파일”만 참고할 수가 없다.

사진을 열거나 PDF 문서를 보는 것 같은 단순해 보이는 일에도 우리는 이미 “소프트웨어 퍼포먼스”를 경험하고 있는 것이다. 왜냐하면 우리는 소프트웨어를 통해서 탐색, 편집, 공유 등을 위한 옵션을 선택하기 때문이다. 그러므로 20세기 비평가가 소설, 영화, TV 프로그램을 평가했던 방식으로 JPEG 파일이나 PDF 파일을 다룬다면 우리가 소프트웨어를 통해서 이것과 인터렉션함으로써 얻는 경험에 대해 부분적으로 밖에 이해할 수 없다. 이 경험은 소프트웨어가 제공하는 인터페이스와 도구에 의해서 만들어진다. 이것이 우리가 현대 미디어를 이해하기 위해서 문화 소프트웨어의 도구, 인터페이스, 가정, 개념, 역사에 대해서 면밀히 살펴보아야 하는 이유이다. 여기에는 1960, 70년대 이러한 개념을 정의했던 사람들이 주장한 이론도 포함되어야 한다.

미디어 “도큐먼트”가 본질적으로 새로운 것으로 구성되므로 전통적인 도큐먼트 개념을 기반으로하는 기존의 문화 이론에 대해 다시 생각해 볼 필요가 있다. 1950년대 이후 미디어 연구를 주도했던 학문적 패러다임, 즉 문화를 “전송”이라는 개념으로 바라보던 커뮤니케이션 연구에 기반한 시각을 생각해보자. 커뮤니케이션 학자들은 클로드 섀넌Claude Shannon의 글 “A Mathematical Theory of Communication(1948)”과 잇달아 워렌 위버Warren Waver와 함께 출간한 책에서 제시한 정보 전송 모델에서 가져온 커뮤니케이션 기본 모델을 매스 미디어에 적용시켰다. 이 패러다임에서는 매스 커뮤니케이션(때로는 일반적인 문화를)을 메시지를 만들어서 보내는 사람과 그것을 수신하는 사람 사이의 커뮤니케이션 과정으로 설명했다. 여기에 따르면 메시지는 기술적인 이유(전송 시의 노이즈)나 의미적 이유(의도된 의미를 수신자가 잘 못 이해함) 때문에 항상 완벽히 해석되지는 않는다.

전통적인 커뮤니케이션 이론과 미디어 산업계에서는 그러한 부분적인 수신을 문제로 인식했다. 그러나 반대로 영국 문화 연구British Cultural Studies의 창립자인 스튜어트 홀Stuart Hall은 1980년 그러한 현상을 긍정적인 것이라는 견해를 담은 글을 썼다. 홀은 수신자는 받은 정보로부터 자신만의 의미를 만들어낸다고 주장했다. 그 새로운 의미는 커뮤니케이션 실패가 아니라, 수신한 메시지에 대한 의도적인 재해석 활동이다. 그러나 전통적 커뮤니케이션 연구와 문화 연구는 모두 암묵적으로 메시지는 분명하고 완결된 무엇으로 보았다. 그것이 물리적 미디어(마그네틱 테잎 등)에 저장되어 있거나 송신자가 실시간으로 만들어내거나(생방송 등)에 관계없이 말이다. 그러므로 커뮤니케이션의 수신자는 모든 광고 문구를 읽거나, 전체 영화를 보거나 혹은 전체 노래를 다 듣는 것으로 간주되었다. 그런 후에야 그것을 바르게 해석하거나, 잘못 해석하거나, 의미를 부여하거나, 차용하거나, 리믹스하는 등의 행동을 할 수 있다는 것이다.

이 시각은 1999년 디지털 비디오 레코더(DVR)가 등장하면서 도전받았었는데, 이 사실을 차치하고라고 이는 소프트웨어 중심의 인터렉티브 미디어에 적용되지 않는다. 미디어 접근을 위한 어플리케이션의 인터페이스는 사람들로 하여금 “탐색” 하도록한다. 이러한 어플리케이션에는 웹 브라우저와 검색 엔진, 웹의 하이퍼 링크 구조, 그리고 다시보기, 미리보기, 구매하기 등을 위한 엄청나게 많은 미디어 산물을 제공하는 특정 온라인 미디어 서비스(아마존, 구글 플레이, 아이튠즈, 랩소디, 넷플릭스 등) 등이 포함된다. 사용자는 미디어(이번 검색 결과와 다음 검색결과 혹은 이 노래에서 다른 노래로) 사이를 횡으로, 그리고 미디어 산물(음악 앨범의 노래 리스트에서 특정 노래로) 사이를 종으로 신속히 움직인다. 사용자는 쉽게 임의의 부분에서 미디어를 재생하고 멈출 수 있다. 다시 말해서 사용자가 “수신”하는 “메시지”는 인지적인 해석을 통해 능동적으로 “구성”하는 것일뿐 아니라 적극적으로 관리(이것이 어떤 정보를 어떻게 받을 것인지 결정한다)하는 것이다.

이것은 최소한 사용자가 미디어 컨텐츠를 보여주는 소프트웨어 어플리케이션과 인터렉션할 때 그 컨텐츠는 고정된 경계를 갖고 있지 않은 경우가 많다는 점에서 중요하다. 예를 들어, 사용자는 구글 어스를 이용할 때마다 다른 “지구”를 경험하게 될 가능성이 크다. 구글이 위성사진이나 스트릿뷰를 업데이트했을 수도 있고 3D 빌딩, 새로운 형식의 정보, 기존 형식에 추가한 정보 등을 더했을 수 있기 때문이다. 또한 다른 사용자나 서비스 제공업자가 추가 메뉴(구글 어스 6.2.1 인터페이스) 중 일부를 선택하거나 KML 파일을 직접 열어서 추가한 정보가 업데이트 됐을 수도 있다. 구글 어스는 웹이 가능케한 새로운 미디어의 전형적인 예이다. 구글 어스는 인터렉티브 도큐먼트로서 모든 컨텐츠가 미리정의된 것은 아니다. 이것의 컨텐츠는 시간에따라 변하고 성장한다.

일부 경우에 사용자의 행위는 소프트웨어 어플리케이션, 웹 서비스, 게임 등의 인터렉티브 미디어를 통해 “커뮤니케이션”하는 “메시지”에 별로 영향을 끼치지 않을지도 모른다. 예를 들어 구글 어스가 사용하는 지구 재현 방식은 사용자가 새로운 컨텐츠를 추가하거나 맵의 추가 기능을 켜고 끄는 것에 상관없이 변하지 않는다. 이 재현법의 “메시지”는 항상 존재한다.

하지만 구글 어스 사용자는 어플리케이션이 제공하는 기초적인 지도 위에 자신의 미디어나 정보를 추가해서 복잡하고 풍부한 미디어 프로젝트를 만들 수 있다. 구글 어스는 단순히 “메시지”가 아니라 사용자가 정보를 계속 쌓아나갈 수 있는 플랫폼이다. 이것을 상업 미디어를 차용한 20세기의 창조적 활동인 팝아트, 차용 예술, 음악 리믹스, 슬래쉬 소설과 비디오 등의 연장선상에서 볼 수도 있겠지만 이들 사이에는 유사점보다는 차이점이 더 크다.

메시지에서 플랫폼으로의 전환은 2004~6년경 웹 변혁의 중심에 있었다. 그 결과는 웹 2.0이라고 불린다. 타인이 만든 특정 컨텐츠를 제공하던 1990년대의 웹사이트에 사용자들이 자신들의 컨텐츠를 공유하고, 코맨트를 남기고, 태그를 붙일 수 있는 소셜 네트워크와 소셜 미디어 사이트가 추가되었다. 위키피디아의 웹 2.0에 대한 글은 그 차이점을 다음과 같이 설명한다. “웹 2.0 사이트는 소셜 미디어를 통한 대화에 있어서 사용자들로 하여금 가상 커뮤니티의 컨텐츠 창작자로서 서로 인터렉션하고 협력할 수 있게 해준다. 이는 사용자가 소비자로서 컨텐츠를 수동적으로 보기만 할 수 있는 웹사이트와는 다르다. 웹 2.0의 예로는 소셜 네트워킹 사이트, 블로그, 위키, 비디오 공유 사이트, 호스팅 서비스, 웹 어플리케이션, 매시업, 폭소노미 등이 있다.” 구글 어스를 계속 예로 들자면, 사용자들은 공정 무역 인증, 그린피스 데이터, UN의 새천년 개발 목표 등 다양한 종류의 글로벌한 정보를 추가 했다. 또 다른 예로, 사용자들은 구글 맵이나 위키피디아 혹은 대부분의 다른 대형 웹 2.0 사이트가 제공하는 컨텐츠를 자신의 매시업에 포함시킬 수 있다. 이것은 웹 서비스업체가 제공하는 컨텐츠를 활용해서 직접적인 방식으로 자신의 플랫폼을 가꾸는 데 활용하는 것이다.

웹 기반의 커뮤니케이션 도구들(유명 소프트웨어에 관한 온라인 토론 포럼, 위키피디아의 집단 협력 편집, 트위터 등)과 함께 웹 2.0 서비스가 광범위하게 활용되면서 정보 누락, 선택, 검열 등 다양한 종류의 “나쁜 행동”들을 빠르게 찾아낼 수 있게 되었다. 이것은 웹 기반 회사가 제공하는 컨텐츠와 20세기 매스미디어의 컨텐츠를 사이의 또다른 차이점이다. 예를 들어 웹 2.0 서비스에 관한 위키피디아의 모든 글에는 논란, 비평 혹은 오류에 관한 특별 섹션이 있다.

많은 경우 사람들은 유료 어플리케이션 대신 비슷한 오픈 소스 어플리케이션을 사용할 수 있다. 오픈 소스 혹은 무료 소프트웨어(모든 무료 소프트웨어가 오픈 소스는 아니다)를 통해 사용자는 추가적인 방식으로 컨텐츠와 소프트웨어 기능을 제작, 리믹스, 공유 할 수 있다. (이것은 오픈 소스가 항상 상업 소프트웨와는 다른 가정과 기술을 사용한다는 것을 의미하지는 않는다.) 예를 들어, 사용자는 구글 맵과 구글 어스 대신 오픈 소스 혹은 무료 소프트웨어인 오픈 스트리트 맵OpenStreetMap, 지오커먼스GeoCommons, 월드맵WorldMap 등을 사용할 수 있다. (흥미롭게도, 기업들 역시 협력적으로 만들어진 시스템의 데이터를 쓰기도 하는데, 이 시스템이 기업 자신들의 시스템보다 많은 정보를 갖고 있기 때문이다. 플리커와 포스퀘어는 오픈 스트리트 맵을 사용한다. 오픈 스트리트 맵의 컨텐츠 제공자는 2011년 초 34만 명이었다.) 사용자는 오픈 소스 소프트웨어의 코드를 직접 살펴보면서 이것이 가정하는 것이나 주요 기술을 완벽히 이해할 수도 있다.

지속적으로 변화하고 성장하는 웹 서비스와 웹 사이트의 컨텐츠, 탐색과 인터렉션을 위한 다양한 메커니즘, 사용자 자신의 컨텐츠를 추가할 수 있는 능력과 다양한 소스의 매시업, 공동 저작 및 편집을 위한 설계, 컨텐츠 제공자를 모니터하는 메커니즘 등 이 모든 것이 네트워크로 연결된 인터렉티브 주도의 미디어를 20세기 미디어 도큐먼트로부터 뚜렷하게 구별해준다. 사용자가 하나의 컴퓨터 파일에 저장된 단일의 로컬 미디어 컨텐츠를 사용하고 있을 때라하더라도(요즘에는 다소 드문 상황), 소프트웨어 인터페이스를 통해 매개된 그 도큐먼트는 20세기 미디어 도큐먼트와는 구분된다. 파일의 컨텐츠와 구성은 사용자의 경험을 부분적으로만 정의할 뿐이다. 사용자는 무슨 정보를 어떤 순서로 볼 것인지 결정하면서 도큐먼트를 자유롭게 탐색할 수 있다. “올드 미디어old media”(20세기 TV 방송을 제외하고)도 이런 임의 접근random access을 제공하긴했지만 소프트웨어 주도 미디어 플레이어/뷰어의 인터페이스는 미디어를 탐색하고 무엇을 어떻게 볼 것인지 선택할 수 있는 다양한 추가적 옵션을 제공한다.

예를 들어, 어도비 아크로벳은 PDF 파일의 모든 페이지를 섬네일로 보여 줄 수 있다, 구글 어스에서는 시점을 빠르게 줌인/줌아웃 할 수 있다, 과학 논문및 초록 데이터를 제공하는 ACM Digital Library, IEEE Xplore, PubMed, Science Direct, SciVerse Scopus, Web of Science 등의 온라인 디지털 도서관 및 데이터베이스는 사용자가 선택한 논문에 참고가 되는 다른 논문들도 함께 보여준다. 가장 중요한 것은, 이러한 새로운 도구와 인터페이스는 미디어 도큐먼트 그 자체(출판된 책의 임의 접근 가능성 처럼)나 미디어 접근 기계(라디오 같이)에 고정적으로 붙어있는 것이 아니라는 것이다. 대신 그것은 개별적인 소프트웨어 층이다. 이러한 미디어 구조 덕에 도큐먼트 자체에는 아무런 변화를 주지 않은 채로 새로운 탐색, 관리 도구를 쉽게 추가할 수 있는 것이다. 예를 들어, 클릭 한 번으로 나는 내 블로그에 공유 버튼을 추가할 수 있는데 이것은 컨텐츠가 새로운 방식으로 순환할 수 있도록 해준다. 맥 OS X 프리뷰에서 텍스트 파일을 열어서 형광표시를 하거나, 코멘트를 달고, 링크를 추가하고, 그림을 그리고, 말풍선을 추가 할 수 있다. 그리고 포토샵에서는 “조정 레이어”를 사용해서 원본 이미지는 그대로 두면서 편집을 할 수 있다.



왜 문화 소프트웨어의 역사는 존재하지 않는가?

“Всякое описание мира сильно отстает от его развития.” 

(“세계에 대한 설명은 대게 이것의 실제 발전에 비해서 뒤쳐진다.”) 

러시아 MTV의 VJ Тая Катюша, 2008.

우리는 대부분의 컨텐츠의 생산, 분배, 수용이 소프트웨어에 의해서 매개되는 소프트웨어 문화 속에서 산다. 그럼에도, 창조산업에 종사하는 전문가들은 그들이 날마다 사용하는 소프트웨어(포토샵, 일러스트레이터, 김프, 파이널 컷, 애프터 이펙트, 블렌더, 플레임, 마야, 맥스, 드림위버 등)의 역사에 대해 아무것도 모르고 있다.

현대의 문화 소프트웨어는 어디로부터 왔는가? 어떻게 이것의 은유와 기법이 생겨났는가? 그리고 애초에 이것이 왜 개발되었는가? 유명한 컴퓨터, 웹 회사들은 매체에 빈번하게 등장하기 때문에 그들(예를 들어 페이스북, 구글, 애플 등)의 역사는 비교적 잘 알려져 있다. 하지만 그들은 빙산의 일각에 불과하다. 미디어 저작 및 편집 소프트웨어의 역사는 거의 알려지지 않은 채로 남아있다. 디지털 혁명은 활판 인쇄의 발명만큼이나 중요하다고 일반적으로 이야기하지만, 우리는 이 혁명의 주요 부분인 미디어 소프트웨어가 어떻게 발명되었는지에 대해서는 무지하다. 문화 업계 종사자들은 쿠텐베르그(활판 인쇄), 브루넬리스키(원근법), 뤼미에르 형제, 그리피스, 아이젠슈타인(영화), 르 코르뷔지에(건축), 이사도라 던컨(현대 무용), 솔 바스(모션 그래픽스)와 같은 사람에 대해서는 알고 있다. (만약 당신이 이들을 모른다할지라도, 알고 있는 문화 종사자 친구가 분명 있을 것이다). 그렇지만 대략 1960에서 1978년 사이 컴퓨터를 점진적으로 변화시켜 오늘날의 문화적 기계로 이르게한 J.C.R. 리클라이더, 이반 서덜랜드, 테드 넬슨, 더글러스 엥겔바트, 앨런 케이 그리고 그들의 동료들에 대해서 들어 본 사람들은 지금도 많지가 않다.

놀랍게도 문화 소프트웨어의 역사라는 카테고리도 존재하지 않는다. 주요 인물들과 제록스 파크나 MIT 미디어랩 같은 연구소에 관한 전기 위주의 책들만 있을 뿐 미디어 도구의 계보를 추적하는 종합적인 서적은 없다. 또한 문화 소프트웨어의 역사를 미디어, 미디어 이론, 시각 문화의 역사와 연관지을 수 있을만한 어떠한 연구도 없다.

현대 예술 기관들(뉴욕현대미술관과 테이트 같은 미술관, 파이돈과 리졸리 같은 출판사 등)은 현대 예술의 역사에 대해서 다룬다. 비슷하게 헐리우드는 스타, 감독, 촬영 감독, 고전 영화 등의 역사에 대해 자부심을 갖고 있다. 그렇다면 우리는 문화 기관과 컴퓨터 산업계가 문화 컴퓨팅의 역사에 대해서 무관심한 것에 대해서 어떻게 생각해야 할까? 예를 들어 왜 실리콘 밸리는 문화 소프트웨어를 위한 박물관을 갖고 있지 않은가? (캘리포니아 마운틴 뷰의 컴퓨터 역사 박물관에는 하드웨어, 운영 체제, 프로그래밍 언어를 중심으로한 상당한 상설 전시물이 있다. 그러나 소프트웨어 역사에 관한 것은 없다.)

나는 경제적인 것이 큰 이유라고 생각한다. 조롱당하고 받아들여지지 않던 현대 예술은 결국 투자할 수 있는 무언가가 되었다. 실제로 2000년대 중반에는 20세기 예술가들의 그림이 가장 유명한 고전 예술가의 작품보다 더 비싼 가격에 팔렸다. 비슷하게 헐리우드는 옛날 영화를 DVD나 블루레이 등의 새로운 포맷으로 재발매하여 계속해서 수익을 얻고 있다. IT 산업은 어떤가? 그들은 옛날 소프트웨어를 가지고 어떠한 이윤도 이끌어내지 못한다. 그래서 소프트웨어의 역사를 연구해서 홍보하지를 않는 것이다. 마이크로소프트 워드, 어도비 포토샵, 오토데스크 오토캐드 그리고 다른 많은 문화적 어플리케이션이 그것들의 최초 버전(보통 1980년대에 나온)에 기반해서 만들어졌다. 그리고 기업들은 그러한 최초 버전에 사용된 새로운 기술에 관한 특허를 통해 이윤을 얻고 있다. 그렇지만 1980년대의 비디오 게임들과 달리 이러한 초기 소프트웨어 버전은 현재 다시 발매할 수 있는 독립적인 제품으로 취급되지는 않는다. 나는 한 때 매우 중요했지만 현재 더이상 존재하지 않는 옛날 소프트웨어 버전이나 어플리케이션으로 완전히 새로운 시장을 만들어 낼 수 있다고 생각한다. 예를 들어 알더스의 페이지 메이커 같은 것들 말이다. 소비 문화가 시스템적으로 어른들의 어린시절 문화적 경험에 대한 향수를 이용한다는 점을 놓고 보면 초기 소프트웨어 버전을 시장에 내놓을 거리로 보지 않는다는 사실이 놀랍기까지하다. 만약에 내가 1980년 대에 맥라이트MacWrite와 맥페인트MacPaint를 혹은 1990-1993년에 포토샵 1.0과 2.0을 날마다 사용했었다면, 이러한 경험은 그 시절에 영화나 예술을 보았을 때와 마찬가지로 아마도 내 “문화적 계보”의 큰 부분을 차지 할 것이다. 내가 상업 제품을 위한 새로운 분야를 만드는 것을 변호하는 것은 아니긴 하지만 만약 지금 초기 소프트웨어가 사용가능하게 널리 퍼져있다면 이는 소프트웨어에대한 문화적 관심을 촉진시킬 것이다. 현대 모바일 플랫폼에서 재창조된 고전 컴퓨터 게임의 인기가 비디오 게임 연구 분야를 촉진시키는 것처럼 말이다.

지금까지 대부분의 이론가들이 문화 소프트웨어를 “소셜 미디어,” “소셜 네트워크,” “뉴미디어,” “미디어 아트,” “인터넷,” “인터렉티비티,” “사이버문화”와 구분된 독자적인 주제로 고려하지 않았다. 그래서 미디어 편집 소프트웨어에 대한 개념적 역사뿐만 아니라 미디어 생산에 있어서 소프트웨어의 역할에 대한 체계적인 조사 또한 부족하다. 예를 들어, 1900년대에 널리 쓰인 애니메이션과 합성 어플리케이션인 애프터 이펙트는 동영상의 언어를 어떻게 바꾸었는가? 같은 시기 건축을 공부하는 학생이나 젊은 건축가가 사용했던 알리아스, 마야 그리고 다른 3D 패키지는 건축의 언어에 어떻게 영향을 끼쳤는가? 1994년 HTML의 기본 뼈대에서 시작해서 5년 후 시각적으로 화려한 플래쉬를 사용한 사이트들 그리고 2010년대 초기의 반응형 웹디자인에 이르는, 웹 디자인 도구와 웹사이트 미학의 공진화는 어떤가? 기사나 컨퍼런스 강연에서 이와 비슷한 질문에 대한 언급이나 짧은 토론은 빈번하게 보인다. 그러나 내가 아는 한 이러한 주제에 관한 연구 서적은 존재하지 않는다. 종종 건축, 모션 그래픽스, 그래픽 디자인 등의 분야에 관한 책에서는 소프트웨어 도구를 통해 새로운 가능성과 기회를 추구하는 것의 중요성이 간단하게 논의되긴 하지만 대게 그 이상 진전되지 않는다.

간단히 말해서, 현대 미디어 소프트웨어의 작동방식과 디자인과 미디어 (그래픽 디자인, 웹 디자인, 제품 디자인, 모션 그래픽스, 애니메이션, 영화를 포함한)의 새로운 커뮤니케이션 언어 사이의 관련성에 대한 체계적인 고찰은 아직 이루어지지 않았다. 비록 이 책 한권이 이 모든 것을 다 아우를 수는 없지만 나는 이 책이 그러한 관련성을 어떻게 정리할 수 있는지에 대한 일반적인 모델을 제시하고, 재정의된 특정 문화 영역(모션 그래픽스와 시각 디자인 등)을 소프트웨어가 어떤 방식으로 사용하는지에 대한 자세한 분석을 제공할 수 있기를 바란다.

미디어 디자인을 위한 소프트웨어의 이론에 집중함으로써 이 책은 게임 플랫폼과 디자인(이안 보고스트, 닉 몬트포트)과 전자 문학(노아 워드립-프루인, 매튜 커센바움)에 관련된 소프트웨어를 다루었던 이론가들의 작업을 보충하는 것을 목적으로 한다.

이러한 관점에서, 관련 분야인 마크 마이노, 믹 몬트포트, 이안 보고스트 등이 발전시키고 있는 코드 연구와 플랫폼 연구는 매우 중요한 역할을 한다. 마리노의 다음 이야기에 따르면(나역시 전적으로 동감한다) 소프트웨어 연구, 코드 연구 그리고 게임 연구, 이 세 가지 분야는 상호보완 관계에 있다. “비평적인 코드 연구는 소프트웨어 연구와 플랫폼 연구에 비교하면 신생 분야이다. 하지만 이것은 프로그램의 인터페이스나 사용성(소프트웨어 연구처럼)이나 이것의 근간이 되는 하드웨어(플랫폼 연구처럼)보다는 프로그램의 코드 그 자체에 초점이 맞추어져 있다.”



이 책의 흐름에 관하여

1990년대와 2000년대 중반 사이에 미디어 소프트웨어는 19, 20세기의 미디어 기술을 대체시켰다. 현대의 미디어는 문화 소프트웨어를 통해 만들어지고 접근된다. 그러나 놀랍게도 아직까지 그것의 역사에 대해 아는 사람은 소수에 불과하다. 1960년과 1970년대 후반 사이, 현대의 문화 소프트웨의 근간이 되는 개념과 실질적 기술을 발명한 사람들의 동기는 무엇이었나. 1990년대의 소프트웨어를 기반으로하는 생산 방식은 “미디어”에 대한 개념을 어떻게 바꾸었는가. 컨텐츠 개발 소프트웨어의 인터페이스와 도구는 현대 디자인과 미디어의 미학과 시각적 언어를 어떻게 변형시키고 형성시켜왔는가. 이것이 내가 이 책에서 다루는 핵심적인 질문들이다.

나는 문화 소프트웨어나 특정 미디어 저작 소프트웨어의 종합적인 역사를 제시하려는 것이 아니다. 혹은 미디어 소프트웨어로 인해 가능해진 문화 분야의 모든 새로운 창조적 기술에 관해 논의하려는 것도 아니다. 대신 나는 그 역사의 특정 경로를 추적할 것인데, 이것은 1960년에서 출발해서 현대까지 이르며 핵심적인 지점들을 통과할 것이다. 지금부터 그 흐름을 요약하고 책의 각 부분에서 다룬 주요 개념을 소개하겠다.

Part 1은 1960, 70년대를 다룬다. 뉴미디어 이론가들이 디지털 미디어와 이전의 물리적, 전자적인 미디어 사이의 관계를 이해하기 위해서 많은 노력을 기울였지만, 중요한 자료인 이반 서덜랜드, 더글러스 앵겔바트, 테드 넬슨, 앨런 케이 등 그 시기에 활약한 문화 소프트웨어 개척자들의 글과 활동에 관해서는 다루지 않았다. 이들이 오늘날 컴퓨터가 다른 미디어를 재현 혹은 “재매개”할 수 있도록 개념과 기술을 발명한 이유는 무엇일까? 이 사람들은 무슨 이유로 컴퓨터를 미디어 창작과 변형을 위한 기계로 바꾸기 위한 체계를 만들려고 했는가? Part 1에서는 “문화 소프트웨어 운동”의 주인공인 앨런 케이의 아이디어와 작업을 중심으로 이러한 질문에 대해 논의할 것이다. (물론 현대 미디어 소프트웨어의 DNA를 구성하는 세부 요소들을 발명한 그밖의 사람들을 중심으로 다른식의 역사를 구성해볼 수도 있다. 예를 들면 1970년대에 제록스 파크의 밥 테일러, 찰스 태커, 존 워녹이나 최초의 매킨토시 디자인에 참여했던 사람들처럼 말이다. 그러나 1960년대 가장 잘 알려진 인물들이 어떻게 미디어를 변화시켰는지에 대한 이론적 분석조차 없는 상황이므로 이 책은 이 인물들과 그들의 이론적 텍스트를 분석할 것이다.)

앨런 케이를 비롯한 개척자들은 단지 예전 미디어의 외형을 시뮬레이션 하는 것이 아니라 새로운 미디어를 만드는 것을 목표로 했다고 생각한다. 이러한 새로운 미디어는 기존의 재현적인 포맷을 사용하면서도 많은 새로운 요소를 더했다. 이는 동시에 확장 가능해서 사용자들이 쉽게 새로운 요소를 더하고 새로운 미디어를 만들 수 있어야 했다. 이런 의미에서 케이는 컴퓨터를 최초의 메타미디어metamedium라고 부른다. 메타미디어의 컨텐츠는 “광범위한 영역의 기존 미디어와 아직 발명되지 않은 미디어를 포함한다.”

메타미디어 등장을 위한 기초은 1960년대와 1970년대 후반에 만들어졌다. 이 기간 동안 대부분의 물리적, 전자적 미디어는 체계적으로 소프트웨어에서 재현되었고 새로운 미디어도 다수 발명되었다. 이 발전은 이반 서덜랜드의 인터렉티브 디자인 프로그램인 스케치패드Sketchpad(1962)에서 시작해서 다양한 분야의 전문가들과 미디어 소비자까지도 소프트웨어를 기반으로한 미디어 저작과 디자인을 할 수 있게 해준 오토캐드AutoCAD(1982), 워드Word(1984), 페이지 메이커PageMaker (1985), 알리아스Alias (1985), 일러스트레이터Illustrator(1987), 디렉터Director (1987), 포토샵Photoshop(1989), 애프터 이펙트After Effects(1993) 등 상업적인 데스크탑 어플리케이션에 이른다. (이러한 개인용 컴퓨터 어플리케이션과 나란히 페인트박스Paintbox (1981), 헤리Harry (1983), 애비드Avid (1989), 플레임Flame(1992) 등 TV 및 비디오 산업 분야의 전문가를 위한 훨씬 고가의 시스템도 등장했다.)

그 다음에 무슨 일이 일어났을까? 앨런 케이의 1977년의 이론이 이후 30년의 발전을 정확하게 예견했는가? 아니면 “메타미디어” 개념에 포함되지 않는 다른 발전들이 있었나? 오늘날 우리가 사용하는 미디어에는 기존의 것들을 소프트웨어로 시뮬레이션 한 것도 있고, 새로운 것들도 있다. 두 가지 모두 지속적으로 새로운 요소를 추가시키며 확장해왔다. 이러한 발명의 과정은 무작위적으로 일어나는가 아니면 특정한 경로를 따르는가? 다시 말해서 컴퓨터 메타미디어의 확장의 메카니즘은 무엇인가?

Part 2와 Part 3는 이러한 질문에 관한 것이다. 나는 전문적인 미디어 생산의 모든 영역에 있어서 미디어 소프트웨어가 사용되던 1990년대에 집중하여, 컴퓨터 메타미디어의 확장과 발전의 몇 가지 메카니즘을 논의한다. 이러한 발전과 시각적 미디어(메타미디어 수용 과정이 충분한 속도에 이른 이후인 1990년대 후반에 개발된)의 새로운 미학을 세 가지 개념을 사용하여 설명할 것이다. 그 세 가지 개념은 미디어 하이브리드media hybridization, 진화evolution, 딥 리믹스deep remix이다. Part 2에서는 메타미디어 발전의 두번째 단계를 몇 가지 디지털 미디어 장르를 예로들어 이론적으로 분석한다. Part 3에서는 소프트웨어를 사용한 시각 디자인 (모션 그래픽스, 그래픽 디자인)을 세밀하게 다룬다. 이미지와 동영상, 합성 이미지의 새로운 미학과 이를 제작하는 데 사용한 애프터 이펙트와 같은 소프트웨어의 작동 방식과 인터페이스 사이의 관계를 분석할 것이다.

나는 기존의 물리, 전자적 미디어 기술이 소프트웨어로 옮겨가는 과정에서 기존에 독자적으로 존재했던 이질적인 기술과 도구들이 모두 동일한 소프트웨어 환경에서 만나게 되었다고 생각한다. 이 만남이 인간의 문화적 발전과 미디어 진화에 근본적인 결과를 초래했다. 이것은 미디어 기술과 그것을 사용하는 전문가들 그리고 미디어의 개념 자체의 전체적 양상를 와해, 변형시켰다.

이 기술들이 컴퓨터에서 시뮬레이션되면, 호환되지 않던 미디어 기술이 끝없는 방식으로 조합되기 시작하고 새로운 미디어 혼합물, 혹은 생물학적 은유를 사용해서 새로운 “미디어 종media species”이 만들어진다. 이러한 예는 셀 수 없을 정도로 많지만 널리 사용되고 있는 구글 어스 어플리케이션을 예로 들면, 전통적인 맵핑기술과 3D 그래픽, 소셜 소프트웨어, 검색 등의 다양한 요소와 기능이 합쳐진 것이다. 나는 개별적이던 소프트웨어를 결합할 수 있는 이러한 능력이 인류의 미디어, 기호, 커뮤니케이션의 새로운 단계를 나타낸다고 본다. 이것은 “소프트웨어화softwarization”에 의해서 가능해진 것이다.

나는 미디어 진화의 이 새로운 단계를 하이브리드성hybridity이라는 개념으로 설명한다. 첫 번째 단계에서는 대부분의 기존 미디어가 컴퓨터에서 시뮬레이션 되고 컴퓨터에서만 실현가능한 새로운 타입의 미디어가 일부 발명되었다. 두 번째 단계에서는 이러한 미디어가 상호간의 요소와 기술을 교환하기 시작했다.

이러한 과정을 친숙한 용어인 리믹스와 구분하기 위해 나는 새로운 용어인 딥 리믹스를 제시한다. 리믹스는 일반적으로 한 가지(음악 리믹스처럼) 혹은 소수의(애니메이션 뮤직비디오처럼) 미디어로부터 생산된 컨텐츠를 조합한다. 반면 소프트웨어를 통한 생산 환경에서는 여러가지 미디어의 컨텐츠를 조합할 수 있을 뿐만 아니라 다양한 미디어의 근본적인 기술, 작업 방식, 재현과 표현 방식도 리믹스할 수 있게 된다. 이것이 딥 리믹스이다.

오늘날 하이브리드와 딥 리믹스는 소프트웨어가 사용되는 모든 문화 영역에서 찾아볼 수 있지만 나는 특정 분야를 중심으로 이것이 어떻게 기능하는지 자세하게 살펴볼 것이다. 그 분야는 그래픽 디자인, 그 중에서도 모션그래픽스이다. 모션 그래픽스는 활발한 현대 문화 영역 중 하나이지만 내가 아는 한 어디에서도 이론적으로 자세하게 분석된 적이 없다. 현대 모션 그래픽스는 1950, 60년대의 솔 바스, 파블로 페로의 작업 등을 그 전신으로 볼 수 있지만, 1990년대 중반에서 시작된 가파른 성장은 동영상 디자인 소프트웨어, 특히 어도비가 1993년에 출시한 애프터 이펙트와 직접적으로 관련이 있다. 딥 리믹스는 모션 그래픽스 미학의 중심이 된다. 다시 말해서 현재 세계적으로 만들어지고 있는 모션 그래픽스 프로젝트들 중 다수는 다양한 기술과 미디어 전통(애니메이션, 그림, 타이포그래피, 사진, 3D 그래픽스, 비디오 등)을 새로운 방식으로 조합하는 데서 나오는 미적인 효과를 사용한다. 내 분석의 일부로서 현대 디자인 스튜디오의 일반적인 소프트웨어 기반 작업 흐름이 모션 그래픽스의 미학과 시각 디자인 전반의 형태를 어떻게 형성하는지 살펴 볼 것이다.

문화의 컴퓨터화와 관련한 다음의 주요 사회적 흐름은 소셜 네트워크, 소셜 미디어 서비스, 모바일 어플리케이션 등 다양한 소프트웨어 종류와 관련이 있다. 소셜 네트워크와 소셜 미디어의 유행은 천천히 시작되었다. 2005, 6년(플리커, 유투브)에 급증해서 그 영향력은 지속적으로 확장되었다. 1990년대의 미디어 혁명은 창작업계 전문가들에 영향을 끼쳤고 2000년대의 미디어 혁명은 우리 전체에 영향을 끼쳤다. 다시 말해서 페이스북, 트위터, 파이어폭스, 사파리, 구글 검색, 구글 맵, 플리커, 피카사, 비메오, 블로거 그리고 수많은 모바일 어플리케이션과 서비스를 사용하는 수억의 사람이 영향을 받았다.

우리는 여전히 소셜미디어 확산의 중심에 있기 때문에 나는 이 새로운 경향에 대해서 이론적으로 분석하는 것은 이르다고 판단했다.(이것은 내가 이 책의 초안에서 소셜 미디어에 관한 부분을 편집하면서 명확해졌다. 내가 자세히 분석했던 일부소셜 미디어 서비스가 이미 사라진 것이었다.) 일부 인기 소셜 미디어 서비스는 쇠퇴하고 다른 새로운 서비스가 성장을 하고 있으며 소프트웨어의 “사회적” 기능이 여전히 확장되고 있다. 대신, 나는 소셜 네트워크와 소셜 미디어의 폭발적 확산 이전의 “디지털 미디어”를 가능케하고 형성한 핵심적인 발전을 추적하는데 몰두한다. 1960, 70년대에 미디어 생산 및 편집을 위한 기계로서 컴퓨터에 관한 생각들, 1980, 90년대 그러한 생각을 미디어 어플리케이션에 적용한 것, 이에 뒤따르는 시각 미디어 언어의 변형에 대해 이야기할 것이다.

더 정확히 하자면 이 역사를 1961년에서 1999년 사이로 한정할 수 있다. 1961년에 MIT의 이반 서덜랜드는 스케치패드를 만들었고, 이것은 대중에게 공개된 최초의 컴퓨터 디자인 시스템이되었다. 1999년 애프터 이펙트 4.0에서는 프리미어 파일 가져오기import 기능이 추가되었고, 포토샵 5.5에서는 벡터기반 이미지를 만들수 있었다. 그리고 애플은 파이널 컷 프로 최초 버전을 소개했는데, 이는 특별한 하드웨어 없이 일반적인 컴퓨터로 전문적인 미디어를 제작할 수 있는 현재의 상호운용가능한 미디어 저작 및 편집 도구 패러다임이 완성되었다는 것을 의미한다. 이 시기 이후에도 전문적인 미디어 도구는 계속 진화하긴했지만, 그 변화의 폭은 그리 크지 않았다. 마찬가지로, 이러한 소프트웨어로 만든 전문적 시각 미디어의 언어 역시 1990년대 후반의 급진적인 변화 이후 크게 달라지지 않았다.

이 연결성을 그려보기 위하여 1990년대와 2000년대의 특정 미디어 프로젝트를 예로 들어 분석할 것이다. 그렇지만 미디어 어플리케이션의 인터페이스와 기능에 관해 논의할 때는 가능한 한 현재 소프트웨어 사용자들이 이해하기 쉽도록 최근 버전을 중심으로 할 것이다. 따라서 2000년대 후반 일반 사용자용으로 등장한 모든 미디어 소프트웨어의 소셜 미디어 기능도 고려할 것이다(예를 들어 아이포토 iPhoto의 “공유” 메뉴). 그리고 하이브리드 메카니즘은 전문 미디어 소프트웨어와 전문적으로 제작된 미디어에 국한된 것이 아니고 소셜 웹 소프트웨어 및 서비스의 진화에 있어서도 중요한 역할을 하기 때문에 구글 어스와 같은 중요한 예시도 포함시킬 것이다.

내가 예로서 선택한 미디어 소프트웨어 어플리케이션에 대해서도 언급을 해야할 것 같다. 나는 현재 가장 널리 사용되고 있는 미디어 저작을 위한 데스크탑 어플리케이션에 집중하기로 했다. 포토샵, 일러스트레이터, 인디자인, 드림위버, 애프터 이펙트, 파이널 컷, 마야, 3D 맥스, 워드, 파워 포인트 등이 그것이다. 이 프로그램들은 이미지 편집, 벡터 그래픽스, 페이지 레이아웃, 웹디자인, 모션 그래픽스, 비디오 편집, 3D 모델링 및 애니메이션 등 다양한 종류의 미디어 저작 소프트웨어 카테고리의 예가 된다. 웹 브라우저(파이어 폭스, 크롬, 인터넷 익스플로러), 블로깅 도구와 퍼블리쉬 서비스(워드프레스, 블로거), 소셜 네트워크(페이스북, 트위터, 구글 플러스), 미디어 공유 서비스(플리커, 핀터리스트, 유투브, 비메오), 이메일 서비스 및 클라이언트(지메일, 마이크로소프트 아웃룩), 웹오피스(구글 독스), 지형 정보 시스템(구글 어스, 빙맵) 등도 참고 할 것이다. 나는 사용자들이 미디어와 어떻게 인터렉션하는지에 관심이 있기 때문에 컴퓨터에 기본으로 설치되어 있는 미디어 플레이어(윈도우 미디어 플레이어, 아이튠즈, 퀵타임)와 도큐먼트 열람 어플리케이션(어도비 리더, 맥 OS 프리뷰) 역시 중요한 소프트웨어 카테고리로 다룰 것이다. 일부 프로그램과 웹 서비스는 인기가 떨어지고, 새로운 것들이 시장을 점유해가고 있기 때문에, 당신이 이 책을 읽을 때 쯤이면 앞서 나열한 리스트는 낯설어 보일 수도 있고, 많은 어플리케이션들은 데스크탑에서 웹으로 옮겨갔을지도 모르지만, 카테고리 자체는 변함이 없을 것이다.

나는 내 논의가 가능한 한 현재의 디자이너와 예술가들에게 의미가 있기를 원하기 때문에, 역사적으로는 중요하지만 더 이상 사용되지 않거나 사라진 프로그램은 가볍게 언급하고 넘어갈 것이다. 그러한 것들에는 쿼크익스프레스, 워드퍼펙트, 매크로미디어 디렉터가 있다. 다행히도 내가 자세히 분석할 두 가지 프로그램, 챕터 2의 포토샵과 챕터 5의 애프터 이펙트는 1990년대에 그랬던 것처럼 현재까지도 널리 사용되고 있다.

1980, 90년대 사용된 디지털 미디어 저작 및 편집 시스템 중에서 중요하지 않은 종류에 관해서는 다루지 않을 것이다. 왜냐하면 이 시기에는 개인용 컴퓨터의 그래픽 처리 능력 한계 때문에 실리콘 그래픽스사의 그래픽 워크스테이션(특별 제작된 컴퓨터) 등을 통해서만 이러한 프로그램을 사용할 수 있었기 때문이다. 이를 연대순으로 나열하면 다음과 같다, 페인트박스(1981년 콴텔의 TV 방송을 위한 그래픽스), 미라지Mirage(1982년 콴텔의 실시간 디지털 비디오 효과 프로세서), Personal Visualizer(1988년 웨이브프론트의 3D 모델링 및 애니메이션), 헨리Henry와 할Hal(1992년 콴텔의 효과 편집, 그래픽스 및 합성 시스템), 인페르노Inferno와 플레임Flame (1992년 디스크릿 로직의 영화, 비디오 합성).

1990년대 중반 플레임과 SGI 워크스테이션의 가격은 45만 달러, 인페르노 시스템은 70만달러였다. 2003년 인페르노 5와 플레임 8이 나왔는데 가격은 각각 571,500달러, 266,500달러였다. 이런 시스템은 가격 때문에 TV나 영화 스튜디오 혹은 대형 비디오 효과 업체에서만 사용되었다.

현재 가장 수요가 많은 영화, 애니메이션, TV 광고 등 대량의 데이터로 작업하는 미디어 제작 영역에서는 여전히 이러한 시스템의 고가 소프트웨어를 사용한다. 2000년대 후반 PC, 맥, 리눅스에서 사용가능한 버전이 나오기는 했지만 최첨단 버전은 여전히 특별한 하드웨어를 필요로 하고 가격도 매우 높다. (비디오 편집, 효과, 색보정에 사용되는 스모크, 플레임, 러스트를 포함하고 있는 오토데스크 플레임 프리미엄의 2010년 에디션 가격은 12만 5천 달러였다.)

이 책을 읽는 일반 독자가 이런 고가의 시스템을 사용한 경험이 있다고는 생각하지 않기 때문에, 이에 관해서 더 이상 언급하지 않을 것이다. 그렇지만 1980, 90년대의 동영상 미디어의 역사를 보다 종합적으로 정리(앞으로 누군가 해주기를 희망한다)하기 위해서는 이러한 시스템과 이것의 활용에 관한 고고학과 계보학이 필요하다.

마지막으로 또 한가지의 설명이 필요하다. 일부 독자는 내가 오픈 소스 어플리케이션이 아닌 상업 어플리케이션에만 집중하는 것에 대해서 의아하게 생각할 수도 있다. 예를 들어 나는 김프 보다는 포토샵, 잉크스케이프보다는 일러스트레이터에 관해 기술한다. 그러나 사실 나는 오픈 소스와 무료 소프트웨어를 좋아하고 지지하며 내가 직접 사용하기도 한다. 나는 1994년에 이래로 내가 쓴 모든 글을 manovich.net에 올려서 누구나 무료로 다운로드할 수 있게 하고 있다. 그리고 방대한 양의 미디어 데이터를 분석하고 시각화하기 위한 목적으로 2007년 연구소(www.softwarestudies.com)를 설립했을 때, 무료 소프트웨어 및 오픈 소스를 지향하기로 결정함으로써 다른 사람들이 우리가 개발한 도구를 사용하고 변형할 수 있도록 하였다.

이 책이 오픈 소스 소프트웨어 대신에 상업적 미디어 저작 및 편집 소프트웨어를 중심으로 하는 이유는 간단하다. 소프트웨어 문화 대부분의 영역에 있어 사람들은 무료 어플리케이션과 웹 서비스를 사용한다. 웹 브라우저, 웹 이메일, 소셜 네트워크, 모바일 어플리케이션, 프로그래밍 및 스크립트 언어 등이 그러한 예이다. 기업들이 이러한 어플리케이션과 서비스를 무료로 제공하는 이유는 그들이 다른 방식으로 이윤을 얻기 때문이다. (광고, 추가 기능과 서비스에 대한 비용 부과, 멤버쉽 이용료, 기기 판매 등.) 그러나 미디어 저작 및 편집을 위한 전문적인 도구의 경우에는 상업 소프트웨어가 주를 이룬다. 이것이 항상 더 나은 것은 아니지만, 어쨌든 더 많은 사람들이 사용한다. (예를 들어 구글 트렌드에 “Photoshop(포토샵)”과 “Gimp(김프)”를 입력하면 2004년 이래로 포토샵에 관한 검색이 8배 더 많다는 것을 알 수 있다.) 나는 일반적인 사용자 경험과, 가장 일반적인 저작 도구(모두 상업 제품인)를 사용해서 만든 수많은 작업에 공통적인 미디어 미학의 특징에 관심이 있기 때문에 이러한 제품을 분석하기로 선택한 것이다. 그리고 미디어 접근과 공동작업을 위한 도구를 분석할 때에도 나는 가장 널리 쓰이는 제품을 예로 들 것인데 여기에는 영리회사가 제공하는 무료 소프트웨어 및 서비스(사파리, 구글 어스)와, 무료 오픈 소프 소프트웨어(파이어폭스)가 모두 포함된다.




원문: Software Takes Command (2013) by Lev Manovich
번역: 김용훈

뉴미디어, 보르헤스에서 HTML까지 New Media from Borges to HTML

Lev Manovich, 2003

The New Media Field: a Short Institutional History

1970년대 후반 미국의 SIGGRAPH와 오스트리아의 Ars Electronica가 컴퓨터로 작업하는 예술가들의 연례 모임 역할을 하긴 했지만, 1980년대 후반이 되어서야 비로소 이러한 단체의 활동들이 모양을 갖추기 시작했다. 칼스루헤의 ZKM (1989), 프랑크푸르트의 New Media Institute (1990), 네덜란드의 ISEA(1990), 도쿄의 ICC(1990). 1990년대 동안 유럽과 일본은 뉴미디어 예술가들의 성지였다.

20세기, 미국에서 개발되고 활용된 테크놀러지들을 심각하게 다룬 것은 미국 이외의 나라들이었다. 이유는 첫째, 미국에서는 뉴미디어가 문화적으로 훨씬 빠르게 흡수되었고 비용도 저렴했다. 인터넷의 경우 미국은 매달 요금을 지불한 반면 유럽에서는 분단위로 지불해야 했다. 둘째, 1990년대 미국 정부는 예술에 대한 공공의 지원이 없었다. 복제 가능성과 설치의 어려움 때문에 뉴미디어 아트는 지원 없이는 발전하기 어려웠다. 유럽에서 복잡한 인스톨레이션이 발전한 반면 미국 예술계는 net art에 집중했다. 컴퓨터와 인터넷만 연결되면 전시할 수 있으니까.

1990년대 후반에 이르러 미국에서도 뉴미디어 관련 기관이 생기기 시작했다. 서해안의 대부분 대학에 관련 학과가 생겼고, 휘트니 비엔날레 2000, SFMOMA 등에서 뉴미디어 아트가 전시되었고, 관련 책이 MIT Press와 같은 유명 출판사에서 출간됐다.

Software Design and Modern Art: Parallel Projects

뉴미디어를 2차대전 이후 모던 아트와 컴퓨팅 기술의 평행적(parallel) 경향으로 정의할 수 있다.

20세기 모던 컴퓨팅과 네트워크 기술은 특정 중요한 모던 아트 프로젝트를 실현시켰다. 이 과정에서 기술이 예술을 앞질렀다. 뉴미디어 기술이 예술가들의 아이디어를 실현시켰을 뿐만 아니라, 그들이 애초에 상상했던 것 이상으로 이를 확장시켰다. 그 결과 이러한 기술들은 그 자체로 예술이 되었다. 가장 위대한 하이퍼텍스트는 웹 그 자체이다. 가장 인터랙티브한 작품은 human-computer interface 그 자체이다. 이는 이러한 기술을 개발한 과학자들은 우리 시대의 중요한 예술가들이라는 것을 의미한다. 어쩌면 그들은 이 시대의 예술가로 기록될 진정 중요한 유일한 사람들인지도 모른다.

그 역사적 평행성을 증명하기위해 이 책, The New Media Reader는 모던 예술가들 modern artists의 중요 텍스트들과 모던 컴퓨터 과학자들의 소프트웨어와 하드웨어와 관련한 텍스트를 함께 배치한다. 보르헤스의 소설 다음에 바네바 부쉬의 글을 놓는데, 두 글은 데이터 정리를 위한 방법으로 그리고 인간의 경험을 재현하는 방법으로서 거대한 가지 구조 massive branching structure에 대한 아이디어를 담고 있다.

예술가들과 컴퓨터 과학자들 사이의 평행성은 텍스트 속의 아이디어 뿐만 아니라 텍스트의 형태에서도 찾을 수 있다. 20세기 예술가들이 자신들의 아이디어를 메니페스토 menifesto를 쓰거나 실제 작품을 만들어서 제시한 것처럼, 컴퓨터 과학자들의 경우 특정 소프트웨어나 하드웨어의 개발 계획을 위한 이론적 글을 쓰거나, 이미 개발된 프로토타입이나 작동 시스템에 대한 설명적 글을 썼다. 구조적으로 메니페스토는 과학자들의 이론적 글과 대응되고, 실제 예술작품은 프로토타입이나 시스템에 대응된다. 이 책은 넓은 관점에서 두 가지 종류의 텍스트를 담고 있다. 하나는 새로운 생각의 이론적 제시와 그러한 생각에 뒤따를 수 있는 프로젝트에 관한 추측. 또 하나는 실제로 실현된 프로젝트에 대한 묘사.

일반적으로 현대의 문화는 대중 산업 문화보다 예술을 더 특권화하는 경향이 있다. HCI 분야의 컴퓨터 과학자들은 현저히 저평가되었다. HCI에 관한 근본적인 생각들을 제시한 사람들을 주요한 모던 예술가들로서 다루어야 할 때가 왔다.

What Is New Media? Eight Propositions

이 책이 담고 있는 뉴미디어에 대한 관점, 모던 예술과 컴퓨팅의 평행적 발전이라는 개념은 앞서 정리했다. 지금부터 뉴미디어에 대한 다른 가능한 컨셉과 그것의 역사에 관해 이야기하겠다.

1. New Media versus Cyberculture
뉴미디어와 Cyberculture를 구분짓는 것부터 시작하자. Cyberculture는 인터넷과 다른 네트웤 커뮤니케이션 방식들과 관련한 다양한 사회적 현상에 관한 연구이다. 온라인 커뮤니티, 멀티 플레이어 게임, 온라인 아이덴티티, 이메일 사용의 사회학과 인류학 등이 이에 속한다. 이는 사회적 현상에 집중하고 있고, 네트웤 커뮤니케이션 기술이 가능하게한 새로운 문화적 오브제 cultural object에 대한 것은 다루지 않는다. 그러한 대상에 관한 연구가 바로 뉴미디어의 영역이다.

2. New Media as Computer Technology Used as a Distribution Platform
그럼 뉴미디어는 어떤 것인가? 컨텐츠의 분배에 사용되는 기술이라는 정의는 맞지 않다. 대부분의 문화적 오브제가 컴퓨터에 의해서 분배되고 있고, 이런식이면 뉴미디어라는 용어는 결국 어떤 특정성을 지니지 못하게 될 것이다. 그리고 이 정의는 컴퓨터에 기반하는 분배의 새로운 가능성에 대해 아무 것도 이야기해주지 못한다.

3. New Media as Digital Data Controlled by Software
나의 책 뉴미디어의 언어는 디지털 재현과 컴퓨터 기반의 전달에 의지하는 모든 문화적 물체가 몇 가지 공통의 사항들을 가지고 있다는 것을 전제로 한다. 그 책에서 나는 뉴미디어의 몇 가지 원칙을 정리했다. 숫자적 재현 numerical representation, 모듈방식 modularity, 자동화 automation, 가변성 variability, 변환 부호화 transcoding. 오늘날 컴퓨터 기반의 문화적 오브제들이 필연적으로 이러한 원칙에 따라서 구성되는 것은 아니라고 본다. 오히려, 이들은 컴퓨터화 computerization을 겪고 있는 문화의 경향으로서 자신의 중요성을 증명한다고 생각한다.
나는 이러한 원칙을 미디어의 디지털 재현에 관한 기본적인 사실에서 도출했다. 뉴미디어는 소프트웨어에 의해 조작될 수 있는 디지털 데이터이다.
더 일반적으로, 내 책에서 제안한 것을 확장하면 컴퓨터가 데이터 구조와 알고리듬을 통해 리얼리티를 모델링하는 방식은 미디어에도 적용될 수 있다. 다시말해서 뉴미디어가 특정 문화적 소프트웨어에 의해 컨트롤되는 디지털 데이터라고 한다면, 뉴미디어 오브제를 그것이 포함하는 특정 데이터 구조 혹은 특정 알고리듬으로 생각할 수 있다.

4. New Media as the Mix Between Existing Cultural Conventions and the Conventions of Software
뉴미디어는 기존의 문화적 전통과 HCI의 전통의 융합적 산물.

5. New Media as the Aesthetics that Accompanies the Early Stage of Every New Modern Media and Communication Technology
모든 모던 미디어와 텔레커뮤니케이션 기술이 지나고 있는 단계.

6. New Media as Faster Execution of Algorithms Previously Executed Manually or through Other Technologies
모던 디지털 컴퓨터는 프로그램 머신으로, 알고리듬을 빠르게 실행시킨다.
사람이 수작업으로 하던 일을 반복적으로 빠르게 수행. 이러한 양적 변화가 질적 변화를 가져온다. 새로운 현상을 가능케 함. 빠르기 때문에 실시간 네트웤 커뮤니케이션과 실시간 컨트롤.

7. New Media as the Encoding of Modernist Avant-Garde; New Media as Metamedia
1915년에서 1928년 동안 아방가르드 예술가와 디자이너들은 완전히 새로운 시각적, 공간적 언어와 커뮤니케이션 기술을 발명했다. constructiviste design, New Typography, avant-garde cinematography and film editing, photo-montage, etc. 이러한 것들이 HCI의 기본적인 형태로 나타났다. 예를들어, 콜라주는 cut and paste.
1920년대의 아방가르드는 리얼리티를 재현하는 새로운 방식과 새로운 형태 그리고 세계를 보는 새로운 방식을 제안했다. 그런데 뉴미디어 아방가르드는 정보에 접근하고 그것을 조작하는 것에 대한 새로운 방식에 관한 것이다. 이 점에서 뉴미디어는 post-media 혹은 meta-media이다. 이것은 old media를 기본 재료로 사용한다.
거대한 미디어 자산 huge media assets와 디지털 툴의 등장은 이러한 작업의 질을 바꾼다.

8 New Media as Parallel Articulation of Similar Ideas in Post-WWII Art and Modern Computing
나는 1920년대를 20세기 문화적 정점으로 본다. 그리고 두번째 정점은 1960년대. happenings, performances, installation, active participation of the audience, an artwork as a temporal process, an artwork as an open system. Jeffrey Shaw와 Roy Ascott이 1960년대에 예술가로서 자신들의 커리어를 시작했고 컴퓨팅과 네트워킹 기술로 후에 이동했다. 예를 들어 Jeffrey Shaw의 1960년대 작업은 이후 VR 설치 작업으로 다시 만들어졌다.

Four Decades of New Media

이 책은 다음과 같이 구성된다.

Section 1 “The Complex, the Changing, and the Intermediate” 그리고

Section 2 “Collective Media, Personal Media”에서는 1960년대의 문화적 텍스트.

Section 3 “Design, Activity, and Action”는 1970년대 후분에서 1980년대. 포토샵, 미디어 신디사이저 등의 포스트모던 어플리케이션의 등장으로 미디어 조작과 미디어에 대한 인터페이스로 컴퓨터는 새로운 역할을 하게 됐다. 이러한 역할과 관련한 컴퓨터 과학자들의 텍스트. 그리고 군사, 정부, 교육, 사회 전반적인 분야에서 이의 효과에 대한 관심이 생겨났고 또 그러한 것에 대한 텍스트도 다룬다.

Section 4 “Revolution, Resistance, and the Launch of the Web” 1980년대 이후 컴퓨터 과학자, 사회학 연구자, 문화 이론가, 평론가들의 텍스트. 1990년의 뉴미디어는 실시간 멀티미디어 네트워킹의 근간을 제공했다. 모든 사람에게 주어지는.

뉴미디어에 관한 연구가 한 분야로 인정받는 것은 디지털 컴퓨터와 네트워킹이 주도하는 중요한 문화적 역할에 대한 인식을 증명한다.

이 글은 아래 책의 서문:

New Media Reader, MIT Press, 2003.

*아주 간단히 요약하자면,
1. 예술과 컴퓨터 과학의 발전에는 평행성이 나타난다. 뉴미디어는 과거 예술가들의 비전이 그들의 상상 이상으로 실현된 것이며 이를 현실화시킨 컴퓨터 과학자들을 예술가로서 인정을 해줘야 한다.

2. 뉴미디어는 소프트웨어를 사용하여 조작되는 데이터로서, 뉴미디어를 데이터 구조나 알고리듬 자체(특정 소프트웨어라기보다는 추상적인 의미에서 문화적 오브제의 구조와, 그것이 가능케하는 인터렉션)로도 볼 수 있다. 이러한 조작은 과거 미디어의 수동적 조작이 새로운 형태로 나타난 것이지만, 뉴미디어에서는 컴퓨팅과 네트워킹이 이에 양적 팽창을 가져왔고 그 양적 변화가 질적 변화를 가능케했다.

미디어 비주얼라이제이션 Media Visualization: Visual Techniques for Exploring Large Media Collections

Lev Manovich, June 2011

Introduction: How to work with massive media data sets?

미디어 데이터의 양이 엄청나게 많고, 수많은 정보를 담고 있는데 이를 어떻게 활용할 것인가?

이 모든 데이터를 일일이 보고 패턴을 찾는 일은 불가능하다. 이것은 언뜻 사람의 시각과 정보 처리 능력때문 인것처럼 보이지만, 나는 현재의 인터페이스 디자인에 문제가 있다고 본다.
리스트, 그리드, 슬라이드 등의 시각화 방식은 소수의 데이터만 보여줄 뿐 전체의 모습이나 패턴을 보여주지 못한다.
메타데이터도 주어지지만 직접 컨텐츠를 보는 것만 못하다.
한 번에 볼 수 있는 미디어의 양은 제한적이다.
계층적인 컨텐츠 분류는, 그것을 벗어난 방식의 브라우징을 허락치 않는다.
이러한 분배, 분류 방식은 우리로 하여금 어떤 미디어를 볼 지 사전에 결정해야하도록 만들었다.

지금의 검색방식도 이와 같은 페러다임을 벗어나지 않는다.
하이퍼링크는 이전에 누군가가 남겨놓은 루트만 따라 갈 수 있다.
메타데이터가 있어도 그 종류에 따라 검색은 제한된다.

그런데 우리가 눈으로 물리적인 장면을 직접적으로 볼 수 있다면 모든 데이터를 어떤 순서로든 볼 수 있게 된다.

그래서 우리는 'media universe'를 한 번에 볼 수 있는 테크닉이 필요하다.

Media Visualization

기존의 시각화 툴들은 때로 유용하지만, 전통적으로 이들은 정보를 점과 선 등의 그래픽 요소로 표현하기 때문에 이미지나 비디오에 있어서 그 컨텐츠를 직접 볼 수 없다는 것은 제약이다.

Software Studies Initiative에서는 media viewing application, graphing application and visualization applications의 장점을 통합한다. 그래프 뿐만 아니라 모든 이미지를 이에 중첩시켜서 보여준다. 우리는 이를 media visualization이라 부른다.

전통적 information visualization은 세계를 숫자로 바꾸고 그 숫자 사이의 관계를 시각화 하는데, media visualization은 이미지들로부터 그 이미지들 사이의 패턴을 보여줄 수 있는 새로운 이미지로 바꾸는 과정이 개입된다. 다시 말해서 이미지를 이미지로 번역하는 것이다.

Media visualization can be formally defined as creating new visual representations from the visual objects in a collection.

Dimensions of media visualization

데이터를 분석하고 시각화하는 다른 여러 방법론과 비교한 Media visualization의 방법론에 관하여.

1. Media visualization은 통계적 그래프와, information visualization과 다르다. 또한 이것은 content analysis와도 구분된다. 이와달리 media visualization은 새로운 메타데이터를 생성할 필요나 특별한 기술적 지식의 필요가 없다. media visualization은 이미지 데이터의 기본적인 메타데이터만 활용한다.

2. 컬렉션 전체 데이터를 모두 사용하느냐 혹은 일부만 이용하는가.
Time: some of the available images
Space: parts of the images

3. 미디어 파일과 함께 이용하는 정보, 메타데이터. Media visualization은 최소의 메타데이터만 이용하지만, 원하면 언제든 그들을 활용할 수 있다.

Media visualization techniques

1. Zoom out (image montage)
개념적, 기술적으로 가장 간단한 방법은 다수의 관련있는 시각 미디어를 같이 보여주는 것이다. 전통적으로는 소수의 이미지만 함께 비교 제시할 수 있었다. 그런데 ImageMagic, ImageJ와 같은 프로그램을 활용하면 이미지 그리드를 구축하여 다수의 이미지를 편리하게 나타낼 수 있다. 우리는 그러한 이미지 그리드를 montages라고 부른다.
수천장의 이미지를 디스플레이 할 수 있게 되면서 우리는 이를 통해 시간에 따른 역사적 변화를 볼 수 있게 된다. 

2. Temporal and spatial sampling
Spatial sampling: 이미지의 양적 부분 (사진 가운데 1픽셀 라인만)
Temporal sampling: 이미지의 시간적 부분 (게임의 일정 플레이 시간 이미지만)

3. Remapping
모든 재현은 두 개체를 맵핑한 결과이다. 웹, DVD, 사진, 오디오 레코딩 등 현대 미디어 기술은 새로운 문화적 맵핑 작업을 가능케 했다. 이미 존재하는 미디어 산물을 샘플링하고 정리해서 새로운 의미나 미적 효과를 창조하는 것이다. 포토 몽타주, 팝아트, 차용 예술, 리믹스 등. 이는 media visualization의 선례라 할 수 있고, 그에 사용된 테크닉은 활용가능하다.

우리는 패턴을 드러내는 데 관심이 있으므로 데이터의 원래 순서로 정렬하는 것으로 작업을 시작한다. 그리고 우리의 메시지를 담기 위해 샘플을 선택하기 보다는 systematic하게 선택한다. 예를 들어 영상의 2번째 프레임들만 추출. 그러나 물론 우리도 새로운 샘플링 순서, 이미지를 배치하는 여러가지 방법 등을 실험하는 것을 통해 세계에 대한 우리의 생각을 나타낼 수도 있다.

Conclusion

거대한 미디어 컬렉션을 탐구하는 기술에 대해 이야기했다. 이 기술은 샘플링한 데이터를 다양한 방식으로 나타내어 컬렉션의 패턴과 전체적 모습을 드러내는 것을 목적으로 한다. 이를 media visualization이라 부른다.

Media visualization이 기존의 메타데이터를 어떻게 활용하는지 그리고 필요에 따라 메타데이터를 추가할 수 있다는 것에 대해 언급했다. 예를들어 자동 추출한 이미지의 일부, 사람 등.

개념적으로 media visualization의 방법은 3가지로 나눌 수 있다. 전체 컬렉션을 보기 위한 zooming out (photomontage), temporal and spatial sampling 그리고 remapping.

거대한 미디어 컬렉션에서 우리는 어떻게 흥미로운 것들을 발견할 수 있는가? 우리가 무엇을 찾을지에 대한 사전 지식없이 말이다. Media visualization 테크닉은 이를 위한 기본적인 방법을 제공한다. 물론 이건 단지 시작일 뿐이다.

원문:
http://manovich.net/DOCS/media_visualization.2011.pdf

뉴미디어의 언어 The Language of New Media

The Language of New Media 뉴미디어의 언어

Lev Manovich 레프 마노비치

Prologue: Vertov’s Dataset

Introduction

A Personal Chronology

Theory of the Present

Mapping New Media: the Method

Mapping New Media: Organization

The Terms: Language, Object, Representation

I. What is New Media?

Principles of New Media

1. Numerical Representation

2. Modularity

3. Automation

4. Variability

5. Transcoding

What New Media is Not

Cinema as New Media

The Myth of the Digital

The Myth of Interactivity

II. The Interface

The Language of Cultural Interfaces

Cultural Interfaces

Printed Word

Cinema

HCI: Representation versus Control

The Screen and the User

A Screen's Genealogy

The Screen and the Body

Representation versus Simulation

III. The Operations

Menus, Filters, Plug-ins

The Logic of Selection

“Postmodernism” and Photoshop

From Object to Signal

Compositing

From Image Streams to Modular Media

The Resistance to Montage

Archeology of Compositing: Cinema

Archeology of Compositing: Video

Digital Compositing

Compositing and New Types of  Montage\

Teleaction

Representation versus Communication

Telepresence: Illusion versus Action

Image-Instruments

Telecommunication

Distance and Aura

IV. The Illusions

Synthetic Realism and its Discontents

Technology and Style in Cinema

Technology and Style in Computer Animation

The icons of mimesis

Synthetic Image and its Subject

Georges Méliès, the father of computer graphics

Jurassic Park and Socialist Realism

Illusion, Narrative and Interactivity

V. The Forms

Database

The Database Logic

Data and Algorithm

Database and Narrative

Paradigm and Syntagm

A Database Complex

Database Cinema: Greenaway and Vertov

Navigable space

Doom and Myst

Computer Space

The Poetics of Navigation

The Navigator and the Explorer

Kino-Eye and Simulators

EVE and Place

VI. What is Cinema?

Digital Cinema and the History of a Moving Image

Cinema, the Art of the Index

A Brief Archeology of Moving Pictures

From Animation to Cinema

Cinema Redefined

From Kino-Eye to Kino-Brush

New Language of Cinema

Cinematic and Graphic: Cinegratography

New Temporality: Loop as a Narrative Engine

Spatial Montage

Cinema as an Information Space

Cinema as a Code

Prologue: Vertov’s Dataset

러시아 감독 지가 베르토프의 아방가르드 걸작 <카메라를 든 사나이 Man with a Movie>로 뉴미디어의 언어에 대한 안내서를 시작하겠다.

1. 영화적 방식으로 세계를 보는 것, 시간의 구조화, 이야기의 서사화, 하나의 경험을 다음 경험과 연결하는 것은 컴퓨터 사용자가 모든 문화적 데이터에 접속하고 상호작용하는 기본 방식으로 확장되었다. 영화와 달리 컴퓨터 사용자는 인터페이스의 언어를 말할 수 있다는 차이가 있다.
2. 가상 카메라 컨트롤을 게임기 하드웨어 안에 넣은 것은 역사적인 사건이다. 이는 1920년대 카메라의 휴대성을 활용해 비전통적인 시각을 핵심으로 삼았던 “The New Vision” 운동으로의 회귀를 말해주는 것 같다.
3. 편집 또는 몽타주는 허구적 현실을 만들어내는 20세기의 주요한 기술이다. 이는 시간적(temporal) 몽타주와 공간적(spatial) 몽타주로 구분할 수 있다. (공간적 몽타주란 용어는 이 책에서는 안 쓰지만 같은 근래에 이와 같은 용어로 구분하고 있음 - Y)
4. 몽타주를 통해서 영화는 현실 지시적인 성격을 극복할 수 있다.
5. 몽타주에서 각각의 요소들이 흔적없이 매끈하게 이어붙을 필요는 없다. 하나의 우주를 형성하기 보다는 의미적으로 충돌하는 다른 세계를 유지할 수도 있다.
6. 카메라는 이동성 때문에 어디에나 갈 수 있고 초인간적 시각으로 어떤 객체의 클로즈업도 얻을 수 있다.사진이 잡지나 뉴스 필름에 함께 모여지면 대상의 크기나 특정한 장소는 무시되고 그에 따라 사물의 보편적 평등이라는 대중사회의 요구에 부응하게 된다.
7. 이전에는 서로 다른 물리적 장소들이 하나의 잡지면이나 뉴스필름 위에 함께 모였지만 지금은 하나의 전자 스크린 안에 모인다.
8. 그것은 누구의 시각인가? 그것은 컴퓨터 그래픽으로 증강되고 노이즈가 제거될 미래 인간의 시각에 대한 사실적 재현이다. 컴퓨터 합성 이미지는 우리 현실의 열등한 재현이 아니라 다른 현실의 사실적 재현이다.
9. 베르토프는 ‘데이터베이스 영화작가’로 생각될 수 있다. 그의 <카메라를 든 사나이>는 아마 현대 미디어 예술에서 데이터베이스 상상력에 관한 가장 중요한 예가 될 것이다.
10. 뉴미디어 오브제가 위계적 단계을 갖고 있는 것처럼(인터페이스-콘텐츠, 작동 시스템-어플리케이션 등) 베르토프의 영화는 적어도 3 단계로 구성되어 있다. 첫째, 촬영하는 카메라맨의 이야기. 둘째, 영화를 보는 영화관의 관객을 찍은 장면. 셋째, 이 영화 자체. 만약 이 세 번째 단계가 텍스트라면 다른 두 단계는 메타텍스트로 생각될 수 있다.
11. <카메라를 든 사나이>는 잘 정의된 언어는 전혀 제시하지 않고, 길들여지지 않은 테크닉을 새로운 영화적 말하기 방식으로 제안한다.
12. 이것이 베르토프의 영화가 뉴미디어에 특별한 연관성을 갖는 이유이다. 베르토프의 영화 효과가 특별한 것은 그가 ‘카메라의 눈’이라고 부르는 이미지를 만들거나 조작하는 데 사용되는 새로운 기술들이 세계의 암호를 해독(decode)하기 위해 사용될 수 있다는 주장을 위해 쓰이기 때문이다. 베르토프의 손에서 일반적으로 정적이고 ‘객관적인’ 형식으로서의 데이터베이스가 역동적이고 주관적인 것으로 변한다.
13. (이해 안 됨 - Y)
14. 베르토프는 그가 인간 시각의 한계라고 생각했던 것을 극복하기 위한 다양한 방식을 체계적으로 시도했다. 카메라를 빌딩의 꼭대기, 움직이는 자동차에 매달았으며, 필름 속도를 느리게 하기도 했고 빠르게 하기도 했다. <카메라를 든 사나이>는 단지 1920년대의 도시생활에 대한 데이터베이스, 영화 테크닉의 데이터베이스, 시각적 인식론의 새로운 작동에 대한 데이터베이스일 뿐만 아니라, 물리적 공간을 따라다니는 단순한 인간 내비게이션을 넘어서는 것을 목적으로 하는 새로운 인터페이스 작동의 데이터베이스이기도 하다.
15. 아방가르드의 미적 전략은 컴퓨터 소프트웨어의 명령과 인터페이스 메타포에 담겨지게 된다. 요컨대, 아방가르드는 컴퓨터에서 구체적으로 형태화 된 것. 아방가르드의 콜라주 전략은 cut and paste라는 디지털 데이터가 수행할 수 있는 가장 기본적인 명령어로 다시 나타났다.
16.  <카메라를 든 사나이>의 한 장면에서 자동차 뒤에 탄 카메라맨이 차가 앞으로 움직이자 카메라의 핸들을 돌리는데, 이 원형의 움직임이 만들어내는 루프가 사건의 진행을 야기한다.
17. 루프는 영화만 아니라 컴퓨터 프로그램도 탄생시켰다. 컴퓨터 프로그래밍에서도 'if/then', 'repeat/while'과 같은 제어구조를 통해 데이터의 선형적 진행을 변경하는 것을 포함하는데 이러한 제어구조 중에서도 루프는 가장 기본적인 것.
18. 공간적인 몽타주는 전통적 영화가 가지고 있는 시간적인 몽타주에 대한 대안을 제시한다. 마찬가지의 원리가 컴퓨터 프로그래밍을 가능케 했다.
19. 제록스 팍의 GUI가 다중 윈도우를 사용하듯, 다음 세대 영화도 다중 윈도우를 사용하게 될 것이라 믿는다.
20. 만일  HCI가 컴퓨터 데이터의 인터페이스이고 책은 텍스트의 인터페이스라면, 영화는 3D공간에서 펼쳐지는 사건의 인터페이스로 생각할 수 있다. 영화가 현실의 이미지를 직사각형 틀안에 넣는 방식과 컴퓨터 인터페이스에 복합적 요소를 채워넣는 것을 연관시키는 것은 무리한 비약이 아니다.

요약:

아방가르드의 영화의 말하기 전략(몽타주, 루프 등)이 뉴미디어의 언어로 다시 나타났다는 것을 베르토프의 영화를 예로 들어서 설명.

*여기서 말하는 데이터베이스는. 베르토프의 영화 자체를, 뉴미디어의 언어의 사용 방식에 대한 방법에 대한 정보로서, 데이터베이스라 이야기하는 것 같다.

Introduction

A Personal Chronology

1975년 모스크바, 나의 꿈은 화가였지만, 수학 고등학교에 진학했다. 프로그래밍 수업이 있었고 2년 동안 공책에 쓰면서 프로그래밍을 했다. 같은 해, 건축학교에 진학하기 위해 데생수업도 받았다.

1985년 뉴욕, 3D 컴퓨터 애니메이션을 만드는 회사의 책상에 앉아있다. 나는 내 첫 이미지 작업을 시작했고, 원근법에 따라 그리는 연습을 뭐하러 수년 간 했나하고 생각했다. 컴퓨터는 몇 초만에 끝내버리는데. 내가 만든 이미지가 뉴욕의 컴퓨터 전람회에 출품되었다. 당시 미술시장은 뜨겁게 달아올라 있었지만 컴퓨터 예술에 대해서는 아무도 관심을 갖지 않았다.

1995년 린츠, 이 해에 Ars Electronica에서는 Computer Graphics 분야가 없어지고, Net Art부분이 생겼는데 이는 현대 문화와 미디어 발전의 새로운 국면을 알리는 것이었다. 컴퓨터가 단지 무엇을 만들어내는 데만 사용되는 것이 아니라 그것을 저장하고 배포하는 데도 사용되기에 이르렀다는 것. 1990년 무렵 ‘디지털 미디어’라는 용어가 언어 수준에서 인지되기 시작.

1995년 소비주의가 확산되고 세계화가 나타났다. 그리고 세계화의 가장 가시적 구현이라 할 수 있는 인터넷이 도래했다. 문화가 e-문화로, 컴퓨터가 보편적인 문화 전달도구로, 미디어가 뉴미디어로 급격히 전환되면서 사회구조의 범주와 모델을 재정의할 필요가 있게 된다.

Theory of the Present

나는 1985년이나 1897년 혹은 1904년 즈음에 누군가 영화라는 새로운 미디어의 근본적 중요성을 깨닫고 그에 관한 체계적인 기록들을 남겨 놓았기를 바랐지만 그런 것은 없다.

오늘날 우리는 디지털 컴퓨터의 메타 미디어라는 새로운 미디어의 출현을 목격하고 있고 이 혁명의 중요성을 충분히 인식하고 있다. 그런데 이 시대의 텍스트들은 현재의 이론이나 기록보다는 미래에 대한 추정을 주로 하고 있다. 왜 이론가들이 컴퓨터의 기호학적 코드, 말걸기 방식의 모델, 관객의 수용 양상들에 대해서 설명하지 않는가. 아직 일관된 언어로 고착되지 않은 상태에서 과거 문화 형식의 요소들이 분명하게 관찰되고 인식될 수 있을 때 컴퓨터 언어의 가계도가 작성되지 않는가.

영화이론가들이 영화가 출현했던 초기 10년 동안의 영화언어 발달을 추적해왔듯이, 뉴미디어 언어의 발전을 이끈 일련의 과정을 설명하고 이해하여야 한다.(이 책에서 ‘언어’란 포괄적인 의미에서 데이터를 조작하고 사용자의 경험을 구성하기 위해 뉴미디어 오브제들을 만들어내는 디자이너들이 사용하는 다양한 장치들을 가리킨다.)

이 책에서 나는 컴퓨터 미디어가 등장해서 그 특성이 모호함으로 미그러지기 전의, 초기 10년 동안의 뉴미디어에 대한 ‘연구 패러다임’을 기록하고자 한다.

Mapping New Media: the Method

나는 뉴미디어의 언어를 근대 시각매체 문화의 역사적 맥락 안에서 분석할 것이다. 뉴미디어가 과거의 문화적 형식이나 언어들에 어떻게 의존하고 과거의 전통과 어떻게 단절되는가? 어떻게 현실의 환영을 만들어내는가? 와 같은 질문에 답하기 위해 웹사이트, 가상 세계, 가상 현실, 멀티미디어, 컴퓨터게임, 인터랙티브 설치작품, 컴퓨터 애니메이션, 디지털 비디오, 영화, HCI 같은 뉴미디어의 영역들을 살펴볼 것이다.

문화의 컴퓨터화는 컴퓨터게임과 가상 세계와 같은 새로운 문화적 형식을 만들 뿐 아니라 사진이나 영화 같은 기존의 문화적 형식들도 재규정한다. 따라서 컴퓨터 혁명이 시각문화에 끼친 영향도 살펴볼 것이다. 컴퓨터를 기반으로 한 미디어로의 전환이 어떻게 이미지와 동영상의 본성을 재규정했는가? 미학적 가능성은? 이 질문에 답하기 위해, 미술, 사진, 비디오, 텔레커뮤니케이션, 디자인, 영화의 역사를 그려보았다. 특히 영화이론과 영화사는 내가 뉴미디어를 바라보는 데 중요하고 핵심적인 개념적 렌즈가 되었다. 따라서 다음의 주제를 하나하나 짚어 볼 것이다.

-영화사와 뉴미디어사의 유사점-디지털 영화의 정체성
-멀티미디어의 언어와 19세기 영화 이전 단계의 문화 형식 사이의 관계
-영화와 비교했을 때, 뉴미디어에서 나타나는 스크린, 이동 카메라, 몽타주의 기능
-뉴미디어와 아방가르드 영화를 잇는 역사적 연결점

영화이론과 함께, 이 책은 예술사, 문학이론, 미디어 연구, 사회이론 등의 인문학과 함께 컴퓨터공학으로부터 이론적 도구들을 취한다. 이 같은 종합적 방법을 ‘디지털 유물론’이라 부를 수 있을 것이다. 나는 물적 토대로부터 뉴미디어 이론을 만들어가는 방법을 택할 것이다.

Mapping New Media: Organization

문학 이론서가 네러티브와 화법에 대한 챕터를 갖고 있고, 영화연구서가 촬영과 편집에 관해 이야기하듯이 뉴미디어 이론도 인터페이스나 오퍼레이션과 같은 카테로리를 재정의하고 정교화해야 한다.

이 책은 뉴미디어의 물적 토대에서 그 형식으로 나아가는 과정을 따른다. 바이너리 코드에서 컴퓨터 프로그램으로 나아가고, 다음에는 이러한 프로그램들에 의해 작동되는 뉴미디어 오브제의 논리로 옮겨갈 것이다.

I. What is New Media?: 디지털 미디어 자체, 그것의 물질과 논리의 조직.
II. The Interface: 인간-컴퓨터 인터페이스, 운영체제.
III. The Operations: 운영체제의 맨 위에 있는 소프트웨어 어플리케이션, 그것의 인터페이스와 작동 원리.
IV. The Illusions: 외형, 그리고 어플리케이션에 의해 만들어진 디지털 이미지의 새로운 논리.
V. The Forms: 뉴미디어 오브제를 전체적으로 조직하기 위해 일반적으로 사용되는 방법.

그리고 마지막 장 VI. What is Cinema?는 책의 서두를 반영한다. 1장에서 뉴미디어의 일반적인 특징들을 영화에서 발견할 수 있다는 점을 지적하고, 이어지는 장들은 계속해서 뉴미디어를 분석하는 수단으로서 영화사와 영화이론을 거론한다. 앞서 뉴미디어의 다른 층위들 즉 인터페이스, 오퍼레이션, 환영 등에 대해 다루고 마지막 장에서는 반대로 컴퓨터화가 어떻게 영화에 변화를 가져왔는지 살펴 볼 것.

요약:
뉴미디어의 언어, 즉 뉴미디어가 만들어지고 사용되는 방식에 대한 연구를 하겠다. 이를 근대 시각매체 문화의 역사적 맥락 안에서 분석하는데 특히 영화이론을 중심으로.

I. What is New Media?뉴미디어란 무엇인가? 

통상적으로 뉴미디어는 제작보다는 배포와 전시를 위해 컴퓨터를 사용하는 것으로 이해된다. 컴퓨터 상에서 보는 사진은 뉴미디어로 이해되지만 같은 사진이 책에 수록되어 있으면 뉴미디어가 아니라고 생각한다. 이런 식의 정의는 너무 제한적이다.

컴퓨터는 14세기 인쇄 활자나, 19시게의 사진 기술이 당대의 사회와 문화에 가져온 혁명적인 충격보다 훨씬 심오한 변화를 가져왔다. 컴퓨터는 입수(acquisition), 조작, 저장 그리고 배포를 포함하는 의사소통의 모든 단계뿐만 아니라 텍스트, 스틸 이미지, 동영상, 사운드 그리고 공간 구성에 이르는 모든 유형의 미디어에 영향을 미치고 있다.

How Media Become New어떻게 미디어는 뉴미디어가 되었나

뉴미디어는, 별도로 진행된 두 개의 역사적 궤도, 즉 계산 기술과 미디어 기술 발달의 궤도가 하나로 합쳐진 것이다. 이는 모두 1830년대에 시작되었으며, 그 시초는 배비지(Charles Babbage, 1792~1871)의 자료 입출력, 기억, 계산 등을 자동적으로 처리하는 계산기의 원형인 해석기관(analytic engine)과 다게르(Louis Jacques Mand Daguerre, 1787~1851)의 다게레오타입이라는 독자적인 사진 기술이었다.

20세기 중반에 이르러, 현대적 의미의 디지털 컴퓨터가 개발되어 숫자로 된 자료에 대한 계산을 보다 효율적으로 수행하게 되었다. 이와 평행적으로 우리는 사진 원판이나 필름, 레코더 같은 것에 이미지, 연속된 이미지, 사운드, 텍스트 등을 저장할 수 있도록 하는 현대적 미디어 기술의 발전을 목격하게 된다.

이 두 역사적 과정의 종합은 무엇일까? 그것은 바로 존재하는 모든 미디어를 컴퓨터에서 처리할 수 있도록 숫자화된 자료로 전환하는 것이다. 그 결과로 컴퓨터로 처리할 수 있는 그래픽, 동영상, 사운드, 형태, 공간 그리고 텍스트 등으로 구성된 뉴미디어가 나타났다. 다시 말해서 그것들은 컴퓨터에 저장된 또 하나의 데이터가 된 것이다.

Principles of New Media

미디어와 뉴미디어의 핵심적인 차이를 요약하겠다. 그러나 모든 뉴미디어 오브제가 이 원리들을 따르는 것은 아니다. 이는 절대적 법칙이라기보다는 컴퓨터화의 과정을 거치고 있는 문화의 일반적인 경향으로 생각되어야 할 것이다.

1. Numerical Representation

모든 뉴미디어 오브제는 수적으로 재현된다. 이로써 두 가지 핵심적인 결론이 나온다.

첫째, 뉴미디어 오브제는 형식적(수학적)으로 기술될 수 있다. 둘째, 뉴미디어 오브제는 연산에 의해 조작될 수 있다.

연속적인 데이터를 수적으로 전환하는 것을 디지털화라고 하는데, 디지털화는 샘플링과 수량화, 두 가지 단계로 구성된다. 디지털 이미지를 재현하는 데 쓰이는 화소 단위와 같은 일정한 샘플로 추출하고, 샘플링된 데이터를 0~255 사이의 수치와 같이 수량화 한다.

2. Modularity

이미지, 음향, 형태 또는 움직임이라는 미디어 요소들은 화소, 폴리곤, 복셀, 문자, 스크립트 등과 같은 불연속적인 샘플들의 집합으로써 재현된다.

오브제 그 자체는 독립성을 잃지 않고 더 큰 오브제로 조합될 수 있다. 예를 들어 영화는 개별적으로 저장되었다가 다른 스틸 이미지와 음향들로 함께 합쳐질 수 있다. HTML 문서의 구조도 모듈성의 한 예이다. 텍스트를 제외하면, 이것은 이미지들, 미디어 클립, 플레쉬 등과 같은 개별적인 오브제들오 이루어져 있다.

3. Automation

미디어의 수적 부호화(원리 1)와 모듈성(원리 2)은 미디어를 만들고, 조작하고, 접근하는 등의 많은 오퍼레이션을 자동화했다. 따라서 인간의 의도는 적어도 부분적으로 이런 창조과정에서 없어질 수 있다.

템플릿 또는 간단한 알고리즘을 사용해서 미디어 오브제를 수정하거나 새로 만들어내는 것은 ‘낮은 단계’의 자동화.  AI는 ‘높은 단계’의 자동화라 할 수 있는데, 컴퓨터가 사용자에게 자신을 움직이고 말하는 캐릭터로 보여주는 인간-컴퓨터 인터페이스 , 컴퓨터 게임의 ‘AI 엔진’  등의 예가 있다. 

미디어 제작의 자동화와 함께, 미디어 접근의 자동화도 있다. 기업의 미디어 자산이나 웹의 공공 미지어 자신을 저장하고 접근하는 수단으로서 컴퓨터가 이용되면서 미디어 오브제를 분류하고 찾는 데 효과적인 방법이 필요. 이에 대응해서 적절한 정보를 자동적으로 검색하도록 설계된 소프트웨어인 ‘agents’라는 개념이 생겨났다.

현대사회는 19세기부터 미디어 제작을 자동화하는 기술로서 사진 카메라, 영화 카메라, 테이프 레코더, 비디오 레코더 등을 개발했다. 이 기술과 함께 150년을 지나는 동안 전례 없는 양의 미디어 자료들이 축적되었다. 이에 따라 미디어 혁명의 다음 단계, 즉 이러한 자료를 저장하고 정리하고 효과적으로 접근하는 새로운 기술이 요구되는 단계에 이르게 되었다.

4. Variability

뉴미디어 오브제는 하나로 고정된 것이 아니라, 무한한 버전으로 존재할 수 있다. 이는 미디어의 수적 부호화(원리 1)와 모듈 구조(원리 2)에 따른 또 다른 결과이다. 옛 미디어는 특정 재로 안에 저장되는 순서가 결정되면 영원히 지속되었다. 복사본들이 원본으로부터 만들어질 수 있었지만 그것은 원본과 동일하다. 반대로 뉴미디어는 가변성을 특징으로 한다. 동일한 복사본 대신 많은 다른 버전을 발생시킨다.

5. Transcoding

뉴미디어는 문화적 층위와 컴퓨터 층위로 이루어져 있다고 볼 수 있다. 문화적 층위에 속하는 범주로는 백과사전과 소설, 이야기와 줄거리, 구성과 관점, 모방과 카타르시스, 희극과 비극 등이 있다. 컴퓨터 층위에 속하는 범주로는 프로세스와, 네트워크를 통해 전송되는 데이터 패킷과 같은 패킷, 분류와 짝짓기, 함수와 변수, 컴퓨터 언어와 데이터 구조를 들 수 있다 

뉴미디어는 컴퓨터에서 생산되어 컴퓨터를 통해 유포되고, 컴퓨터상에 저장되고 보관되므로, 컴퓨터의 논리가 미디어의 전통적인 문화적 논리에 상당한 영향을 미칠 것임을 짐작할 수 있다. 즉 컴퓨터의 층위과 문화적 층위에 영향을 미친다는 것이다. 컴퓨터의 존재론, 인식론 그리고 화용론이라고 할 수 있는 것들은 뉴미디어와 그 구성, 새로운 장르, 내용 등의 문화적 층위에 영향을 미친다.

만약, 컴퓨터로부터 문화 전반으로 개념적 이동이 이루어지고 있고, 미디어가 컴퓨터 데이터로서 새로운 지위를 확보한 것이라면, 이를 이해하기 위해서 어떤 이론적 틀을 사용해야 할까? 한 가지 차원에서 뉴미디어는 디지털화된 옛 미디어이며, 따라서 뉴미디어를 미디어 연구의 관점에서 살펴볼 수 있으며, 인쇄, 사진 또는 텔레비전 등의 옛 미디어와 비교해볼 수 있을 것이며, 각 미디어의 물질적 특성에서 유사점과 차이점, 그리고 이들이 어떻게 미적 가능성에 영향을 미치는지를 따져볼 수 있을 것이다. 그러나 그것만으로는 충분치 않다. 그것은 뉴미디어의 가장 근본적인, 그리고 역사적 선례가 없는 특성인 프로그램화 가능성을 다루지는 못하기 때문이다. 뉴미디어가 미디어처럼 보일 수 있지만, 이는 단지 표면적일 뿐이다. 컴퓨터가 완벽하게 자카드 직조기와 같은 역할을 수행하고 있을지는 모르지만, 실제로 컴퓨터는 배비지의 해석기관인 것이다.

뉴미디어는 1950년대 해럴드 이니스와 1960년대 마셜 맥루한의 혁신적 작업을 그 기점으로 하는 미디어 이론에서 새로운 단계로 올라서야 한다. 뉴미디어의 논리를 이해하기 위해서, 컴퓨터과학으로 돌아갈 필요가 있다. 거기에서야말로 프로그램화가 가능해진 미디어를 특징짓는 새로운 용어, 범주 그리고 운용 방식을 찾아낼 수 있을 것이다. 우리는 미디어 연구에서 소프트웨어 이론으로 옮겨갈 것이다.

What New Media is Not뉴미디어가 아닌 것

옛 미디어와 뉴미디어의 차이 중 나는 언급하지 않았지만, 제기될 수 있는 다음의 속성에 대해 이야기해보겠다.

1. 뉴미디어는 아날로그 미디어가 디지털로 전환된 것이다. 연속적인 아날로그 미디어와는 대조적으로, 디지털 방식으로 기호화된 미디어는 분절적이다.

2. 모든 디지털 미디어는 동일한 디지털 코드로 되어 있다. 이 때문에 서로 다른 미디어 유형이 멀티미디어 디스플레이 도구인 컴퓨터라는 하나의 기계에서 디스플레이될 수 있다.

3. 뉴미디어는 무작위적 접근을 가능하게 한다. 데이터를 순차적으로 저장하는 필름이나 비디오테이프와는 대조적으로 컴퓨터의 저장장치는 어떤 데이터 요소도 동시적으로 접속할 수 있게 한다.

4. 디지털화는 불가피하게 정보 손실을 가져온다. 아날로그 구현과는 대조적으로 디지털식으로 코드화된 구현은 유한한 양의 정보만을 담는다.

5. 계속된 복사로 질이 손상되는 아날로그 미디어와는 대조적으로, 디지털식으로 코드화된 미디어는 훼손 없이 무한하게 복사될 수 있다.

6. 뉴미디어는 상호작용적이다. 보이는 순서가 고정되어 있는 과거의 미디어와는 대조적으로, 사용자는 미디어 객체와 상호작용할 수 있다. 상호작용의 과정에서, 사용자는 어떤 요소를 디스플레이할지, 그리고 어떤 경로를 따라가야 할지를 선택할 수 있으며, 그래서 고유한 작품을 만들어낼 수 있다. 이러한 방식을 통해 사용자는 작품의 공동작가가 된다.

Cinema as New Media

만일 우리가 역사적 관점에서 뉴미디어를 바라본다면, 위에서 언급한 많은 원칙들이 과거의 미디어 기술에도 역시 유효함을 알게 될 것이다.

1. 뉴미디어는 아날로그 미디어가 디지털로 전환된 것이다. 연속적인 아날로그 미디어와는 대조적으로, 디지털 방식으로 기호화된 미디어는 분절적이다.

영화는 이미 시간을 1초당 24프레임으로 샘플 추출한 것이다. 영화는 시간을 샘플 추출했지만, 1907년부터 시작된 이미지의 팩스 송신은 2차원 공간을 샘플로 추출했다.

2. 모든 디지털 미디어는 동일한 디지털 코드로 되어 있다. 이 때문에 서로 다른 미디어 유형이 멀티미디어 디스플레이 도구인 컴퓨터라는 하나의 기계에서 디스플레이될 수 있다.

동영상 이미지, 사운드, 텍스트가 결합된 영화. 텍스트, 그래픽 그리고 재현 이미지를 혼합했던 중세의 필사본은 이미지 ‘멀티미디어’였다.

3. 뉴미디어는 무작위적 접근을 가능하게 한다. 데이터를 순차적으로 저장하는 필름이나 비디오테이프와는 대조적으로 컴퓨터의 저장장치는 어떤 데이터 요소도 동시적으로 접속할 수 있게 한다.

영화 편집자들은 시간을 조작하고 재배열했다.

The Myth of the Digital

영화는 이미 불연속적인 재현, 무작위적 접근, 멀티미디어와 같은 원리들을 수용하고 있었다. 그래서 이러한 원리들은 뉴미디어를 과거 미디어와 구별할 때 그다지 도움이 되지 않는다. 디지털 재현이라는 발상은 어떨까? 이는 서로 관계없는 듯이 보이는 개념들, 즉 디지털화, 공통 재현 코드, 수적 재현을 포괄해서 사용하기 때문이다. 뉴미디어의 어떤 특징이 디지털적 위상에서 비롯된다고 주장하려면, 이 세가지 개념 가운데 어떤 개념이 적용되는지를 구체적으로 언급해야 한다. 예를 들어, 서로 다른 미디어들이 하나의 단일한 파일로 통합될 수 있는 것은 공통적인 재현 코드를 사용하기 때문이지만, 질적 손상없이 복제할 수 있는 것은 수적 재현 때문에 가능한 것이다. 그래서 나는 이 책에서 디지털이라는 단어의 사용을 피하려고 노력했다.

4. 디지털화는 불가피하게 정보 손실을 가져온다. 아날로그 구현과는 대조적으로 디지털식으로 코드화된 구현은 유한한 양의 정보만을 담는다.

1990년대 말쯤 대중적 스캐너는 1인치당 1,200픽셀이나 2,400 픽셀의 해상도로 이미지를 스캔했다. 디지털로 저장된 이미지는 한정된 픽셀로 구성되어 있지만, 그 정도의 해상도에서는 전통적인 사진보다 훨씬 자세하게 표현할 수 있었다. 이는 연속적인 톤의 사진에서의 무한한 양의 정보와 디지털 이미지에서의 한정된 양의 정보 사이이의 차이를 무의미화시킨다. 

5. 계속된 복사로 질이 손상되는 아날로그 미디어와는 대조적으로, 디지털식으로 코드화된 미디어는 훼손 없이 무한하게 복사될 수 있다.

원칙적으로 이 말은 참이다. 그러나 현실적으로는 복사가 거듭됨에 따라 전통적 사진의 복사본보다 디지털 이미지의 복사본에서 더 많은 훼손과 정보 손실이 일어난다. 하나의 디지털 이미지는 수백만 화소로 이루어져 있다. 이러한 데이터들은 막대한 저장공간을 필요로 하고 네트워크에서 전송하는 경우에도 텍스트 파일에 비해 훨씬 많은 시간이 걸린다. 그래서 디지털 이미지 불러오기, 저장, 조작, 존소엥 사용되는 소프트웨어와 하드웨어는 정보 손실을 감수하는 압축 기술을 쓴다. 컴퓨터 기술이 이론적으로는 흠집 없는 데이터 복제를 의미하지만 실제 사용에서는 데이터 손실, 훼손, 잡티가 따를 수밖에 없다.

The Myth of Interactivity

6. 뉴미디어는 상호작용적이다. 보이는 순서가 고정되어 있는 과거의 미디어와는 대조적으로, 사용자는 미디어 객체와 상호작용할 수 있다. 상호작용의 과정에서, 사용자는 어떤 요소를 디스플레이할지, 그리고 어떤 경로를 따라가야 할지를 선택할 수 있으며, 그래서 고유한 작품을 만들어낼 수 있다. 이러한 방식을 통해 사용자는 작품의 공동작가가 된다.

컴퓨터를 기반으로 하는 미디어에 관해서라면 상호작용적이라는 개념은 동어반복적이다. 현대적인  HCI는 이미 상호작용적이라고 정의된다. 나는 상호작용적이라는 개념 그 자체를 쓰기보다는, 메뉴 기반의 상호작용성, 증축 가능성, 이미지 인터페이스나 이미지 도구와 같은 다른 개념들을 사용해서 다른 유형의 상호작용적인 구조와 작동법을 설명하였다.

모든 고전적인 예술작품들도 여러가지 방식에서 상호작용적이다. 문학적 서사에서 생략, 시각예술에서 대상의 세부묘사의 생략 등은 사용자가 잃어버린 정보를 채워 넣도록 요구한다. 조각과 건축에서 공간적 구조물을 경험하려면 관람자 자신이 직접 몸을 움직이며 돌아다녀야 한다. 1920년대 영화의 몽타주는 관람자로 하여금 관련 없는 이미지들 사이의 정신적인 간극들을 재빨리 이어붙이도록 했다. 1960년대 해프닝과 퍼포먼스, 설치는 예술을 참여적인 것으로 변모시켰다. 이러한 변화는 1980년대에 등장하는 상호작용적인 컴퓨터 설치 예술을 위한 토대를 준비하는 것이었다.

우리가 컴퓨터 기반의 미디어와 관련해서만 상호작용적 미디어라는 개념을 사용할 때는 정신적인 상호작용은 배제한 채, 이를 사용자와 미디어 오브제와의 물리적인 상호작용과 동일시할 위험이 있다. 그러나 이러한 실수는 새로운 것이 아니라, 오히려 현대적 미디어의 역사가 지니는 구조적 특성이다. 상호작용성에 대한 문자적 해석은 정신적 삶을 외적으로 표현하려는 현대적 경향의 예일 뿐이다. 뉴미디어 기술이 추리과정을 외적으로 표현하고 객체화시킬 뿐 아니라 보완하거나 제어하는 데 사용될 수 있으리라는 주장의 근거는 정신적 재현과 작동들이 해체, 합성 이미지, 편집된 시퀀스 같은 외적인 시각 효과들과 같은 형태를 취하고 있다는 가정에 토대를 두고 있다. 

영화나 패션과 같은 산업사회의 문화적 기술들이 우리가 다른 사람의 육체적 이미지와 동일시하게 만들었다면, 상호작용적 미디어는 다른 사람의 정신적 구조와 동일시하게 만든다. 영화 관객들이 영화배우의 육체를 갈망하고 모방하려고 했던 반면, 컴퓨터 사용자들은 뉴미디어 디자이너의 정신적 궤도를 따르도록 요구받고 있다.

요약:

뉴미디어는, 별도로 진행된 두 개의 역사적 궤도, 즉 계산 기술과 미디어 기술 발달의 궤도가 하나로 합쳐진 것이다. 뉴미디어는 결국 컴퓨터가 처리할 수 있도록 데이터화 된 미디어(이미지, 사운드, 텍스트 등)이다.

이는 수적 재현, 모듈화, 자동화, 가변성, 트랜스 코딩이라는 특성을 지닌다.

컴퓨터 데이터로서 새로운 지위를 확보한 미디어를 이해하기 위해서 미디어의 역사를 살펴볼 수도 있겠지만 근본적으로 컴퓨터 과학을 알아야 한다. 뉴미디어를 이해하기 위해서 미디어 이론에서 소프트웨어 이론으로 옮겨가야 한다.

II. The Interface

컴퓨터 인터페이스는 여러 미디어에서 문화적 메시지를 담아내는 코드의 역할을 한다. 인터페이스는 각각의 미디어가 갖고 있는 원래의 차이를 벗겨내고 그 자체의 논리를 미디어에 적용시킨다. 인터페이스는 컴퓨터 안의 데이터를 향하고 있는 투명한 창과는 거리가 먼 것으로 그 자체가 강한 메시지를 담고 있다.

The Language of Cultural Interfaces

Cultural Interfaces

인간-컴퓨터 인터페이스라는 용어는 사용자와 컴퓨터가 상호작용하는 방식을 설명한다.

문화의 모든 형식들을 전파하는 데 컴퓨터가 기반이 됨으로써, 우리는 점차 텍스트, 사진, 영화, 음악, 가상환경 등과 같은 문화 데이터를 접하게 된다. 간단히 말하면, 우리는 컴퓨터를 마주하는 것이 아니라 디지털 형식으로 기호화된 문화와 마주한다.

웹페이지, CD-ROM 타이틀, 컴퓨터게임 같은 문화 인터페이스는 왜 다른 것이 아닌 특정한 인터페이스 메타포를 사용할까? 나는 1990년대, 즉 초기 10년 동안 이러한 언어에 공헌한 세 가지 형식을 탐구할 것이다. 첫 번째는 영화, 두번 째는 인쇄물, 세 번째는 일반적인 인간-컴퓨터 인터페이스이다.

Printed Word

1980년대, 텍스트는 대대적인 디지털화의 대상이 된 첫 번째 문화 미디어였다. (텍스트는 미디어 유형 중 하나이면서, 컴퓨터 미디어의 메타언어이기도 하다.) 문화 인터페이스는 인류 문명사 안에서 발전해온 텍스트 구성원칙을 물려받았다. 그 중 하나가 페이지, 책장.

1987년 애플의 하이퍼카드 프로그램은 페이지 안에 멀티미디어 요소를 포함시킬 수 있고, 다른 페이지를 연결할 수도 있게 되었다. HTML에서는 여러 곳에 나뉘어져 존재하는 문서를 만드는 것이 가능해졌다. 

1990년대 웹 브라우저나 기타 상업 문화 인터페이스가 현대적 의미의 페이지 형식을 유지했지만, 동시에 그들은 책의 전통 안에서는 전례가 거의 없는 텍스트 구성과 접속의 새로운 방식, 하이퍼링크에 의존하게 된다.

Cinema

초기 문화 인터페이스의 언어를 지배했던 인쇄물의 전통은 점점 더 중심에서 멀어지고, 반면 영화적 요소의 역할은 점차 중요해지고 있다. 

카메라. 카메라 모델은 처음에는 컴퓨터를 이용한 설계, 비행 시뮬레이션, 그리고 컴퓨터 영화 제작과 같은 3차원 그래픽 기술의 일부로 개발되었다. 확대 축소 (zoom), 상하 이동(tilt), 좌우 이동(pan),  따라가기 (track)과 같은 오퍼레이션을 통해 데이터 공간, 모델, 오브제 그리고 몸과 상호작용하게 되었다.

HCI: Representation versus Control

일반적으로, 1990년대의 문화 인터페이스는 일반 용도의 HCI가 제공하는 풍부한 제어 능력(control)과 책, 영화 같은 전통적 문화 오브제가 주는 몰입 경험(representation) 사이로 난 길을 불안하게 걸어가고 있다. 문화 인터페이스는 근본적으로 다르고 궁극적으로 양립 불가능한 두 가지 접근 방식 사이의 중재를 시도한다.

오늘날 문화 인터페이스의 언어는 100년 전의 영화언어가 그러했듯이 아직은 초기 단계에 있다. 그러나 이것은 인쇄물과 영화만큼이나 중요한 의미를 갖게 될 것이다.

The Screen and the User

최근의 티지털 컴퓨터 기술은 VR, Telepresence 그리고 상호작용성을 가능케 했는데, 이것은 더 오래된 기술, 즉 스크린에 의해서 현실화된다.

A Screen's Genealogy

프레임으로 둘러싸여 있고, 우리의 일상적인 공간 안에 자리 잡고 있는 또 다른 시각 공간.

스크린의 전통적 속성인 평면의 직사각형, 일상공간과는 다른 크기, 크기 비율 등은 지난 5세기 동안 변하지 않았다.

100년 전 쯤 ‘역동적 스크린’이라 부를 수 있는 새로운 유형의 스크린이 대중화된다. 시간에 따라 변화하는 이미지를 보여주는 스크린. 역동적 스크린은 이미지와 관객 사이의 어떤 관계성, 말하자면 특정한 관람 통제를 들여온다. 스크린의 이미지는 완전한 환상과 시각적 충만함을 추구하는 한편, 관객은 의심하지 않고 이미지에 몰입하도록 한다.

그런데 이는 컴퓨터 화면의 도래로 위협을 받게 된다. 컴퓨터 화면은 하나의 이미지만을 보여주기보다 공존하는 여러 개의 창을 보여준다.  또 한편으로 VR에서는 스크린이 사라진다. 여기서는 실제의 물리적 공간과 가상의 시물레이션 공간이 일치된다. 전에는 그림이나 영화 스크린에 국한되었던 가상의 공간이 이제는 실제의 공간을 에워싸고 있는 것. 스크린이 사라진 것.

윈도 인터페이스와 VR이라는 두 가지 상황은 역동적 스크린의 역사적 시기를 특징지었던 관람 통제를 흔들어놓는다.

영화 스크린의 근원은 18, 19세기 매직 랜턴 쇼, 판타스 마고리아, 파노라마, 디오라마 등이다. 대중은 이런 것들로 인해 영화에 대한 준비가 되어 있었고, 영화가 드디어 출현했을 때 그것은 대단히 대중적인 사건이 되었다.

컴퓨터 화면은 전혀 다른 근원에서 시작되었다. 컴퓨터 스크린은 대중오락이 아닌 군사적 용도로 개발되었다. 현대 첩보기술은 사진으로 시작되었으나 사진은 첩보 비행에서 돌아오고 그들이 찍은 필름이 현상될 때까지 기다려야 하는 단점이 있었다. 그러나 레이더에서는 이미지가 순간적으로 만들어지므로 지연이 없다. 이러한 레이더의 효용성은 이미지 디스플레이의 새로운 수단이 된 새로운 유형의 스크린과 관련된다.

사진이나 영화 필름의 스크린이 과거의 사건만을 보여주는 반면, 컴퓨터 모니터는 이미지가 실시간으로 변화하여 지시 대상의 공간적 위치(레이더), 시각적 현실의 변형(라이브 비디오), 혹은 컴퓨터 메모리에서 변화하는 데이터(컴퓨터 스크린)와 같이 지시대상의 변화를 반영한다. 이는 제 3의 스크린으로 이전의 고전적 스크린, 역동적 스크린의 뒤를 잇는 ‘실시간의 스크린’이다.

1950년대 중반에 설립된 미국의 공중 방어체계를 통제하기 위한 지휘 센터인 반자동 지상 환경, SAGE(semi-Automatic Ground Environment)에서는 미국의 영공 주위에 있는 레이더 기지를 연결하고 그들의 신호를 분석하고 해석하며 유인 방어 제트기에 명령을 내려 침공하는 적을 향하도록 하는 임우를 수행했다 .여기서 공군 장교들은 레이더의 위치를 보여주는 각자의 컴퓨터 디스플레이를 모니터링했고, 움직이는 비행기를 나타내는 점을 발견하면 컴퓨터로 그 비행기르 ㄹ추적했다. 이를 위해서는 특별한 광펜(light pen)을 가지고 그 점을 건드리면 되었다. 이렇게 SAGE 체계는 현대적 인간-컴퓨터 간 인터페이스의 모든 주요한 요소를 다 갖추고 있었다. 1949년에 디자인된 광펜은 현대적 마우스의 전 단계이다. 더 중요한 점은 SAGE에서 스크린이 레이더와 텔레비전처럼, 실시간 정보를 디스플레이하는 데 사용되었을 뿐만 아니라 컴퓨터에 명력을 내리는 데도 사용되었다는 것이다. 스크린은 현실의 이미지를 디스플레이하는 수단으로서만이 아니라 현실에 영향을 끼치는 수단이 된 것이다. 그리고 VR에서는 이러한 스크린이 완전히 사라졌다.

The Screen and the Body

스크린의 계보는 전통적 유형>역동적 유형>실시간 유형>상호작용적 유형 이다.

이 유형은 두 가지 개념과 관계된다. 첫 번째는 시간성, 두 번째는 관객의 공간과 재현된 공간의 관계에 관한 것.

다른 측면, 스크린과 관객의 신체 사이의 관계라는 측면에서 스크린의 역사를 살펴보자.

르네상스 원근법에서부터 현대 영화까지, 케플러의 카메라 옵스큐라에서 19세기 카메라 루시다까지 신체는 고정되어 있어야 했다. 알베르티의 원근법적 창은 고정된 하나의 눈이 보는 세계를 보여준다. 카메라 옵스큐라가 만드는 이미지를 보기위해서는 어두운 방안에 있어야 한다. 초기의 사진은 노출시간이 길어서 살아있는 대상이 재현되기 위해서는 그 대상은 움직이지 말아야 했다.

19세기 말, 영화의 역동적 스크린은 사진 이미지의 고정된 세계를 깨뜨렸다. 영화 스크린은 관람객이 자리를 뜨지 않고도 다른 공간을 여행할 수 있도록 했다. 그러나 그들은 영화관이라는 대규모 감방 안에서 그들이 가상 여행을 떠나 있는 동안, 신체는 집단적 카메라 옵스큐라의 어둠 속에 움직이지 않고 남아 있어야 했다.

알베르티의 창, 뒤러의 원근법적 기계, 카메라 옵스큐라, 사진, 영화 이 모든 스크린 기반 장치들에서 주체는 움직일 수 없다. 

스크린 없는 재현장치인 VR의 시대에 이러한 전통은 어떻게 될 것인가? 관객은 가상 공간에서 움직임을 체험하기 위해서 실제로 물리적 공간으로 들어가야만 한다. 동시에, VR은 전례가 없을 정도로 신체를 감금한다. 이반 서덜랜드의 HMD는 천장에 선으로 매달려 있어 사용자들은 거기에 머리를 끼워 넣어야 했다. 사용자는 실제로 기계에 잡혀 있게 되었다.

요약하면, VR은 기계에 신체를 고정시킴으로써 관객의 부동성이라는 스크린의 전통을 유지하는 반면 동시에 관객에게 움직이도록 요구함으로써 전례 없는 새로운 상황을 만든다.

Representation versus Simulation

스크린의 틀이 다른 크기의 두 공간, 즉 물리 공간과 가상 공간을 분리시킨다는 것을 강조했다.

VR을 포함하는 대안적 전통은 재현된 것의 크기가 인간 세계의 크기와 같아서 두 공간이 연속적일 때 발견될 수 있다. 이것은 재현 전통이라기 보다 시뮬레이션의 전통이다. 시뮬레이션 전통은 가상 공간과 물리적 공간을 구분하기보다 둘을 합쳐놓는다. 프레스코, 모자이크 그리고 벽화는 건축물에서 분리될 수 없다. 19세기 밀랍 박물관, 자연사 디오라마 박물관 등도 이에 속한다. 이동가능한 회화는 재현의 전통을 따른다.

요약:

과거와 현재의 모든 문화가 HCI (Human-Computer Interface)를 통해 걸러져 나오고 있다. 이와 같이 컴퓨터를 통해 문화 데이터와 상호작용하는 방식을 문화 인터페이스라 하겠다. 문화 인터페이스는 HCI의 컨트롤(control)능력과 텍스트나 영화와 같은 전통적 문화 오브제의 재현(representation) 능력 사이의 길을 걸으며 독자적인 방식으로 문화를 담아낸다. 이러한 문화 인터페이스의 형식은 그 자체로 메시지를 전달하는 코드로서 작동한다.

III. The Operations

1장에서는 컴퓨터 데이터의 속성을 분석했고, 2장에서는 인간과 컴퓨터 간의 인터페이스를 살펴보았다. 여기 3장에서는 인터페이스의 상위에서 벌어지고 있는 기술의 단계, 즉 응용소프트웨어에 대해서 다루겠다. 소프트웨어에는 공통된 기술이나 명령어가 존재하는데, 이를 ‘오퍼레이션’이라고 부르겠다. 이 장에서는 오퍼레이션의 세 가지 예, 선택(selection), 합성(compositing), 그리고 ‘원격행위’(teleaction)’에 대해 논의할 것이다.

Menus, Filters, Plug-ins

The Logic of Selection

뉴미디어 오브젝트는 대게 이미 만들어진 부분들의 조립으로 이루어진다. 컴퓨터 문화에서 메뉴에서의 선택이 순수 창조를 대신하게 된 것이다. 3차원 모델과 텍스처 맵, 사운드, 배경 이미지, 버튼 필터 등.

전자예술은 그 시초에서부터 새로운 원칙, 즉 이미 존재하고 있는 신호의 변형에 기초하고 있었다. 최초의 전자 악기에서 사인 곡선을 변형시키는 것. 비디오 신디사이져 등.

“Postmodernism” and Photoshop

상업적으로 배포된 기존 미디어 요소들로부터 미디어 오브제를 구성하는 것은 과거의 미디어에서도 있는 일이었으나, 뉴미디어 기술은 그것을 더욱 표준화하고 더 수행하기 쉽게 만들었다.

플러그인 구조를 대중화한 포토숍 같은 미디어 조작 소프트웨어 등 ‘cut and paste’논리에 정통성을 부여한 GUI의 발달이 1980년대, 즉 ‘포스트모던’ 문화가 한창이던 그 10년 사이에 이루어진 것은 우연이 아니다. 나는 프레드릭 제임슨이 포스트모더니즘을 ‘문화에서의 새로운 형식의 출현을, 새로운 사회생활 유형이나 새로운 경제질서의 출현과 상호 연관시키는 기간 설정 개념’으로 사용한 것에 따라 이 용어를 쓰고 있다.

From Object to Signal

뉴미디어 오브제의 콘텐츠 일부로서 이미 만들어진 요소를 취하는 것은 ‘선택 논리’의 한 측면에 불과하다. 19세기와 20세기의 모든 전자 미디어 기술은 다양한 필터를 거치면서 신호를 변환하는 것을 기초로 한다. 어떤 재료에 영구적으로 남아 있는 것과는 대조적으로, 신호는 하나 또는 여러 개의 필터를 거치면서 실시간으로 변경될 수 있다. 선택된 요소들이 단순히 거의 기계적으로 결합되는 현대 GUI의 ‘cut and paste’ 은유와는 대조적으로, 전자 라이브 기술은 진정한 예술이 ‘혼합 mix’에 있다는 점을 입증해준다.

Compositing

From Image Streams to Modular Media

뉴미디어의 영역에서 사용되는 ‘디지털 합성 digital compositing’이라는 용어는 애프터 이펙트, 컴포지터, 시네온 같은 특별한 합성 소프트웨어를 이용해 여러 개의 동영상 이미지 시퀀스와 정지 이미지를 하나의 시퀀스로 묶어내는 과정을 지칭한다. 이와 달리, 완성된 객체가 배포 시점에도 모듈 구조를 유지하고 있을 수 있다. 예를 들어 컴퓨터 게임.

컴퓨터그래픽의 3차원적 구현은 2차원 이미지보다 ‘진보적’이다. 왜냐하면 전자의 경우 요소들이 진정한 독립성을 갖기 때문이다. 컴퓨터 문화의 궤도가 2차원 이미지에서 컴퓨터그래픽의 3차원으로 향해가고 있다는 전제하에서 디지털 합성은 역사적으로 이 두 가지 이미지의 중간 단계이다. 여러 개의 동영상 레이어로 이루어진 합성 공간은 물리적 공간을 찍은 하나의 장면보다 더 모듈적이다. 그러나 3차원 가상 공간만큼 모듈적이지 않다.

The Resistance to Montage

포스트모더니즘의 미학과 선택 오퍼레이션의 연관성은 합성에도 적용된다. 이 두 오퍼레이션은 혼성 모방과 인용이라는 포스트모던적 실행을 가능하게 하는 동시에 이를 반영하고 있다. 

1990년대의 합성은 매끄러움과 연속성으로 특징지어지는 새로운 미학을 지지한다. 옛 미디어가 몽타주에 기대었던 부분을 뉴미디어가 연속성의 미학으로 대체한다. 영화의 컷은 디지털 변형이나 디지털 합성으로 바뀌었다.

Archeology of Compositing: Cinema

영화 이전에 모사는 관찰자가 보는 실제 공간 안에 가짜 공간을 만드는 것에 불과했다. 영화는 서로 다른 물리적 장소의 이미지를 하나의 공간으로 합성하기 때문에 19세기의 파노라마, 디오라마 등에 비해 우월하다.

몽타주는 시간적 몽타주와, 쇼트 내의 몽타주 두 가지 기본 기술로 구분할 수 있다.

Archeology of Compositing: Video

2차 세계대전 이후, 이미지 기록과 편집은 점진적으로 필름 기반에서 전자식으로 바뀐다. 이러한 변화는 두 개의 다른 이미지 소스를 합성하는 ‘keying’이라는 새로운 기술의 발전을 가져왔다. 기상도 앞에 선 캐스터. 

고다르는 다음과 같이 썼다. “더 이상 단순한 이미지란 없다...... 모든 세계는 하나의 이미지가 감당하기에는 너무 버겁다. 우리는 여럿의, 즉 일련의 이미지를 필요로 한다.....” 고다르에게는 시간 몽타주와 쇼트 내의 몽타주, 두 가지를 모두 대체한 전자적 믹싱이 “모든 세계가 계속해서 들어가기도 하고 목도되기도 하는 모호하고 복잡한 체계”를 시각화하기에 적절한 기법이었다.

Digital Compositing

시뮬레이션 기술의 그 다음 세대는 디지털 합성이다. 두 개의 비디오 소스로부터 획득한 이미지를 키 기법으로 합쳐놓는 것이 아니라 이제는 수없이 많은 이미지 레이어를 합성할 수 있게 되었다.

디지털 합성은 시각적 속임수를 위한 이전의 기술과는 근본적으로 차이가 있다. 무대 제작, 원근법, 명암 대비, 트릭 사진 등은 설득력 있는 환영을 만들어내는 문제에 초점을 맞췄다. 영화 몽타주는 시간에 따른 서로 다른 이미지를 연결하는 새로운 패러다임을 도입했다. 시간적인 몽타주는 존재하지 않는 공간의 시각적 시뮬레이션을 위한 지배적인 패러다임이 되었다. 컴퓨터 시대에는 전혀 다른 패러다임이 지배한다. 이는 시간이 아닌 공간과 관련된다. 이를 존재하지 않는 공간을 믿게 할만한 하나의 이미지를 만드는 회화, 사진 등의 기술 발전의 다음 단계로 생각할 수도 있다. 그러나 문제는 더 이상 개체 이미지를 그럴듯하게 만드는 것이 아니라 그것들을 어떻게 모두 혼합하는가 하는 것이다.

Compositing and New Types of  Montage

전통적인 영화 몽타주가 쇼트 내에서의 몽타주보다 기술적으로 훨씬 더 쉬운 시간적 몽타주를 선호하는 데 반해, 합성은 이 두 가지를 동등하게 취급하고, 공간적 차원을 더 선호한다. 어도비 프리미어와 같은 편집 트로그램의 인터페이스에서 수평 차원은 시간을 의미하고 수직 차원은 레이어의 공간적 순서를 의미한다.

새로운 공간적 차원은 다음과 같이 정의될 수 있다. 합성물에서 레이어의 공간적인 순서. 합성으로 만들어진 가상 공간. 이미지 프레임과 관계된 레이어의 2차원적 움직임. 조정된 창 안에서의, 동영상과 링크된 정보 사이의 관계. 디지털 이미지는 더 이상 시청각적인 문화의 일부에 불과한 것이 아니라 시각-청각-공간적인 문화의 부분이 되었다.

Teleaction

Representation versus Communication

1890년 직후의 십년 간, 대부분의 다른 미디어 기술이 개발되어서 시각적 현실의 스틸 이미지 기록(사진), 소리의 기록(축음기), 이미지, 소리, 텍스트의 실시간 전송(전보, 텔레비전, 팩스, 전화 그리고 라디오) 등이 가능해졌다. 이러한 발명품 중 대중의 기억에 가장 강력하게 각인된 것은 영화였다. 우리는 현대 미디어가 실시간으로 통신하는 측면보다는 현실의 측면을 기록하고 그 기록을 사용해서 우리 감각을 시뮬레이션하는 능력에 더 감동을 받았다. 그 이유는 새로운 기록 기술이 새로운 예술의 개발로 이어진 반면 실시간 통신은 그러지 못했다는 데 있다.

현대 미디어 기술은 19세기에 시작된 이래 별개의 두 궤도를 따라 발전해왔다. 첫 번째 궤도는 필름, 오디오, 비디오 마그네틱테이프, 여러가지 디지털 저장장치와 같은 재현 기술의 발전 궤도이다. 두 번째 궤도는 실시간 통신 기술로서 원격(tele)로 시작되는 모든 것, 즉 전보, 전화, 텔렉스, 텔레비전, 원격현전 등이다. 이러한 만남에서 실시간 통신 기술은 재현의 기술에 종속된다.

1960년대 이래 일부 예술가들이 전통적으로 정의된 미적 오브제를 ‘과정’, ‘실천’, ‘개념’과 같은 다른 개념들로 대체하려고 시도했지만, 그 결과는 우리의 문화적 상상력이 전통적 개념에 강하게 사로잡혀 있음을 확인하는 데 그쳤다. 오브제라는 미적 객체의 개념, 즉 공간이나 시간 안에 갇힌 독립적인 구조라는 개념은 현대의 미학 사상에서 근본이 된다.

실시간의 그리고 비동시적인 원격통신 모두를 근본적인 문화 행위로 내세워, 인터넷은 우리에게 미적 오브젝트에 대한 패러다임 자체를 재고할 것을 요구하고 있다.

Telepresence: Illusion versus Action

나는 이 섹션에서 원격현전을 보다 좁은 의미, 즉 멀리서 보고 행동할 수 있는 능력이라는 의미에서 논의할 것이다.

디지털 합성은 패션, 메이크업, 리얼리즘적인 화화, 디오라마, 군사적 교란용 물체, VR 등이 가짜 현실을 구성하는 기술에 해당한다면, 원격현전은 행동할 수 있도록, 즉 관람객이 재현을 통해서 현실을 조작할 수 있도록 하는 재현 기술의 일례로 생각해 볼 수 있다.

원격현전은 가상현실이나 일반적 컴퓨터 시뮬레이션보다 훨씬 진보된 기술이다. 가상현실은 주체에게 시뮬레이션으로 만들어진 세계 안에 존재하는 듯한 환상을 제공하고 주체가 시뮬레이션으로 만들어진 세계를 적극적으로 변화시킬 수 있도록 한다. 원격현전은 주체가 시뮬레이션을 제어하는 것에 그치는 것이 아니라 원거리에서도 물리적인 현실 그 자체를 제어할 수 있도록 한다.

따라서 원격현전의 본질은 반존재(anti-presence)인 것이다. 현실에 영향을 주기 위해 물리적으로 그 장소에 존재할 필요가 없다. 아마도 원격행위 teleaction이라는 단어가 더 적절할 것이다.

Image-Instruments

서구에서는 시각적 재현의 역사를 환영이라는 측면에서 보는 데 익숙하기 때문에, 조종하기 위해서 이미지를 사용한다는 것은 매우 새로운 현상이라 할 수 있다.

Telecommunication

구식 이미지 도구와 원격현전 사이에는 두 가지 근본적인 차이점이 있다. 첫째, 원격현전은 비디오 이미지를 전자적으로 전송하기 때문에 즉각적, 실시간으로 재현이 이루어진다. 둘째, 원거리 시각 정보를 실시간으로 받을 수 있으므로 우리는 이 곳에서 실시간으로 물리적 현실을 조작할 수 있다.

원격행위에 쓰이는 이미지는 꼭 비디오이거나 현실적인 것일필요는 없다. 일정한 간격으로 전송되는 정지화면이나, 레이더의 점 만으로도 실시간 원거리 행동에 충분하다. 정작 중요한 것은 정보가 실시간으로 전송된다는 것이다.

실시간 원격행위가 가능하도록 해주는 기술은 전자 원격통신으로, 그것 자체가 19세기의 전기와 전자 현상의 발명에 의해 가능해진 것이다. 실시간 제어를 위해 사용되는 컴퓨터와 결합해서 전자 원격통신은 오브제와 그 신호 사이에 새롭고 전례가 없는 관계를 만들어낸다. 이는  오브제를 신호로 전환시키는 과정뿐 아니라 반대의 과정, 즉 이러한 신호를 통해 객체를 조종하는 과정도 즉각적으로 이루어지게 한다.

Distance and Aura

물리적인 원거리와의 실시간 소통이라는 보다 넓은 의미의 원격현전으로 되돌아가보자.

반세기 간격으로 쓰여진 두 개의 논문, 벤야민의 ‘기술복제시대의 예술작품’(1936)과 비릴리오의 ‘큰 광학’(1992)에서 둘은 새로운 의사소통 기술(벤야민은 영화, 비릴리오는 원격통신)에 의해 야기된 인간 지각의 친숙한 패턴의 혼란, 간단히 말하면 인간 본성에 대한 기술의 간섭에 초점을 맞춘다. 둘은 이 문제를 보는 사람과 보이는 것 사이의 공간적 거리와 자연을 동일시했으며, 기술은 이러한 거리를 없애는 것으로 보았다.

벤야민은 아우라를 ‘거리감이 만들어낸 독특한 현상’으로 정의한다. 그러나 거리에 대한 존중은 대략 복제, 특히 사진과 영화라는 신기술에 의해 전복된다.

비릴리오에 따르면 원격통신과 원격현전이 물리적 거리를 붕괴시켜서 우리의 익숙한 지각의 패턴을 없애버린다. 비릴리오는 ‘작은 광학 Small Optics’와 ‘큰 광학 Big Optics’라는 용어를 들여온다. 작은 광학은 인간의 시각, 회화, 영화에 공통되는 기하학적 관점에 기반하고 있다. 큰 광학은 정보의 실시간 전자 전송, 즉 “빛의 속도로 지나가는 시간의 역동적 광학”이다.

벤야민과 비릴리오에 의하면 시각에 의해 보장받는 거리는 대상의 아우라, 즉 세계에서의 위치를 보존하는 반면 ‘더 가까이 물체를 가려오려’는 욕망은 대상 간의 상호 관계를 파괴하여 궁극적으로 물질적 질서를 없애버릴 뿐만 아니라 거리와 공간 개념을 의미 없게 만든다.

과거 재현 기술과는 대조적으로, 실시간 이미지 도구는 우리가 멀리 있는 물체를 만질 수 있게 해주고 그에 따라 쉽게 파괴할 수도 있게 해준다. 시각의 잠재적 공격성은 전자적으로 가능해진 촉각이 지닌 현실적 공격성에 비하면 아무 것도 아니다.

요약:

소프트웨어를 다루는 기술이나 명령어를 '오퍼레이션'이라 부르겠다. 오퍼레이션의 세 가지 예, 선택 selection, 합성 compositing, 원격 행위 teleaction에 대해 논의할 것이다.

Selection: 기존 미디어 요소들로부터 미디어 오브제를 구성하는 것은 과거의 미디어에서도 있는 일이었으나, 뉴미디어 기술은 그것을 더욱 쉽게 그리고, 가변적으로 만들었다.

Compositing: 디지털 합성은 이전의 기술과 달리, 하나의 개체 이미지를 그럴듯하게 만드는 것이 아니라 그것들을 어떻게 모두 혼합하는가 하는 것이 관건이다.

Teleaction: 원격현전은 주체가 시뮬레이션을 제어하는 것에 그치는 것이 아니라 원거리에서 물리적인 현실 그 자체를 제어할 수 있도록 한다.