뉴미디어의 언어 The Language of New Media

The Language of New Media 뉴미디어의 언어

Lev Manovich 레프 마노비치

Prologue: Vertov’s Dataset

Introduction

A Personal Chronology

Theory of the Present

Mapping New Media: the Method

Mapping New Media: Organization

The Terms: Language, Object, Representation

I. What is New Media?

Principles of New Media

1. Numerical Representation

2. Modularity

3. Automation

4. Variability

5. Transcoding

What New Media is Not

Cinema as New Media

The Myth of the Digital

The Myth of Interactivity

II. The Interface

The Language of Cultural Interfaces

Cultural Interfaces

Printed Word

Cinema

HCI: Representation versus Control

The Screen and the User

A Screen's Genealogy

The Screen and the Body

Representation versus Simulation

III. The Operations

Menus, Filters, Plug-ins

The Logic of Selection

“Postmodernism” and Photoshop

From Object to Signal

Compositing

From Image Streams to Modular Media

The Resistance to Montage

Archeology of Compositing: Cinema

Archeology of Compositing: Video

Digital Compositing

Compositing and New Types of  Montage\

Teleaction

Representation versus Communication

Telepresence: Illusion versus Action

Image-Instruments

Telecommunication

Distance and Aura

IV. The Illusions

Synthetic Realism and its Discontents

Technology and Style in Cinema

Technology and Style in Computer Animation

The icons of mimesis

Synthetic Image and its Subject

Georges Méliès, the father of computer graphics

Jurassic Park and Socialist Realism

Illusion, Narrative and Interactivity

V. The Forms

Database

The Database Logic

Data and Algorithm

Database and Narrative

Paradigm and Syntagm

A Database Complex

Database Cinema: Greenaway and Vertov

Navigable space

Doom and Myst

Computer Space

The Poetics of Navigation

The Navigator and the Explorer

Kino-Eye and Simulators

EVE and Place

VI. What is Cinema?

Digital Cinema and the History of a Moving Image

Cinema, the Art of the Index

A Brief Archeology of Moving Pictures

From Animation to Cinema

Cinema Redefined

From Kino-Eye to Kino-Brush

New Language of Cinema

Cinematic and Graphic: Cinegratography

New Temporality: Loop as a Narrative Engine

Spatial Montage

Cinema as an Information Space

Cinema as a Code

Prologue: Vertov’s Dataset

러시아 감독 지가 베르토프의 아방가르드 걸작 <카메라를 든 사나이 Man with a Movie>로 뉴미디어의 언어에 대한 안내서를 시작하겠다.

1. 영화적 방식으로 세계를 보는 것, 시간의 구조화, 이야기의 서사화, 하나의 경험을 다음 경험과 연결하는 것은 컴퓨터 사용자가 모든 문화적 데이터에 접속하고 상호작용하는 기본 방식으로 확장되었다. 영화와 달리 컴퓨터 사용자는 인터페이스의 언어를 말할 수 있다는 차이가 있다.
2. 가상 카메라 컨트롤을 게임기 하드웨어 안에 넣은 것은 역사적인 사건이다. 이는 1920년대 카메라의 휴대성을 활용해 비전통적인 시각을 핵심으로 삼았던 “The New Vision” 운동으로의 회귀를 말해주는 것 같다.
3. 편집 또는 몽타주는 허구적 현실을 만들어내는 20세기의 주요한 기술이다. 이는 시간적(temporal) 몽타주와 공간적(spatial) 몽타주로 구분할 수 있다. (공간적 몽타주란 용어는 이 책에서는 안 쓰지만 같은 근래에 이와 같은 용어로 구분하고 있음 - Y)
4. 몽타주를 통해서 영화는 현실 지시적인 성격을 극복할 수 있다.
5. 몽타주에서 각각의 요소들이 흔적없이 매끈하게 이어붙을 필요는 없다. 하나의 우주를 형성하기 보다는 의미적으로 충돌하는 다른 세계를 유지할 수도 있다.
6. 카메라는 이동성 때문에 어디에나 갈 수 있고 초인간적 시각으로 어떤 객체의 클로즈업도 얻을 수 있다.사진이 잡지나 뉴스 필름에 함께 모여지면 대상의 크기나 특정한 장소는 무시되고 그에 따라 사물의 보편적 평등이라는 대중사회의 요구에 부응하게 된다.
7. 이전에는 서로 다른 물리적 장소들이 하나의 잡지면이나 뉴스필름 위에 함께 모였지만 지금은 하나의 전자 스크린 안에 모인다.
8. 그것은 누구의 시각인가? 그것은 컴퓨터 그래픽으로 증강되고 노이즈가 제거될 미래 인간의 시각에 대한 사실적 재현이다. 컴퓨터 합성 이미지는 우리 현실의 열등한 재현이 아니라 다른 현실의 사실적 재현이다.
9. 베르토프는 ‘데이터베이스 영화작가’로 생각될 수 있다. 그의 <카메라를 든 사나이>는 아마 현대 미디어 예술에서 데이터베이스 상상력에 관한 가장 중요한 예가 될 것이다.
10. 뉴미디어 오브제가 위계적 단계을 갖고 있는 것처럼(인터페이스-콘텐츠, 작동 시스템-어플리케이션 등) 베르토프의 영화는 적어도 3 단계로 구성되어 있다. 첫째, 촬영하는 카메라맨의 이야기. 둘째, 영화를 보는 영화관의 관객을 찍은 장면. 셋째, 이 영화 자체. 만약 이 세 번째 단계가 텍스트라면 다른 두 단계는 메타텍스트로 생각될 수 있다.
11. <카메라를 든 사나이>는 잘 정의된 언어는 전혀 제시하지 않고, 길들여지지 않은 테크닉을 새로운 영화적 말하기 방식으로 제안한다.
12. 이것이 베르토프의 영화가 뉴미디어에 특별한 연관성을 갖는 이유이다. 베르토프의 영화 효과가 특별한 것은 그가 ‘카메라의 눈’이라고 부르는 이미지를 만들거나 조작하는 데 사용되는 새로운 기술들이 세계의 암호를 해독(decode)하기 위해 사용될 수 있다는 주장을 위해 쓰이기 때문이다. 베르토프의 손에서 일반적으로 정적이고 ‘객관적인’ 형식으로서의 데이터베이스가 역동적이고 주관적인 것으로 변한다.
13. (이해 안 됨 - Y)
14. 베르토프는 그가 인간 시각의 한계라고 생각했던 것을 극복하기 위한 다양한 방식을 체계적으로 시도했다. 카메라를 빌딩의 꼭대기, 움직이는 자동차에 매달았으며, 필름 속도를 느리게 하기도 했고 빠르게 하기도 했다. <카메라를 든 사나이>는 단지 1920년대의 도시생활에 대한 데이터베이스, 영화 테크닉의 데이터베이스, 시각적 인식론의 새로운 작동에 대한 데이터베이스일 뿐만 아니라, 물리적 공간을 따라다니는 단순한 인간 내비게이션을 넘어서는 것을 목적으로 하는 새로운 인터페이스 작동의 데이터베이스이기도 하다.
15. 아방가르드의 미적 전략은 컴퓨터 소프트웨어의 명령과 인터페이스 메타포에 담겨지게 된다. 요컨대, 아방가르드는 컴퓨터에서 구체적으로 형태화 된 것. 아방가르드의 콜라주 전략은 cut and paste라는 디지털 데이터가 수행할 수 있는 가장 기본적인 명령어로 다시 나타났다.
16.  <카메라를 든 사나이>의 한 장면에서 자동차 뒤에 탄 카메라맨이 차가 앞으로 움직이자 카메라의 핸들을 돌리는데, 이 원형의 움직임이 만들어내는 루프가 사건의 진행을 야기한다.
17. 루프는 영화만 아니라 컴퓨터 프로그램도 탄생시켰다. 컴퓨터 프로그래밍에서도 'if/then', 'repeat/while'과 같은 제어구조를 통해 데이터의 선형적 진행을 변경하는 것을 포함하는데 이러한 제어구조 중에서도 루프는 가장 기본적인 것.
18. 공간적인 몽타주는 전통적 영화가 가지고 있는 시간적인 몽타주에 대한 대안을 제시한다. 마찬가지의 원리가 컴퓨터 프로그래밍을 가능케 했다.
19. 제록스 팍의 GUI가 다중 윈도우를 사용하듯, 다음 세대 영화도 다중 윈도우를 사용하게 될 것이라 믿는다.
20. 만일  HCI가 컴퓨터 데이터의 인터페이스이고 책은 텍스트의 인터페이스라면, 영화는 3D공간에서 펼쳐지는 사건의 인터페이스로 생각할 수 있다. 영화가 현실의 이미지를 직사각형 틀안에 넣는 방식과 컴퓨터 인터페이스에 복합적 요소를 채워넣는 것을 연관시키는 것은 무리한 비약이 아니다.

요약:

아방가르드의 영화의 말하기 전략(몽타주, 루프 등)이 뉴미디어의 언어로 다시 나타났다는 것을 베르토프의 영화를 예로 들어서 설명.

*여기서 말하는 데이터베이스는. 베르토프의 영화 자체를, 뉴미디어의 언어의 사용 방식에 대한 방법에 대한 정보로서, 데이터베이스라 이야기하는 것 같다.

Introduction

A Personal Chronology

1975년 모스크바, 나의 꿈은 화가였지만, 수학 고등학교에 진학했다. 프로그래밍 수업이 있었고 2년 동안 공책에 쓰면서 프로그래밍을 했다. 같은 해, 건축학교에 진학하기 위해 데생수업도 받았다.

1985년 뉴욕, 3D 컴퓨터 애니메이션을 만드는 회사의 책상에 앉아있다. 나는 내 첫 이미지 작업을 시작했고, 원근법에 따라 그리는 연습을 뭐하러 수년 간 했나하고 생각했다. 컴퓨터는 몇 초만에 끝내버리는데. 내가 만든 이미지가 뉴욕의 컴퓨터 전람회에 출품되었다. 당시 미술시장은 뜨겁게 달아올라 있었지만 컴퓨터 예술에 대해서는 아무도 관심을 갖지 않았다.

1995년 린츠, 이 해에 Ars Electronica에서는 Computer Graphics 분야가 없어지고, Net Art부분이 생겼는데 이는 현대 문화와 미디어 발전의 새로운 국면을 알리는 것이었다. 컴퓨터가 단지 무엇을 만들어내는 데만 사용되는 것이 아니라 그것을 저장하고 배포하는 데도 사용되기에 이르렀다는 것. 1990년 무렵 ‘디지털 미디어’라는 용어가 언어 수준에서 인지되기 시작.

1995년 소비주의가 확산되고 세계화가 나타났다. 그리고 세계화의 가장 가시적 구현이라 할 수 있는 인터넷이 도래했다. 문화가 e-문화로, 컴퓨터가 보편적인 문화 전달도구로, 미디어가 뉴미디어로 급격히 전환되면서 사회구조의 범주와 모델을 재정의할 필요가 있게 된다.

Theory of the Present

나는 1985년이나 1897년 혹은 1904년 즈음에 누군가 영화라는 새로운 미디어의 근본적 중요성을 깨닫고 그에 관한 체계적인 기록들을 남겨 놓았기를 바랐지만 그런 것은 없다.

오늘날 우리는 디지털 컴퓨터의 메타 미디어라는 새로운 미디어의 출현을 목격하고 있고 이 혁명의 중요성을 충분히 인식하고 있다. 그런데 이 시대의 텍스트들은 현재의 이론이나 기록보다는 미래에 대한 추정을 주로 하고 있다. 왜 이론가들이 컴퓨터의 기호학적 코드, 말걸기 방식의 모델, 관객의 수용 양상들에 대해서 설명하지 않는가. 아직 일관된 언어로 고착되지 않은 상태에서 과거 문화 형식의 요소들이 분명하게 관찰되고 인식될 수 있을 때 컴퓨터 언어의 가계도가 작성되지 않는가.

영화이론가들이 영화가 출현했던 초기 10년 동안의 영화언어 발달을 추적해왔듯이, 뉴미디어 언어의 발전을 이끈 일련의 과정을 설명하고 이해하여야 한다.(이 책에서 ‘언어’란 포괄적인 의미에서 데이터를 조작하고 사용자의 경험을 구성하기 위해 뉴미디어 오브제들을 만들어내는 디자이너들이 사용하는 다양한 장치들을 가리킨다.)

이 책에서 나는 컴퓨터 미디어가 등장해서 그 특성이 모호함으로 미그러지기 전의, 초기 10년 동안의 뉴미디어에 대한 ‘연구 패러다임’을 기록하고자 한다.

Mapping New Media: the Method

나는 뉴미디어의 언어를 근대 시각매체 문화의 역사적 맥락 안에서 분석할 것이다. 뉴미디어가 과거의 문화적 형식이나 언어들에 어떻게 의존하고 과거의 전통과 어떻게 단절되는가? 어떻게 현실의 환영을 만들어내는가? 와 같은 질문에 답하기 위해 웹사이트, 가상 세계, 가상 현실, 멀티미디어, 컴퓨터게임, 인터랙티브 설치작품, 컴퓨터 애니메이션, 디지털 비디오, 영화, HCI 같은 뉴미디어의 영역들을 살펴볼 것이다.

문화의 컴퓨터화는 컴퓨터게임과 가상 세계와 같은 새로운 문화적 형식을 만들 뿐 아니라 사진이나 영화 같은 기존의 문화적 형식들도 재규정한다. 따라서 컴퓨터 혁명이 시각문화에 끼친 영향도 살펴볼 것이다. 컴퓨터를 기반으로 한 미디어로의 전환이 어떻게 이미지와 동영상의 본성을 재규정했는가? 미학적 가능성은? 이 질문에 답하기 위해, 미술, 사진, 비디오, 텔레커뮤니케이션, 디자인, 영화의 역사를 그려보았다. 특히 영화이론과 영화사는 내가 뉴미디어를 바라보는 데 중요하고 핵심적인 개념적 렌즈가 되었다. 따라서 다음의 주제를 하나하나 짚어 볼 것이다.

-영화사와 뉴미디어사의 유사점-디지털 영화의 정체성
-멀티미디어의 언어와 19세기 영화 이전 단계의 문화 형식 사이의 관계
-영화와 비교했을 때, 뉴미디어에서 나타나는 스크린, 이동 카메라, 몽타주의 기능
-뉴미디어와 아방가르드 영화를 잇는 역사적 연결점

영화이론과 함께, 이 책은 예술사, 문학이론, 미디어 연구, 사회이론 등의 인문학과 함께 컴퓨터공학으로부터 이론적 도구들을 취한다. 이 같은 종합적 방법을 ‘디지털 유물론’이라 부를 수 있을 것이다. 나는 물적 토대로부터 뉴미디어 이론을 만들어가는 방법을 택할 것이다.

Mapping New Media: Organization

문학 이론서가 네러티브와 화법에 대한 챕터를 갖고 있고, 영화연구서가 촬영과 편집에 관해 이야기하듯이 뉴미디어 이론도 인터페이스나 오퍼레이션과 같은 카테로리를 재정의하고 정교화해야 한다.

이 책은 뉴미디어의 물적 토대에서 그 형식으로 나아가는 과정을 따른다. 바이너리 코드에서 컴퓨터 프로그램으로 나아가고, 다음에는 이러한 프로그램들에 의해 작동되는 뉴미디어 오브제의 논리로 옮겨갈 것이다.

I. What is New Media?: 디지털 미디어 자체, 그것의 물질과 논리의 조직.
II. The Interface: 인간-컴퓨터 인터페이스, 운영체제.
III. The Operations: 운영체제의 맨 위에 있는 소프트웨어 어플리케이션, 그것의 인터페이스와 작동 원리.
IV. The Illusions: 외형, 그리고 어플리케이션에 의해 만들어진 디지털 이미지의 새로운 논리.
V. The Forms: 뉴미디어 오브제를 전체적으로 조직하기 위해 일반적으로 사용되는 방법.

그리고 마지막 장 VI. What is Cinema?는 책의 서두를 반영한다. 1장에서 뉴미디어의 일반적인 특징들을 영화에서 발견할 수 있다는 점을 지적하고, 이어지는 장들은 계속해서 뉴미디어를 분석하는 수단으로서 영화사와 영화이론을 거론한다. 앞서 뉴미디어의 다른 층위들 즉 인터페이스, 오퍼레이션, 환영 등에 대해 다루고 마지막 장에서는 반대로 컴퓨터화가 어떻게 영화에 변화를 가져왔는지 살펴 볼 것.

요약:
뉴미디어의 언어, 즉 뉴미디어가 만들어지고 사용되는 방식에 대한 연구를 하겠다. 이를 근대 시각매체 문화의 역사적 맥락 안에서 분석하는데 특히 영화이론을 중심으로.

I. What is New Media?뉴미디어란 무엇인가? 

통상적으로 뉴미디어는 제작보다는 배포와 전시를 위해 컴퓨터를 사용하는 것으로 이해된다. 컴퓨터 상에서 보는 사진은 뉴미디어로 이해되지만 같은 사진이 책에 수록되어 있으면 뉴미디어가 아니라고 생각한다. 이런 식의 정의는 너무 제한적이다.

컴퓨터는 14세기 인쇄 활자나, 19시게의 사진 기술이 당대의 사회와 문화에 가져온 혁명적인 충격보다 훨씬 심오한 변화를 가져왔다. 컴퓨터는 입수(acquisition), 조작, 저장 그리고 배포를 포함하는 의사소통의 모든 단계뿐만 아니라 텍스트, 스틸 이미지, 동영상, 사운드 그리고 공간 구성에 이르는 모든 유형의 미디어에 영향을 미치고 있다.

How Media Become New어떻게 미디어는 뉴미디어가 되었나

뉴미디어는, 별도로 진행된 두 개의 역사적 궤도, 즉 계산 기술과 미디어 기술 발달의 궤도가 하나로 합쳐진 것이다. 이는 모두 1830년대에 시작되었으며, 그 시초는 배비지(Charles Babbage, 1792~1871)의 자료 입출력, 기억, 계산 등을 자동적으로 처리하는 계산기의 원형인 해석기관(analytic engine)과 다게르(Louis Jacques Mand Daguerre, 1787~1851)의 다게레오타입이라는 독자적인 사진 기술이었다.

20세기 중반에 이르러, 현대적 의미의 디지털 컴퓨터가 개발되어 숫자로 된 자료에 대한 계산을 보다 효율적으로 수행하게 되었다. 이와 평행적으로 우리는 사진 원판이나 필름, 레코더 같은 것에 이미지, 연속된 이미지, 사운드, 텍스트 등을 저장할 수 있도록 하는 현대적 미디어 기술의 발전을 목격하게 된다.

이 두 역사적 과정의 종합은 무엇일까? 그것은 바로 존재하는 모든 미디어를 컴퓨터에서 처리할 수 있도록 숫자화된 자료로 전환하는 것이다. 그 결과로 컴퓨터로 처리할 수 있는 그래픽, 동영상, 사운드, 형태, 공간 그리고 텍스트 등으로 구성된 뉴미디어가 나타났다. 다시 말해서 그것들은 컴퓨터에 저장된 또 하나의 데이터가 된 것이다.

Principles of New Media

미디어와 뉴미디어의 핵심적인 차이를 요약하겠다. 그러나 모든 뉴미디어 오브제가 이 원리들을 따르는 것은 아니다. 이는 절대적 법칙이라기보다는 컴퓨터화의 과정을 거치고 있는 문화의 일반적인 경향으로 생각되어야 할 것이다.

1. Numerical Representation

모든 뉴미디어 오브제는 수적으로 재현된다. 이로써 두 가지 핵심적인 결론이 나온다.

첫째, 뉴미디어 오브제는 형식적(수학적)으로 기술될 수 있다. 둘째, 뉴미디어 오브제는 연산에 의해 조작될 수 있다.

연속적인 데이터를 수적으로 전환하는 것을 디지털화라고 하는데, 디지털화는 샘플링과 수량화, 두 가지 단계로 구성된다. 디지털 이미지를 재현하는 데 쓰이는 화소 단위와 같은 일정한 샘플로 추출하고, 샘플링된 데이터를 0~255 사이의 수치와 같이 수량화 한다.

2. Modularity

이미지, 음향, 형태 또는 움직임이라는 미디어 요소들은 화소, 폴리곤, 복셀, 문자, 스크립트 등과 같은 불연속적인 샘플들의 집합으로써 재현된다.

오브제 그 자체는 독립성을 잃지 않고 더 큰 오브제로 조합될 수 있다. 예를 들어 영화는 개별적으로 저장되었다가 다른 스틸 이미지와 음향들로 함께 합쳐질 수 있다. HTML 문서의 구조도 모듈성의 한 예이다. 텍스트를 제외하면, 이것은 이미지들, 미디어 클립, 플레쉬 등과 같은 개별적인 오브제들오 이루어져 있다.

3. Automation

미디어의 수적 부호화(원리 1)와 모듈성(원리 2)은 미디어를 만들고, 조작하고, 접근하는 등의 많은 오퍼레이션을 자동화했다. 따라서 인간의 의도는 적어도 부분적으로 이런 창조과정에서 없어질 수 있다.

템플릿 또는 간단한 알고리즘을 사용해서 미디어 오브제를 수정하거나 새로 만들어내는 것은 ‘낮은 단계’의 자동화.  AI는 ‘높은 단계’의 자동화라 할 수 있는데, 컴퓨터가 사용자에게 자신을 움직이고 말하는 캐릭터로 보여주는 인간-컴퓨터 인터페이스 , 컴퓨터 게임의 ‘AI 엔진’  등의 예가 있다. 

미디어 제작의 자동화와 함께, 미디어 접근의 자동화도 있다. 기업의 미디어 자산이나 웹의 공공 미지어 자신을 저장하고 접근하는 수단으로서 컴퓨터가 이용되면서 미디어 오브제를 분류하고 찾는 데 효과적인 방법이 필요. 이에 대응해서 적절한 정보를 자동적으로 검색하도록 설계된 소프트웨어인 ‘agents’라는 개념이 생겨났다.

현대사회는 19세기부터 미디어 제작을 자동화하는 기술로서 사진 카메라, 영화 카메라, 테이프 레코더, 비디오 레코더 등을 개발했다. 이 기술과 함께 150년을 지나는 동안 전례 없는 양의 미디어 자료들이 축적되었다. 이에 따라 미디어 혁명의 다음 단계, 즉 이러한 자료를 저장하고 정리하고 효과적으로 접근하는 새로운 기술이 요구되는 단계에 이르게 되었다.

4. Variability

뉴미디어 오브제는 하나로 고정된 것이 아니라, 무한한 버전으로 존재할 수 있다. 이는 미디어의 수적 부호화(원리 1)와 모듈 구조(원리 2)에 따른 또 다른 결과이다. 옛 미디어는 특정 재로 안에 저장되는 순서가 결정되면 영원히 지속되었다. 복사본들이 원본으로부터 만들어질 수 있었지만 그것은 원본과 동일하다. 반대로 뉴미디어는 가변성을 특징으로 한다. 동일한 복사본 대신 많은 다른 버전을 발생시킨다.

5. Transcoding

뉴미디어는 문화적 층위와 컴퓨터 층위로 이루어져 있다고 볼 수 있다. 문화적 층위에 속하는 범주로는 백과사전과 소설, 이야기와 줄거리, 구성과 관점, 모방과 카타르시스, 희극과 비극 등이 있다. 컴퓨터 층위에 속하는 범주로는 프로세스와, 네트워크를 통해 전송되는 데이터 패킷과 같은 패킷, 분류와 짝짓기, 함수와 변수, 컴퓨터 언어와 데이터 구조를 들 수 있다 

뉴미디어는 컴퓨터에서 생산되어 컴퓨터를 통해 유포되고, 컴퓨터상에 저장되고 보관되므로, 컴퓨터의 논리가 미디어의 전통적인 문화적 논리에 상당한 영향을 미칠 것임을 짐작할 수 있다. 즉 컴퓨터의 층위과 문화적 층위에 영향을 미친다는 것이다. 컴퓨터의 존재론, 인식론 그리고 화용론이라고 할 수 있는 것들은 뉴미디어와 그 구성, 새로운 장르, 내용 등의 문화적 층위에 영향을 미친다.

만약, 컴퓨터로부터 문화 전반으로 개념적 이동이 이루어지고 있고, 미디어가 컴퓨터 데이터로서 새로운 지위를 확보한 것이라면, 이를 이해하기 위해서 어떤 이론적 틀을 사용해야 할까? 한 가지 차원에서 뉴미디어는 디지털화된 옛 미디어이며, 따라서 뉴미디어를 미디어 연구의 관점에서 살펴볼 수 있으며, 인쇄, 사진 또는 텔레비전 등의 옛 미디어와 비교해볼 수 있을 것이며, 각 미디어의 물질적 특성에서 유사점과 차이점, 그리고 이들이 어떻게 미적 가능성에 영향을 미치는지를 따져볼 수 있을 것이다. 그러나 그것만으로는 충분치 않다. 그것은 뉴미디어의 가장 근본적인, 그리고 역사적 선례가 없는 특성인 프로그램화 가능성을 다루지는 못하기 때문이다. 뉴미디어가 미디어처럼 보일 수 있지만, 이는 단지 표면적일 뿐이다. 컴퓨터가 완벽하게 자카드 직조기와 같은 역할을 수행하고 있을지는 모르지만, 실제로 컴퓨터는 배비지의 해석기관인 것이다.

뉴미디어는 1950년대 해럴드 이니스와 1960년대 마셜 맥루한의 혁신적 작업을 그 기점으로 하는 미디어 이론에서 새로운 단계로 올라서야 한다. 뉴미디어의 논리를 이해하기 위해서, 컴퓨터과학으로 돌아갈 필요가 있다. 거기에서야말로 프로그램화가 가능해진 미디어를 특징짓는 새로운 용어, 범주 그리고 운용 방식을 찾아낼 수 있을 것이다. 우리는 미디어 연구에서 소프트웨어 이론으로 옮겨갈 것이다.

What New Media is Not뉴미디어가 아닌 것

옛 미디어와 뉴미디어의 차이 중 나는 언급하지 않았지만, 제기될 수 있는 다음의 속성에 대해 이야기해보겠다.

1. 뉴미디어는 아날로그 미디어가 디지털로 전환된 것이다. 연속적인 아날로그 미디어와는 대조적으로, 디지털 방식으로 기호화된 미디어는 분절적이다.

2. 모든 디지털 미디어는 동일한 디지털 코드로 되어 있다. 이 때문에 서로 다른 미디어 유형이 멀티미디어 디스플레이 도구인 컴퓨터라는 하나의 기계에서 디스플레이될 수 있다.

3. 뉴미디어는 무작위적 접근을 가능하게 한다. 데이터를 순차적으로 저장하는 필름이나 비디오테이프와는 대조적으로 컴퓨터의 저장장치는 어떤 데이터 요소도 동시적으로 접속할 수 있게 한다.

4. 디지털화는 불가피하게 정보 손실을 가져온다. 아날로그 구현과는 대조적으로 디지털식으로 코드화된 구현은 유한한 양의 정보만을 담는다.

5. 계속된 복사로 질이 손상되는 아날로그 미디어와는 대조적으로, 디지털식으로 코드화된 미디어는 훼손 없이 무한하게 복사될 수 있다.

6. 뉴미디어는 상호작용적이다. 보이는 순서가 고정되어 있는 과거의 미디어와는 대조적으로, 사용자는 미디어 객체와 상호작용할 수 있다. 상호작용의 과정에서, 사용자는 어떤 요소를 디스플레이할지, 그리고 어떤 경로를 따라가야 할지를 선택할 수 있으며, 그래서 고유한 작품을 만들어낼 수 있다. 이러한 방식을 통해 사용자는 작품의 공동작가가 된다.

Cinema as New Media

만일 우리가 역사적 관점에서 뉴미디어를 바라본다면, 위에서 언급한 많은 원칙들이 과거의 미디어 기술에도 역시 유효함을 알게 될 것이다.

1. 뉴미디어는 아날로그 미디어가 디지털로 전환된 것이다. 연속적인 아날로그 미디어와는 대조적으로, 디지털 방식으로 기호화된 미디어는 분절적이다.

영화는 이미 시간을 1초당 24프레임으로 샘플 추출한 것이다. 영화는 시간을 샘플 추출했지만, 1907년부터 시작된 이미지의 팩스 송신은 2차원 공간을 샘플로 추출했다.

2. 모든 디지털 미디어는 동일한 디지털 코드로 되어 있다. 이 때문에 서로 다른 미디어 유형이 멀티미디어 디스플레이 도구인 컴퓨터라는 하나의 기계에서 디스플레이될 수 있다.

동영상 이미지, 사운드, 텍스트가 결합된 영화. 텍스트, 그래픽 그리고 재현 이미지를 혼합했던 중세의 필사본은 이미지 ‘멀티미디어’였다.

3. 뉴미디어는 무작위적 접근을 가능하게 한다. 데이터를 순차적으로 저장하는 필름이나 비디오테이프와는 대조적으로 컴퓨터의 저장장치는 어떤 데이터 요소도 동시적으로 접속할 수 있게 한다.

영화 편집자들은 시간을 조작하고 재배열했다.

The Myth of the Digital

영화는 이미 불연속적인 재현, 무작위적 접근, 멀티미디어와 같은 원리들을 수용하고 있었다. 그래서 이러한 원리들은 뉴미디어를 과거 미디어와 구별할 때 그다지 도움이 되지 않는다. 디지털 재현이라는 발상은 어떨까? 이는 서로 관계없는 듯이 보이는 개념들, 즉 디지털화, 공통 재현 코드, 수적 재현을 포괄해서 사용하기 때문이다. 뉴미디어의 어떤 특징이 디지털적 위상에서 비롯된다고 주장하려면, 이 세가지 개념 가운데 어떤 개념이 적용되는지를 구체적으로 언급해야 한다. 예를 들어, 서로 다른 미디어들이 하나의 단일한 파일로 통합될 수 있는 것은 공통적인 재현 코드를 사용하기 때문이지만, 질적 손상없이 복제할 수 있는 것은 수적 재현 때문에 가능한 것이다. 그래서 나는 이 책에서 디지털이라는 단어의 사용을 피하려고 노력했다.

4. 디지털화는 불가피하게 정보 손실을 가져온다. 아날로그 구현과는 대조적으로 디지털식으로 코드화된 구현은 유한한 양의 정보만을 담는다.

1990년대 말쯤 대중적 스캐너는 1인치당 1,200픽셀이나 2,400 픽셀의 해상도로 이미지를 스캔했다. 디지털로 저장된 이미지는 한정된 픽셀로 구성되어 있지만, 그 정도의 해상도에서는 전통적인 사진보다 훨씬 자세하게 표현할 수 있었다. 이는 연속적인 톤의 사진에서의 무한한 양의 정보와 디지털 이미지에서의 한정된 양의 정보 사이이의 차이를 무의미화시킨다. 

5. 계속된 복사로 질이 손상되는 아날로그 미디어와는 대조적으로, 디지털식으로 코드화된 미디어는 훼손 없이 무한하게 복사될 수 있다.

원칙적으로 이 말은 참이다. 그러나 현실적으로는 복사가 거듭됨에 따라 전통적 사진의 복사본보다 디지털 이미지의 복사본에서 더 많은 훼손과 정보 손실이 일어난다. 하나의 디지털 이미지는 수백만 화소로 이루어져 있다. 이러한 데이터들은 막대한 저장공간을 필요로 하고 네트워크에서 전송하는 경우에도 텍스트 파일에 비해 훨씬 많은 시간이 걸린다. 그래서 디지털 이미지 불러오기, 저장, 조작, 존소엥 사용되는 소프트웨어와 하드웨어는 정보 손실을 감수하는 압축 기술을 쓴다. 컴퓨터 기술이 이론적으로는 흠집 없는 데이터 복제를 의미하지만 실제 사용에서는 데이터 손실, 훼손, 잡티가 따를 수밖에 없다.

The Myth of Interactivity

6. 뉴미디어는 상호작용적이다. 보이는 순서가 고정되어 있는 과거의 미디어와는 대조적으로, 사용자는 미디어 객체와 상호작용할 수 있다. 상호작용의 과정에서, 사용자는 어떤 요소를 디스플레이할지, 그리고 어떤 경로를 따라가야 할지를 선택할 수 있으며, 그래서 고유한 작품을 만들어낼 수 있다. 이러한 방식을 통해 사용자는 작품의 공동작가가 된다.

컴퓨터를 기반으로 하는 미디어에 관해서라면 상호작용적이라는 개념은 동어반복적이다. 현대적인  HCI는 이미 상호작용적이라고 정의된다. 나는 상호작용적이라는 개념 그 자체를 쓰기보다는, 메뉴 기반의 상호작용성, 증축 가능성, 이미지 인터페이스나 이미지 도구와 같은 다른 개념들을 사용해서 다른 유형의 상호작용적인 구조와 작동법을 설명하였다.

모든 고전적인 예술작품들도 여러가지 방식에서 상호작용적이다. 문학적 서사에서 생략, 시각예술에서 대상의 세부묘사의 생략 등은 사용자가 잃어버린 정보를 채워 넣도록 요구한다. 조각과 건축에서 공간적 구조물을 경험하려면 관람자 자신이 직접 몸을 움직이며 돌아다녀야 한다. 1920년대 영화의 몽타주는 관람자로 하여금 관련 없는 이미지들 사이의 정신적인 간극들을 재빨리 이어붙이도록 했다. 1960년대 해프닝과 퍼포먼스, 설치는 예술을 참여적인 것으로 변모시켰다. 이러한 변화는 1980년대에 등장하는 상호작용적인 컴퓨터 설치 예술을 위한 토대를 준비하는 것이었다.

우리가 컴퓨터 기반의 미디어와 관련해서만 상호작용적 미디어라는 개념을 사용할 때는 정신적인 상호작용은 배제한 채, 이를 사용자와 미디어 오브제와의 물리적인 상호작용과 동일시할 위험이 있다. 그러나 이러한 실수는 새로운 것이 아니라, 오히려 현대적 미디어의 역사가 지니는 구조적 특성이다. 상호작용성에 대한 문자적 해석은 정신적 삶을 외적으로 표현하려는 현대적 경향의 예일 뿐이다. 뉴미디어 기술이 추리과정을 외적으로 표현하고 객체화시킬 뿐 아니라 보완하거나 제어하는 데 사용될 수 있으리라는 주장의 근거는 정신적 재현과 작동들이 해체, 합성 이미지, 편집된 시퀀스 같은 외적인 시각 효과들과 같은 형태를 취하고 있다는 가정에 토대를 두고 있다. 

영화나 패션과 같은 산업사회의 문화적 기술들이 우리가 다른 사람의 육체적 이미지와 동일시하게 만들었다면, 상호작용적 미디어는 다른 사람의 정신적 구조와 동일시하게 만든다. 영화 관객들이 영화배우의 육체를 갈망하고 모방하려고 했던 반면, 컴퓨터 사용자들은 뉴미디어 디자이너의 정신적 궤도를 따르도록 요구받고 있다.

요약:

뉴미디어는, 별도로 진행된 두 개의 역사적 궤도, 즉 계산 기술과 미디어 기술 발달의 궤도가 하나로 합쳐진 것이다. 뉴미디어는 결국 컴퓨터가 처리할 수 있도록 데이터화 된 미디어(이미지, 사운드, 텍스트 등)이다.

이는 수적 재현, 모듈화, 자동화, 가변성, 트랜스 코딩이라는 특성을 지닌다.

컴퓨터 데이터로서 새로운 지위를 확보한 미디어를 이해하기 위해서 미디어의 역사를 살펴볼 수도 있겠지만 근본적으로 컴퓨터 과학을 알아야 한다. 뉴미디어를 이해하기 위해서 미디어 이론에서 소프트웨어 이론으로 옮겨가야 한다.

II. The Interface

컴퓨터 인터페이스는 여러 미디어에서 문화적 메시지를 담아내는 코드의 역할을 한다. 인터페이스는 각각의 미디어가 갖고 있는 원래의 차이를 벗겨내고 그 자체의 논리를 미디어에 적용시킨다. 인터페이스는 컴퓨터 안의 데이터를 향하고 있는 투명한 창과는 거리가 먼 것으로 그 자체가 강한 메시지를 담고 있다.

The Language of Cultural Interfaces

Cultural Interfaces

인간-컴퓨터 인터페이스라는 용어는 사용자와 컴퓨터가 상호작용하는 방식을 설명한다.

문화의 모든 형식들을 전파하는 데 컴퓨터가 기반이 됨으로써, 우리는 점차 텍스트, 사진, 영화, 음악, 가상환경 등과 같은 문화 데이터를 접하게 된다. 간단히 말하면, 우리는 컴퓨터를 마주하는 것이 아니라 디지털 형식으로 기호화된 문화와 마주한다.

웹페이지, CD-ROM 타이틀, 컴퓨터게임 같은 문화 인터페이스는 왜 다른 것이 아닌 특정한 인터페이스 메타포를 사용할까? 나는 1990년대, 즉 초기 10년 동안 이러한 언어에 공헌한 세 가지 형식을 탐구할 것이다. 첫 번째는 영화, 두번 째는 인쇄물, 세 번째는 일반적인 인간-컴퓨터 인터페이스이다.

Printed Word

1980년대, 텍스트는 대대적인 디지털화의 대상이 된 첫 번째 문화 미디어였다. (텍스트는 미디어 유형 중 하나이면서, 컴퓨터 미디어의 메타언어이기도 하다.) 문화 인터페이스는 인류 문명사 안에서 발전해온 텍스트 구성원칙을 물려받았다. 그 중 하나가 페이지, 책장.

1987년 애플의 하이퍼카드 프로그램은 페이지 안에 멀티미디어 요소를 포함시킬 수 있고, 다른 페이지를 연결할 수도 있게 되었다. HTML에서는 여러 곳에 나뉘어져 존재하는 문서를 만드는 것이 가능해졌다. 

1990년대 웹 브라우저나 기타 상업 문화 인터페이스가 현대적 의미의 페이지 형식을 유지했지만, 동시에 그들은 책의 전통 안에서는 전례가 거의 없는 텍스트 구성과 접속의 새로운 방식, 하이퍼링크에 의존하게 된다.

Cinema

초기 문화 인터페이스의 언어를 지배했던 인쇄물의 전통은 점점 더 중심에서 멀어지고, 반면 영화적 요소의 역할은 점차 중요해지고 있다. 

카메라. 카메라 모델은 처음에는 컴퓨터를 이용한 설계, 비행 시뮬레이션, 그리고 컴퓨터 영화 제작과 같은 3차원 그래픽 기술의 일부로 개발되었다. 확대 축소 (zoom), 상하 이동(tilt), 좌우 이동(pan),  따라가기 (track)과 같은 오퍼레이션을 통해 데이터 공간, 모델, 오브제 그리고 몸과 상호작용하게 되었다.

HCI: Representation versus Control

일반적으로, 1990년대의 문화 인터페이스는 일반 용도의 HCI가 제공하는 풍부한 제어 능력(control)과 책, 영화 같은 전통적 문화 오브제가 주는 몰입 경험(representation) 사이로 난 길을 불안하게 걸어가고 있다. 문화 인터페이스는 근본적으로 다르고 궁극적으로 양립 불가능한 두 가지 접근 방식 사이의 중재를 시도한다.

오늘날 문화 인터페이스의 언어는 100년 전의 영화언어가 그러했듯이 아직은 초기 단계에 있다. 그러나 이것은 인쇄물과 영화만큼이나 중요한 의미를 갖게 될 것이다.

The Screen and the User

최근의 티지털 컴퓨터 기술은 VR, Telepresence 그리고 상호작용성을 가능케 했는데, 이것은 더 오래된 기술, 즉 스크린에 의해서 현실화된다.

A Screen's Genealogy

프레임으로 둘러싸여 있고, 우리의 일상적인 공간 안에 자리 잡고 있는 또 다른 시각 공간.

스크린의 전통적 속성인 평면의 직사각형, 일상공간과는 다른 크기, 크기 비율 등은 지난 5세기 동안 변하지 않았다.

100년 전 쯤 ‘역동적 스크린’이라 부를 수 있는 새로운 유형의 스크린이 대중화된다. 시간에 따라 변화하는 이미지를 보여주는 스크린. 역동적 스크린은 이미지와 관객 사이의 어떤 관계성, 말하자면 특정한 관람 통제를 들여온다. 스크린의 이미지는 완전한 환상과 시각적 충만함을 추구하는 한편, 관객은 의심하지 않고 이미지에 몰입하도록 한다.

그런데 이는 컴퓨터 화면의 도래로 위협을 받게 된다. 컴퓨터 화면은 하나의 이미지만을 보여주기보다 공존하는 여러 개의 창을 보여준다.  또 한편으로 VR에서는 스크린이 사라진다. 여기서는 실제의 물리적 공간과 가상의 시물레이션 공간이 일치된다. 전에는 그림이나 영화 스크린에 국한되었던 가상의 공간이 이제는 실제의 공간을 에워싸고 있는 것. 스크린이 사라진 것.

윈도 인터페이스와 VR이라는 두 가지 상황은 역동적 스크린의 역사적 시기를 특징지었던 관람 통제를 흔들어놓는다.

영화 스크린의 근원은 18, 19세기 매직 랜턴 쇼, 판타스 마고리아, 파노라마, 디오라마 등이다. 대중은 이런 것들로 인해 영화에 대한 준비가 되어 있었고, 영화가 드디어 출현했을 때 그것은 대단히 대중적인 사건이 되었다.

컴퓨터 화면은 전혀 다른 근원에서 시작되었다. 컴퓨터 스크린은 대중오락이 아닌 군사적 용도로 개발되었다. 현대 첩보기술은 사진으로 시작되었으나 사진은 첩보 비행에서 돌아오고 그들이 찍은 필름이 현상될 때까지 기다려야 하는 단점이 있었다. 그러나 레이더에서는 이미지가 순간적으로 만들어지므로 지연이 없다. 이러한 레이더의 효용성은 이미지 디스플레이의 새로운 수단이 된 새로운 유형의 스크린과 관련된다.

사진이나 영화 필름의 스크린이 과거의 사건만을 보여주는 반면, 컴퓨터 모니터는 이미지가 실시간으로 변화하여 지시 대상의 공간적 위치(레이더), 시각적 현실의 변형(라이브 비디오), 혹은 컴퓨터 메모리에서 변화하는 데이터(컴퓨터 스크린)와 같이 지시대상의 변화를 반영한다. 이는 제 3의 스크린으로 이전의 고전적 스크린, 역동적 스크린의 뒤를 잇는 ‘실시간의 스크린’이다.

1950년대 중반에 설립된 미국의 공중 방어체계를 통제하기 위한 지휘 센터인 반자동 지상 환경, SAGE(semi-Automatic Ground Environment)에서는 미국의 영공 주위에 있는 레이더 기지를 연결하고 그들의 신호를 분석하고 해석하며 유인 방어 제트기에 명령을 내려 침공하는 적을 향하도록 하는 임우를 수행했다 .여기서 공군 장교들은 레이더의 위치를 보여주는 각자의 컴퓨터 디스플레이를 모니터링했고, 움직이는 비행기를 나타내는 점을 발견하면 컴퓨터로 그 비행기르 ㄹ추적했다. 이를 위해서는 특별한 광펜(light pen)을 가지고 그 점을 건드리면 되었다. 이렇게 SAGE 체계는 현대적 인간-컴퓨터 간 인터페이스의 모든 주요한 요소를 다 갖추고 있었다. 1949년에 디자인된 광펜은 현대적 마우스의 전 단계이다. 더 중요한 점은 SAGE에서 스크린이 레이더와 텔레비전처럼, 실시간 정보를 디스플레이하는 데 사용되었을 뿐만 아니라 컴퓨터에 명력을 내리는 데도 사용되었다는 것이다. 스크린은 현실의 이미지를 디스플레이하는 수단으로서만이 아니라 현실에 영향을 끼치는 수단이 된 것이다. 그리고 VR에서는 이러한 스크린이 완전히 사라졌다.

The Screen and the Body

스크린의 계보는 전통적 유형>역동적 유형>실시간 유형>상호작용적 유형 이다.

이 유형은 두 가지 개념과 관계된다. 첫 번째는 시간성, 두 번째는 관객의 공간과 재현된 공간의 관계에 관한 것.

다른 측면, 스크린과 관객의 신체 사이의 관계라는 측면에서 스크린의 역사를 살펴보자.

르네상스 원근법에서부터 현대 영화까지, 케플러의 카메라 옵스큐라에서 19세기 카메라 루시다까지 신체는 고정되어 있어야 했다. 알베르티의 원근법적 창은 고정된 하나의 눈이 보는 세계를 보여준다. 카메라 옵스큐라가 만드는 이미지를 보기위해서는 어두운 방안에 있어야 한다. 초기의 사진은 노출시간이 길어서 살아있는 대상이 재현되기 위해서는 그 대상은 움직이지 말아야 했다.

19세기 말, 영화의 역동적 스크린은 사진 이미지의 고정된 세계를 깨뜨렸다. 영화 스크린은 관람객이 자리를 뜨지 않고도 다른 공간을 여행할 수 있도록 했다. 그러나 그들은 영화관이라는 대규모 감방 안에서 그들이 가상 여행을 떠나 있는 동안, 신체는 집단적 카메라 옵스큐라의 어둠 속에 움직이지 않고 남아 있어야 했다.

알베르티의 창, 뒤러의 원근법적 기계, 카메라 옵스큐라, 사진, 영화 이 모든 스크린 기반 장치들에서 주체는 움직일 수 없다. 

스크린 없는 재현장치인 VR의 시대에 이러한 전통은 어떻게 될 것인가? 관객은 가상 공간에서 움직임을 체험하기 위해서 실제로 물리적 공간으로 들어가야만 한다. 동시에, VR은 전례가 없을 정도로 신체를 감금한다. 이반 서덜랜드의 HMD는 천장에 선으로 매달려 있어 사용자들은 거기에 머리를 끼워 넣어야 했다. 사용자는 실제로 기계에 잡혀 있게 되었다.

요약하면, VR은 기계에 신체를 고정시킴으로써 관객의 부동성이라는 스크린의 전통을 유지하는 반면 동시에 관객에게 움직이도록 요구함으로써 전례 없는 새로운 상황을 만든다.

Representation versus Simulation

스크린의 틀이 다른 크기의 두 공간, 즉 물리 공간과 가상 공간을 분리시킨다는 것을 강조했다.

VR을 포함하는 대안적 전통은 재현된 것의 크기가 인간 세계의 크기와 같아서 두 공간이 연속적일 때 발견될 수 있다. 이것은 재현 전통이라기 보다 시뮬레이션의 전통이다. 시뮬레이션 전통은 가상 공간과 물리적 공간을 구분하기보다 둘을 합쳐놓는다. 프레스코, 모자이크 그리고 벽화는 건축물에서 분리될 수 없다. 19세기 밀랍 박물관, 자연사 디오라마 박물관 등도 이에 속한다. 이동가능한 회화는 재현의 전통을 따른다.

요약:

과거와 현재의 모든 문화가 HCI (Human-Computer Interface)를 통해 걸러져 나오고 있다. 이와 같이 컴퓨터를 통해 문화 데이터와 상호작용하는 방식을 문화 인터페이스라 하겠다. 문화 인터페이스는 HCI의 컨트롤(control)능력과 텍스트나 영화와 같은 전통적 문화 오브제의 재현(representation) 능력 사이의 길을 걸으며 독자적인 방식으로 문화를 담아낸다. 이러한 문화 인터페이스의 형식은 그 자체로 메시지를 전달하는 코드로서 작동한다.

III. The Operations

1장에서는 컴퓨터 데이터의 속성을 분석했고, 2장에서는 인간과 컴퓨터 간의 인터페이스를 살펴보았다. 여기 3장에서는 인터페이스의 상위에서 벌어지고 있는 기술의 단계, 즉 응용소프트웨어에 대해서 다루겠다. 소프트웨어에는 공통된 기술이나 명령어가 존재하는데, 이를 ‘오퍼레이션’이라고 부르겠다. 이 장에서는 오퍼레이션의 세 가지 예, 선택(selection), 합성(compositing), 그리고 ‘원격행위’(teleaction)’에 대해 논의할 것이다.

Menus, Filters, Plug-ins

The Logic of Selection

뉴미디어 오브젝트는 대게 이미 만들어진 부분들의 조립으로 이루어진다. 컴퓨터 문화에서 메뉴에서의 선택이 순수 창조를 대신하게 된 것이다. 3차원 모델과 텍스처 맵, 사운드, 배경 이미지, 버튼 필터 등.

전자예술은 그 시초에서부터 새로운 원칙, 즉 이미 존재하고 있는 신호의 변형에 기초하고 있었다. 최초의 전자 악기에서 사인 곡선을 변형시키는 것. 비디오 신디사이져 등.

“Postmodernism” and Photoshop

상업적으로 배포된 기존 미디어 요소들로부터 미디어 오브제를 구성하는 것은 과거의 미디어에서도 있는 일이었으나, 뉴미디어 기술은 그것을 더욱 표준화하고 더 수행하기 쉽게 만들었다.

플러그인 구조를 대중화한 포토숍 같은 미디어 조작 소프트웨어 등 ‘cut and paste’논리에 정통성을 부여한 GUI의 발달이 1980년대, 즉 ‘포스트모던’ 문화가 한창이던 그 10년 사이에 이루어진 것은 우연이 아니다. 나는 프레드릭 제임슨이 포스트모더니즘을 ‘문화에서의 새로운 형식의 출현을, 새로운 사회생활 유형이나 새로운 경제질서의 출현과 상호 연관시키는 기간 설정 개념’으로 사용한 것에 따라 이 용어를 쓰고 있다.

From Object to Signal

뉴미디어 오브제의 콘텐츠 일부로서 이미 만들어진 요소를 취하는 것은 ‘선택 논리’의 한 측면에 불과하다. 19세기와 20세기의 모든 전자 미디어 기술은 다양한 필터를 거치면서 신호를 변환하는 것을 기초로 한다. 어떤 재료에 영구적으로 남아 있는 것과는 대조적으로, 신호는 하나 또는 여러 개의 필터를 거치면서 실시간으로 변경될 수 있다. 선택된 요소들이 단순히 거의 기계적으로 결합되는 현대 GUI의 ‘cut and paste’ 은유와는 대조적으로, 전자 라이브 기술은 진정한 예술이 ‘혼합 mix’에 있다는 점을 입증해준다.

Compositing

From Image Streams to Modular Media

뉴미디어의 영역에서 사용되는 ‘디지털 합성 digital compositing’이라는 용어는 애프터 이펙트, 컴포지터, 시네온 같은 특별한 합성 소프트웨어를 이용해 여러 개의 동영상 이미지 시퀀스와 정지 이미지를 하나의 시퀀스로 묶어내는 과정을 지칭한다. 이와 달리, 완성된 객체가 배포 시점에도 모듈 구조를 유지하고 있을 수 있다. 예를 들어 컴퓨터 게임.

컴퓨터그래픽의 3차원적 구현은 2차원 이미지보다 ‘진보적’이다. 왜냐하면 전자의 경우 요소들이 진정한 독립성을 갖기 때문이다. 컴퓨터 문화의 궤도가 2차원 이미지에서 컴퓨터그래픽의 3차원으로 향해가고 있다는 전제하에서 디지털 합성은 역사적으로 이 두 가지 이미지의 중간 단계이다. 여러 개의 동영상 레이어로 이루어진 합성 공간은 물리적 공간을 찍은 하나의 장면보다 더 모듈적이다. 그러나 3차원 가상 공간만큼 모듈적이지 않다.

The Resistance to Montage

포스트모더니즘의 미학과 선택 오퍼레이션의 연관성은 합성에도 적용된다. 이 두 오퍼레이션은 혼성 모방과 인용이라는 포스트모던적 실행을 가능하게 하는 동시에 이를 반영하고 있다. 

1990년대의 합성은 매끄러움과 연속성으로 특징지어지는 새로운 미학을 지지한다. 옛 미디어가 몽타주에 기대었던 부분을 뉴미디어가 연속성의 미학으로 대체한다. 영화의 컷은 디지털 변형이나 디지털 합성으로 바뀌었다.

Archeology of Compositing: Cinema

영화 이전에 모사는 관찰자가 보는 실제 공간 안에 가짜 공간을 만드는 것에 불과했다. 영화는 서로 다른 물리적 장소의 이미지를 하나의 공간으로 합성하기 때문에 19세기의 파노라마, 디오라마 등에 비해 우월하다.

몽타주는 시간적 몽타주와, 쇼트 내의 몽타주 두 가지 기본 기술로 구분할 수 있다.

Archeology of Compositing: Video

2차 세계대전 이후, 이미지 기록과 편집은 점진적으로 필름 기반에서 전자식으로 바뀐다. 이러한 변화는 두 개의 다른 이미지 소스를 합성하는 ‘keying’이라는 새로운 기술의 발전을 가져왔다. 기상도 앞에 선 캐스터. 

고다르는 다음과 같이 썼다. “더 이상 단순한 이미지란 없다...... 모든 세계는 하나의 이미지가 감당하기에는 너무 버겁다. 우리는 여럿의, 즉 일련의 이미지를 필요로 한다.....” 고다르에게는 시간 몽타주와 쇼트 내의 몽타주, 두 가지를 모두 대체한 전자적 믹싱이 “모든 세계가 계속해서 들어가기도 하고 목도되기도 하는 모호하고 복잡한 체계”를 시각화하기에 적절한 기법이었다.

Digital Compositing

시뮬레이션 기술의 그 다음 세대는 디지털 합성이다. 두 개의 비디오 소스로부터 획득한 이미지를 키 기법으로 합쳐놓는 것이 아니라 이제는 수없이 많은 이미지 레이어를 합성할 수 있게 되었다.

디지털 합성은 시각적 속임수를 위한 이전의 기술과는 근본적으로 차이가 있다. 무대 제작, 원근법, 명암 대비, 트릭 사진 등은 설득력 있는 환영을 만들어내는 문제에 초점을 맞췄다. 영화 몽타주는 시간에 따른 서로 다른 이미지를 연결하는 새로운 패러다임을 도입했다. 시간적인 몽타주는 존재하지 않는 공간의 시각적 시뮬레이션을 위한 지배적인 패러다임이 되었다. 컴퓨터 시대에는 전혀 다른 패러다임이 지배한다. 이는 시간이 아닌 공간과 관련된다. 이를 존재하지 않는 공간을 믿게 할만한 하나의 이미지를 만드는 회화, 사진 등의 기술 발전의 다음 단계로 생각할 수도 있다. 그러나 문제는 더 이상 개체 이미지를 그럴듯하게 만드는 것이 아니라 그것들을 어떻게 모두 혼합하는가 하는 것이다.

Compositing and New Types of  Montage

전통적인 영화 몽타주가 쇼트 내에서의 몽타주보다 기술적으로 훨씬 더 쉬운 시간적 몽타주를 선호하는 데 반해, 합성은 이 두 가지를 동등하게 취급하고, 공간적 차원을 더 선호한다. 어도비 프리미어와 같은 편집 트로그램의 인터페이스에서 수평 차원은 시간을 의미하고 수직 차원은 레이어의 공간적 순서를 의미한다.

새로운 공간적 차원은 다음과 같이 정의될 수 있다. 합성물에서 레이어의 공간적인 순서. 합성으로 만들어진 가상 공간. 이미지 프레임과 관계된 레이어의 2차원적 움직임. 조정된 창 안에서의, 동영상과 링크된 정보 사이의 관계. 디지털 이미지는 더 이상 시청각적인 문화의 일부에 불과한 것이 아니라 시각-청각-공간적인 문화의 부분이 되었다.

Teleaction

Representation versus Communication

1890년 직후의 십년 간, 대부분의 다른 미디어 기술이 개발되어서 시각적 현실의 스틸 이미지 기록(사진), 소리의 기록(축음기), 이미지, 소리, 텍스트의 실시간 전송(전보, 텔레비전, 팩스, 전화 그리고 라디오) 등이 가능해졌다. 이러한 발명품 중 대중의 기억에 가장 강력하게 각인된 것은 영화였다. 우리는 현대 미디어가 실시간으로 통신하는 측면보다는 현실의 측면을 기록하고 그 기록을 사용해서 우리 감각을 시뮬레이션하는 능력에 더 감동을 받았다. 그 이유는 새로운 기록 기술이 새로운 예술의 개발로 이어진 반면 실시간 통신은 그러지 못했다는 데 있다.

현대 미디어 기술은 19세기에 시작된 이래 별개의 두 궤도를 따라 발전해왔다. 첫 번째 궤도는 필름, 오디오, 비디오 마그네틱테이프, 여러가지 디지털 저장장치와 같은 재현 기술의 발전 궤도이다. 두 번째 궤도는 실시간 통신 기술로서 원격(tele)로 시작되는 모든 것, 즉 전보, 전화, 텔렉스, 텔레비전, 원격현전 등이다. 이러한 만남에서 실시간 통신 기술은 재현의 기술에 종속된다.

1960년대 이래 일부 예술가들이 전통적으로 정의된 미적 오브제를 ‘과정’, ‘실천’, ‘개념’과 같은 다른 개념들로 대체하려고 시도했지만, 그 결과는 우리의 문화적 상상력이 전통적 개념에 강하게 사로잡혀 있음을 확인하는 데 그쳤다. 오브제라는 미적 객체의 개념, 즉 공간이나 시간 안에 갇힌 독립적인 구조라는 개념은 현대의 미학 사상에서 근본이 된다.

실시간의 그리고 비동시적인 원격통신 모두를 근본적인 문화 행위로 내세워, 인터넷은 우리에게 미적 오브젝트에 대한 패러다임 자체를 재고할 것을 요구하고 있다.

Telepresence: Illusion versus Action

나는 이 섹션에서 원격현전을 보다 좁은 의미, 즉 멀리서 보고 행동할 수 있는 능력이라는 의미에서 논의할 것이다.

디지털 합성은 패션, 메이크업, 리얼리즘적인 화화, 디오라마, 군사적 교란용 물체, VR 등이 가짜 현실을 구성하는 기술에 해당한다면, 원격현전은 행동할 수 있도록, 즉 관람객이 재현을 통해서 현실을 조작할 수 있도록 하는 재현 기술의 일례로 생각해 볼 수 있다.

원격현전은 가상현실이나 일반적 컴퓨터 시뮬레이션보다 훨씬 진보된 기술이다. 가상현실은 주체에게 시뮬레이션으로 만들어진 세계 안에 존재하는 듯한 환상을 제공하고 주체가 시뮬레이션으로 만들어진 세계를 적극적으로 변화시킬 수 있도록 한다. 원격현전은 주체가 시뮬레이션을 제어하는 것에 그치는 것이 아니라 원거리에서도 물리적인 현실 그 자체를 제어할 수 있도록 한다.

따라서 원격현전의 본질은 반존재(anti-presence)인 것이다. 현실에 영향을 주기 위해 물리적으로 그 장소에 존재할 필요가 없다. 아마도 원격행위 teleaction이라는 단어가 더 적절할 것이다.

Image-Instruments

서구에서는 시각적 재현의 역사를 환영이라는 측면에서 보는 데 익숙하기 때문에, 조종하기 위해서 이미지를 사용한다는 것은 매우 새로운 현상이라 할 수 있다.

Telecommunication

구식 이미지 도구와 원격현전 사이에는 두 가지 근본적인 차이점이 있다. 첫째, 원격현전은 비디오 이미지를 전자적으로 전송하기 때문에 즉각적, 실시간으로 재현이 이루어진다. 둘째, 원거리 시각 정보를 실시간으로 받을 수 있으므로 우리는 이 곳에서 실시간으로 물리적 현실을 조작할 수 있다.

원격행위에 쓰이는 이미지는 꼭 비디오이거나 현실적인 것일필요는 없다. 일정한 간격으로 전송되는 정지화면이나, 레이더의 점 만으로도 실시간 원거리 행동에 충분하다. 정작 중요한 것은 정보가 실시간으로 전송된다는 것이다.

실시간 원격행위가 가능하도록 해주는 기술은 전자 원격통신으로, 그것 자체가 19세기의 전기와 전자 현상의 발명에 의해 가능해진 것이다. 실시간 제어를 위해 사용되는 컴퓨터와 결합해서 전자 원격통신은 오브제와 그 신호 사이에 새롭고 전례가 없는 관계를 만들어낸다. 이는  오브제를 신호로 전환시키는 과정뿐 아니라 반대의 과정, 즉 이러한 신호를 통해 객체를 조종하는 과정도 즉각적으로 이루어지게 한다.

Distance and Aura

물리적인 원거리와의 실시간 소통이라는 보다 넓은 의미의 원격현전으로 되돌아가보자.

반세기 간격으로 쓰여진 두 개의 논문, 벤야민의 ‘기술복제시대의 예술작품’(1936)과 비릴리오의 ‘큰 광학’(1992)에서 둘은 새로운 의사소통 기술(벤야민은 영화, 비릴리오는 원격통신)에 의해 야기된 인간 지각의 친숙한 패턴의 혼란, 간단히 말하면 인간 본성에 대한 기술의 간섭에 초점을 맞춘다. 둘은 이 문제를 보는 사람과 보이는 것 사이의 공간적 거리와 자연을 동일시했으며, 기술은 이러한 거리를 없애는 것으로 보았다.

벤야민은 아우라를 ‘거리감이 만들어낸 독특한 현상’으로 정의한다. 그러나 거리에 대한 존중은 대략 복제, 특히 사진과 영화라는 신기술에 의해 전복된다.

비릴리오에 따르면 원격통신과 원격현전이 물리적 거리를 붕괴시켜서 우리의 익숙한 지각의 패턴을 없애버린다. 비릴리오는 ‘작은 광학 Small Optics’와 ‘큰 광학 Big Optics’라는 용어를 들여온다. 작은 광학은 인간의 시각, 회화, 영화에 공통되는 기하학적 관점에 기반하고 있다. 큰 광학은 정보의 실시간 전자 전송, 즉 “빛의 속도로 지나가는 시간의 역동적 광학”이다.

벤야민과 비릴리오에 의하면 시각에 의해 보장받는 거리는 대상의 아우라, 즉 세계에서의 위치를 보존하는 반면 ‘더 가까이 물체를 가려오려’는 욕망은 대상 간의 상호 관계를 파괴하여 궁극적으로 물질적 질서를 없애버릴 뿐만 아니라 거리와 공간 개념을 의미 없게 만든다.

과거 재현 기술과는 대조적으로, 실시간 이미지 도구는 우리가 멀리 있는 물체를 만질 수 있게 해주고 그에 따라 쉽게 파괴할 수도 있게 해준다. 시각의 잠재적 공격성은 전자적으로 가능해진 촉각이 지닌 현실적 공격성에 비하면 아무 것도 아니다.

요약:

소프트웨어를 다루는 기술이나 명령어를 '오퍼레이션'이라 부르겠다. 오퍼레이션의 세 가지 예, 선택 selection, 합성 compositing, 원격 행위 teleaction에 대해 논의할 것이다.

Selection: 기존 미디어 요소들로부터 미디어 오브제를 구성하는 것은 과거의 미디어에서도 있는 일이었으나, 뉴미디어 기술은 그것을 더욱 쉽게 그리고, 가변적으로 만들었다.

Compositing: 디지털 합성은 이전의 기술과 달리, 하나의 개체 이미지를 그럴듯하게 만드는 것이 아니라 그것들을 어떻게 모두 혼합하는가 하는 것이 관건이다.

Teleaction: 원격현전은 주체가 시뮬레이션을 제어하는 것에 그치는 것이 아니라 원거리에서 물리적인 현실 그 자체를 제어할 수 있도록 한다.

IV. The Illusions

합성 이미지의 ‘사실적 효과’는 다른 광학 미디어와 어떻게 다른가?

컴퓨터 시대의 시각문화는 외형적으로는 영화적이고, 물질적 차원에서는 디지털적이며, 논리적으로는 계산적 (즉, 소프트웨어 중심적)이다.

뉴미디어는 대부분의 이미지를 ‘이미지 인터페이스’와 ‘이미지 도구’로 변화시켰다. 이는 사용자가 이미지의 사실적 효과를 평가하는 데 영양을 미친다.

Synthetic Realism and its Discontents

사실주의란 컴퓨터가 이미지를 어떤 대상이나 사진과 구분이 불가능하게 시뮬레이션하는 능력이다. 이는 시뮬레이션된 현실이 세계와 지시적으로 연결되지 않기 때문에 광학 기반 이미지기술과는 질적으로 다르다. 그러나 스틸이미지에서는 극단적인 변화가 없었다. 진정한 변화는 합성된 동영상 이미지의 도입과 함께 일어났다. 관객은 시뮬레이션된 3차원 공간을 돌아다닐 수 있게 되었다.

Technology and Style in Cinema

Technology and Style in Computer Animation

The icons of mimesis

Synthetic Image and its Subject

Georges Méliès, the father of computer graphics

컴퓨터 그래픽이 성취한 것은 현실에 대한 우리의 지각적, 신체적 경험이 아니라 현실의 사진 이미지를 꾸며내는 기술이었다.

우리 문화가 중세의 대성당에 상응하는 것을 가지고 있다면, 그것은 할리우드 영화의 특수효과가 될 것이다.

Jurassic Park and Socialist Realism

합성 이미지는 인간이나 카메라의 시각이 지니고 있는 한계를 벗어나고 있다. 무한한 해상도와 무한 차원의 세밀함을 지니고, 심도라는 렌즈에서는 불가피했던 결과를 벗어나기 때문에 모든 것의 초점이 맞는다. 필름의 입자성도 없다. 색은 채도가 더 높고, 이미지의 날카로운 선들은 기하학적 효율성을 따르고 있다.

컴퓨터로 만들어진 합성 이미지는 우리 현실을 열등하게 재현한 것이 아니라 다른 현실을 사실적으로 재현한 것이다.

Illusion, Narrative and Interactivity

상호작용성이 이미지의 사실 효과에 어떤 영향을 미칠까? 물리 법칙과 인간의 욕구를 충실히 시뮬레이션해야 할까, 아니면 현실의 시각적 측면을 정확하게 시뮬레이션해야할까?

뉴미디어에서 주체는 관객에서 사용자로 번갈아 위치를 바꾸고, 지각과 행위를 번갈아하며, 스토리를 따라가는 것과 적극적으로 스토리에 참여하는 변화를 반복한다.

뉴미디어에서는 환영적인 부분과 상호작용적인 부분 사이의 반복 전환이 사용자로 하여금 상이한 정신 상태, 즉 상이한 유형의 인지적 행위 사이를 왕복하게 만든다. 이러한 변환은 현대의 컴퓨터 사용 전반에서 전형적이다.

요약:

합성 이미지는 광학 이미지의 사실적 효과를 추구하면서 동시에 상호작용성을 제공한다.

합성 이미지는 인간이나 카메라의 시각이 지니는 한계를 벗어난 더 완벽한 시각의 결과이다.

뉴미디어에서 주체는 관객에서 사용자로 번갈아 위치를 바꾸면서 지각과 행위를 번갈아한다. 여기서 영화 스타일의 환영은 상호작용적 제어판의 틀 안에 하나의 요소일 뿐이다.