미디어 비주얼라이제이션 Media Visualization: Visual Techniques for Exploring Large Media Collections

Lev Manovich, June 2011

Introduction: How to work with massive media data sets?

미디어 데이터의 양이 엄청나게 많고, 수많은 정보를 담고 있는데 이를 어떻게 활용할 것인가?

이 모든 데이터를 일일이 보고 패턴을 찾는 일은 불가능하다. 이것은 언뜻 사람의 시각과 정보 처리 능력때문 인것처럼 보이지만, 나는 현재의 인터페이스 디자인에 문제가 있다고 본다.
리스트, 그리드, 슬라이드 등의 시각화 방식은 소수의 데이터만 보여줄 뿐 전체의 모습이나 패턴을 보여주지 못한다.
메타데이터도 주어지지만 직접 컨텐츠를 보는 것만 못하다.
한 번에 볼 수 있는 미디어의 양은 제한적이다.
계층적인 컨텐츠 분류는, 그것을 벗어난 방식의 브라우징을 허락치 않는다.
이러한 분배, 분류 방식은 우리로 하여금 어떤 미디어를 볼 지 사전에 결정해야하도록 만들었다.

지금의 검색방식도 이와 같은 페러다임을 벗어나지 않는다.
하이퍼링크는 이전에 누군가가 남겨놓은 루트만 따라 갈 수 있다.
메타데이터가 있어도 그 종류에 따라 검색은 제한된다.

그런데 우리가 눈으로 물리적인 장면을 직접적으로 볼 수 있다면 모든 데이터를 어떤 순서로든 볼 수 있게 된다.

그래서 우리는 'media universe'를 한 번에 볼 수 있는 테크닉이 필요하다.

Media Visualization

기존의 시각화 툴들은 때로 유용하지만, 전통적으로 이들은 정보를 점과 선 등의 그래픽 요소로 표현하기 때문에 이미지나 비디오에 있어서 그 컨텐츠를 직접 볼 수 없다는 것은 제약이다.

Software Studies Initiative에서는 media viewing application, graphing application and visualization applications의 장점을 통합한다. 그래프 뿐만 아니라 모든 이미지를 이에 중첩시켜서 보여준다. 우리는 이를 media visualization이라 부른다.

전통적 information visualization은 세계를 숫자로 바꾸고 그 숫자 사이의 관계를 시각화 하는데, media visualization은 이미지들로부터 그 이미지들 사이의 패턴을 보여줄 수 있는 새로운 이미지로 바꾸는 과정이 개입된다. 다시 말해서 이미지를 이미지로 번역하는 것이다.

Media visualization can be formally defined as creating new visual representations from the visual objects in a collection.

Dimensions of media visualization

데이터를 분석하고 시각화하는 다른 여러 방법론과 비교한 Media visualization의 방법론에 관하여.

1. Media visualization은 통계적 그래프와, information visualization과 다르다. 또한 이것은 content analysis와도 구분된다. 이와달리 media visualization은 새로운 메타데이터를 생성할 필요나 특별한 기술적 지식의 필요가 없다. media visualization은 이미지 데이터의 기본적인 메타데이터만 활용한다.

2. 컬렉션 전체 데이터를 모두 사용하느냐 혹은 일부만 이용하는가.
Time: some of the available images
Space: parts of the images

3. 미디어 파일과 함께 이용하는 정보, 메타데이터. Media visualization은 최소의 메타데이터만 이용하지만, 원하면 언제든 그들을 활용할 수 있다.

Media visualization techniques

1. Zoom out (image montage)
개념적, 기술적으로 가장 간단한 방법은 다수의 관련있는 시각 미디어를 같이 보여주는 것이다. 전통적으로는 소수의 이미지만 함께 비교 제시할 수 있었다. 그런데 ImageMagic, ImageJ와 같은 프로그램을 활용하면 이미지 그리드를 구축하여 다수의 이미지를 편리하게 나타낼 수 있다. 우리는 그러한 이미지 그리드를 montages라고 부른다.
수천장의 이미지를 디스플레이 할 수 있게 되면서 우리는 이를 통해 시간에 따른 역사적 변화를 볼 수 있게 된다. 

2. Temporal and spatial sampling
Spatial sampling: 이미지의 양적 부분 (사진 가운데 1픽셀 라인만)
Temporal sampling: 이미지의 시간적 부분 (게임의 일정 플레이 시간 이미지만)

3. Remapping
모든 재현은 두 개체를 맵핑한 결과이다. 웹, DVD, 사진, 오디오 레코딩 등 현대 미디어 기술은 새로운 문화적 맵핑 작업을 가능케 했다. 이미 존재하는 미디어 산물을 샘플링하고 정리해서 새로운 의미나 미적 효과를 창조하는 것이다. 포토 몽타주, 팝아트, 차용 예술, 리믹스 등. 이는 media visualization의 선례라 할 수 있고, 그에 사용된 테크닉은 활용가능하다.

우리는 패턴을 드러내는 데 관심이 있으므로 데이터의 원래 순서로 정렬하는 것으로 작업을 시작한다. 그리고 우리의 메시지를 담기 위해 샘플을 선택하기 보다는 systematic하게 선택한다. 예를 들어 영상의 2번째 프레임들만 추출. 그러나 물론 우리도 새로운 샘플링 순서, 이미지를 배치하는 여러가지 방법 등을 실험하는 것을 통해 세계에 대한 우리의 생각을 나타낼 수도 있다.

Conclusion

거대한 미디어 컬렉션을 탐구하는 기술에 대해 이야기했다. 이 기술은 샘플링한 데이터를 다양한 방식으로 나타내어 컬렉션의 패턴과 전체적 모습을 드러내는 것을 목적으로 한다. 이를 media visualization이라 부른다.

Media visualization이 기존의 메타데이터를 어떻게 활용하는지 그리고 필요에 따라 메타데이터를 추가할 수 있다는 것에 대해 언급했다. 예를들어 자동 추출한 이미지의 일부, 사람 등.

개념적으로 media visualization의 방법은 3가지로 나눌 수 있다. 전체 컬렉션을 보기 위한 zooming out (photomontage), temporal and spatial sampling 그리고 remapping.

거대한 미디어 컬렉션에서 우리는 어떻게 흥미로운 것들을 발견할 수 있는가? 우리가 무엇을 찾을지에 대한 사전 지식없이 말이다. Media visualization 테크닉은 이를 위한 기본적인 방법을 제공한다. 물론 이건 단지 시작일 뿐이다.

원문:
http://manovich.net/DOCS/media_visualization.2011.pdf