Chellappa, R., Wilson, C.L., Sirohey, S. (1995) Human and machine recognition of faces: a survey, Proceedings of the IEEE , Volume: 83, Issue: 5, Publication Year: 1995 , Page(s): 705 - 741
상단 논문 번역 및 요약
I. Introduction
FRT(face recognition technology)는 이미지 프로세싱, 패턴 인식, 컴퓨터 비전, 신경 회로망 등의 영역에 걸친 분야이다. 상업적, 법집행 용도로 널리 이용될 수 있다. 이 논문에서는 인간이 어떻게 얼굴을 인식하는지, 지난 25년간 공학적으로 어떤 이슈들이 있었는지에 대해 다룬다.
일반적인 문제 상황은, 주어진 이미지나 비디오에서 데이터베이스의 얼굴을 사용해서 특정 사람을 식별하는 것. 얼굴 인식에는 장면에서 얼굴을 분리(segmentation), 얼굴에서 특징점을 뽑아내고(feature extraction), 식별을하고(identification), 매칭(matching)을해야 한다.
지난 20여 년간 정신물리학자, 신경과학자, 공학자 등은 인간의 얼굴 인식에 대한 다양한 측면을 연구했다. 정신물리학자와 신경과학자는 얼굴의 유일성, 얼굴을 전체적 혹은 부분적으로 인식하는지, 얼굴 표정 분석과 인식에 활용, 아기의 얼굴 인식, 얼굴 기억을 위한 기관, 뒤집힌 얼굴 인식의 어려움, 얼굴 인식을 위한 "할머니" 뉴런의 존재, 얼굴인식에서 우뇌의 역할, 얼굴인식불능증 등에 의한 얼굴인식 장애. 몇몇 결과는 얼굴 인식 기술 개발에 영향을 끼쳤다.
1970년대 FRT에는 얼굴 feature의 속성을 사용하는 방법이 사용되었다.
1980년대는 FRT 연구가 거의 없었다.
1990년대는 FRT 개발이 급격히 증가했다. 감시와 관련한 수요 증가, 실시간 하드웨어의 접근성 증가, 실시간 컴퓨테이션을 강조한 신경회로망 classifier의 재출현 등 때문.
II. Applications
--matching--
1. 신용카드, 면허증, 여권, 머그샷
2. 은행/상점 보안
3. 군중 감시
--similarity detection--
4. 전문가 Identification
5. 증인 얼굴 재구성
6. 전자 머그샷 책
7. 전자 라인업
--generating an image--
8. 자료로부터remains 얼굴 재구성
9. 노화 컴퓨팅
III. Psychophysics and Neurophysiological Issues Relevant To Face Recognition
일반적으로 인간은 얼굴 인식에 모든 감각을 다 사용한다. 맥락적 지식도 사용한다.(얼굴 위치가 대충 어디쯤 있어야 한다는 지식 등). 이 모든 전략을 다 모방할 수 있으면 좋지만 지금으로선 불가능.
그런데 인간은 기억하는 사람수에 한계가 있다. 컴퓨터의 장점은 수많은 얼굴 데이터를 처리할 수 있다는 것.
-얼굴이 독립적 과정이냐?: 다른 것보다 얼굴이 기억하기 쉽다, 얼굴인식장애 있는 사람은 다른 장애는 없다, 아기는 얼굴 패턴을 더 선호한다
-얼굴 인식은 전체적 분석이냐 특징점 분석이냐?: 연구에서는 전체적 분석은 특징점 분석을 보완하는 것으로 나타남
-중요한 얼굴 부위는 어딘가?: 코는 덜 중요하다. 얼굴 상단이 더 중요하다. 예쁜사람, 못생긴사람, 보통사람 순으로 인식
-뇌의 역할: 우뇌가 얼굴인식 역할에 있어 조금 더 나은 것 같다.
-얼굴 표정: 얼굴 인식과 얼굴 표정 인식은 별개
-인종/성별의 역할: 자신의 인종을 더 잘 인식, 일본의 경우 여자 얼굴이 훨씬 다양. 백인 여자가 남자보다 다양하지만 차이는 미미.
IV. Face Recognition From Still Intensity and Range Images
A. Segmentation
이미지를 블러시킨 후 에지를 따서 머리를 추출하고 거기서 눈, 코, 입 위치 등 파악하는 등, 이 방법에서는 배경에서 에지를 분리하고 그 에지에 머리가 있는지 다양하게 평가하는 식. 템플릿이 주로 사용되는 듯.
B. Feature Extraction
아이겐페이스: 소스 얼굴들을 아이겐 벡터들로 바꾸면, 이 벡터들의 조합으로 그 소스 얼굴을 모두 구성할 수 있음. 핵심은 이것이 사람 얼굴을 재현한 방식. 벡터의 weight가 feature 역할.
이 외에 아이겐페이스, 템플릿 사용 등 다양한 방식으로 feature를 추출. (한 논문은 feature를 visual features, statistical pixel features, transform coefficient features and algebraic features로 나눈다고 정리)
C. Recognition
1) Earlier approach
초기에는 얼굴에 사람이 특징점을 표시. 그 특징점 비교해서 얼굴 인식.
이후 특징점을 자동으로 측정. 얼굴을 기하학적 수치로 환산. 눈 사이의 거리, 각도 등.
2) Statistical approach
eigenfaces이용. 데이터 얼굴을 벡터로 환산해 놓고, 인풋 얼굴 벡터를 데이터 벡터와 거리를 재는 것. 얼굴이미지와 비얼굴이미지 값은 많이 다르니 얼굴 검출에도 이용. 사이즈에 민감.
3) Neural Networks approach
각 얼굴을 neural network으로 만들어 놓고, 인풋 얼굴이 어디에 가까운지. 얼굴인식, 감정인식, 성별인식 등에 사용.
D. Range Images
깊이값 있는 영상 이용.
V. Face Recognition from Profiles
옆 모습으로 얼굴 판단. 옆 얼굴은 앞모습과 다른 정보가 있고 머그샷에는 옆얼굴이 포함되어 있으니까 활용할수 있으면 좋다.
VI. Face Recognition From An Image Sequence
동영상 분석은 20여년 역사가 있는데 얼굴 인식 관련해서는 없다. 다음과 같은 기술은 얼굴인식에도 관련이 있다.
1) 비디오 시퀀스에서 오브제를 분리하는 것
2) 구조 추정-3D 구조를 파악하는 것
3) 얼굴 3D 모델-증거 얼굴 복원, 변장 얼굴 인식 등에 유용.
4) Nonrigid 오브제 움직임 분석-얼굴 표정 인식 등.
A. Segmentation
템플릿을 사용해서 머리 위치 파악, 프레임별 차이, Optical Flow 분석 등 활용.
VII. Applications
A. Commercial applications
B. Law Enforcement
VIII. Evaluation of a Face Recognition System
OCR, 지문 인식에 대한 연구를 바탕으로 해 볼 수 있다.
많은 데이터를 사용하는 것이 중요하다.
샘플 추출도, 예상되는 인풋 얼굴에 맞게 통계적으로 해야 한다.
IX. Summary and Conclusions
-얼굴인식은 치안을 위해서 특히 중요하고. 지문을 대체하여 활용될 수도 있다.
-컴퓨터 얼굴인식이 꼭 인간의 얼굴인식 방법을 따라야하는 것은 아니지만 참고할 수 있다.
-얼굴 영역 추출은 얼굴 인식의 첫번째 단계인데, 큰 관심을 받지 않았다. 연구해야 한다.
-얼굴의 전체적, 부분적 특징이 모두 유용하게 활용될 수 있다.
-동영상에서 얼굴 인식하는 것은 어렵다. 현재는 프레임차이를 사용해서 얼굴 위치 파악하고, 그 다음에 인식을 하는 테크닉 활용.
-현재 기술을 잘 평가하는 것이 이를 발전시키는 데 중요하다.
*Reflection
-이 때는 동영상 얼굴 검출/인식은 거의 안되고 있던 때 인것 같다.
-얼굴 검출 보다는 인식에 포커싱을 두었다. 이미 있는 정리된 데이터베이스와 인풋 데이터를 매칭하는 용도가 주를 이뤘기 때문인듯. 머그샷, 신분증 등은 얼굴만 추려져 있으니까.
