28 Sun

GARIGO : Face Mosaic Project

기본 작동 방식

• 기본적으로 detection은 dlib이라는 라이브러리(얼굴 인식에서 가장 많이 사용)를 사용해서 다음과 같이 이루어진다.

• 얼굴의 이목구비와 윤곽선을 여러개의 점으로 나타낸 것이다. 이 점을 landmark 라고 한다.

• 성능을 위해 5 points로만 잡아낼 수도 있는데 tiny 모델과 mediapipe가 그러했다. face-recognition 모델은 두 가지 다 지원한다.

• 위 사진은 실제로 적용한 예

• recognition(이하 reco)은 이 landmarks 정보를 가지고 encoding하여 오바마라는 정보로 저장한다.

• 이후에 새로운 사진이 들어오면 똑같이 detect와 reco 과정을 거치며 최종적으로 encoding된 값과 사전에 학습된 인물의 encoding 값을 비교하게 된다.

• 이 때 특정 thresh(차이 라고 생각하면 된다. 이 정도 차이까지는 동일인물로 쳐줄게 라는 의미)를 지정해서 matching 여부를 결정한다

• 위 그림에서는 thresh가 너무 낮아서 실제 오바마의 사진이 입력되었는데도 매칭되지 않았다.

• 적절한 thresh가 매우 중요하며, 이는 굉장히 dynamic 하다

• thresh값이 너무 높으면 애꿏은 사람까지 동일인물로 판단해버릴 수 있다.