30 Tue

GARIGO : Face Mosaic Project

영상 속 얼굴 vs 구글 사진 얼굴

• 사전에 얼굴을 학습할 때 어떤 얼굴 사진을 선택해야 하냐는 이슈가 있다.

• 어차피, 한 사람의 얼굴을 한 동영상에만 적용할 것이기 때문에 영상 속 얼굴을 학습하는 것이 성능이 더 높을 것이라 예상했다.

  • 한 사람의 얼굴을 여러 동영상에 적용할 것이라면, 또 고민해볼 문제이다.

  • 영상 속 얼굴을 사용한다는 말은 전소민의 얼굴을 캡처해서 이를 학습 데이터로 사용한다는 뜻이다.

  • 이를 수작업으로 하기에는 너무 고되고 코드를 통해 영상 속의 모든 얼굴을 분류하고 필터링 하는 과정이 필요하다.

    • 이것이 굉장히 쉽지 않다. 아무리 작은 얼굴이라도 이목구비가 뚜렷한 사진이 있고 아무리 큰 얼굴이라도 옆모습인 얼굴이 있다. (아마 이 작업은 landmarks 5로 하는 것이 좋아보인다. 옆모습이 자동으로 걸러지기 때문에)

• 구글 사진 얼굴은 영상 속 얼굴과 시기적, 공간적 차이가 있을 것이기 때문이다.

  • 이러한 차이가 있음에도 성능은 준수했다.

왼쪽이 구글(일반), 오른쪽이 영상(런닝맨)

• 결론적으로는 큰 성능차이는 없었고 장단점이 존재했다.

• 영상 속 사진을 썼을 때 장단점

  • 장점

    • 해당 신에서는 반드시 잡아낸다.

    • 직접 인물의 사진을 찾아내지 않아도 된다.

  • 단점

    • 구현하는 것은 어렵지 않은데, 필터링에 대한 기준 정립이 쉽지 않다. ex) 너무 작은 얼굴은 패스, 옆모습 비중이 너무 크면 패스. 결국 필터링이 어려워 질 수록 구현도 어려워진다.

    • 안경, 모자 등의 악세서리가 인물을 인식하고 구별하는데 굉장히 치명적이다. 마치 안경 안쓴 유재석과 안경과 모자를 쓴 유재석을 다른 인물로 판단할 정도. 특히 영상 속 사진은 이렇게 악세서리가 많은 부분을 직접 걸러야 한다.

    • 늘 카메라를 전면으로 보고 있지 않기 때문에, 그리고 카메라의 조도, 각도에 따라서 조금 다른 얼굴이 생성되어서 제대로 얻지 못할 수 있다.

    • (이것 때문에 주로 성능이 안나왔는데) 영상 화질이 좋지 않은 경우, 또는 그만큼 얼굴이 되게 작거나 어둡게 나오는 장면이 있을 경우 올바르게 학습이 적용이 되지가 않는다. (자세히는 모르겠는데 location은 잘 된거 같은데 encoding한 정보끼리 비교할 때 유용한 결과물이 나오지 않는다)

• 구글 속 사진을 썼을 때 장단 점

  • 장점

    • 동일한 인물에 대한 사진이라서 나쁘지 않은 성능을 보인다.

    • 전면 사진을 많이 구할 수 있다.

  • 단점

    • 헤어스타일, 나이대, 장소(시사회 또는 집에 따라 달라지는 인상) 등에 따라 다양한 인물 얼굴을 획득할 수 있는데 너무 다양하다. 다양한 사진일 수록 한 인물을 학습하는데 좋아보이지만 성능이 따라오질 못해서 결국 다른 인물로 판단해버린다는 덫에 걸린다

    • 직접 사진을 선별하거나 스크래핑 해야한다는 단점이 있다. 스크래핑도 결국 수작업을 거쳐야 하는데, 이는 김종국 을 검색하더라도 김종국 그리고 하하가 같이 있는 사진이 있을 수 있고, 항상 전면 사진이 아닐 수도 있으며, 근육맨이 나오는 등의 유사 정보가 있을 수 있기 때문

• 이 부분에 대한 충분한 고민이 필요하다.

  • 프로젝트에서는 영상 속 얼굴 중 괜찮다고 생각되는 얼굴 이미지와 구글 이미지를 혼용했다.