Performance | Review

210903

Performance

Public TestSet | f1 : 0.777 | accuracy : 81.984

첫쨰 주 개인은 11등으로 마무리했다. (스크린샷이 없는 것은 아쉽다.)

이어서, 둘째 주는 최고 등수는 3등, 최종 등수는 5등으로 마무리 되었다.

Private TestSet | f1 : 0.769 | accuracy : 81.492

와우! 4등이다! 우리 조 골드라인에 마지막 문을 닫고 입성했다!

Review

1. 소감

일단 후련한 것도 사실이고, 1등하지 못해서, 적어도 4등안에 들지못해서 아쉽기도 하다. (4등 안에 들면 골드니까!) 다만, 그래도 5등도 매우 만족하는 순위이다! 너무 재미있었고 매일매일 10시간 넘게 투자해가면서 하다보니까 코딩 실력도 늘고과 딥러닝 구현능력 많이 생겨서 자신감이 붙었다. 첫째주에 우리팀에서 내가 제일 성능이 높아서, 베이스라인 코드를 짜게 됐는데 밤새서 짠 코드가 잘 작동하고 팀원들이 잘 사용해줘서 기쁘고 뿌듯했다. 팀원들도 생소한 코드 보느라 어려웠을텐데 잘 사용해가지고 마지막까지 높은 점수를 기록할 수 있어서 좋았다. 그 외에는 마지막까지 이거 해볼걸 저거 해볼걸 하는 아쉬움도 있었다. 그래서, 몇개 적어보려고 한다.

2. 더 해볼수 있었던 것.

마스크를 낀 사람 데이터셋을 구하기는 쉽지 않다. 그런데, 여기서 MultiLabel Classification 을 하다보니, 마스크 착용 여부와 나이 그리고 성별을 독립적으로 구분할 수 있었다. 실제로 모델을 구성해서 평가해보면 마스크와 성별은 valid f1 점수가 99점 이상이지만, 나이의 valid f1은 최대가 79점이었다. 이 세가지 성능은 곱연산으로 적용되므로 낼 수 있는 최대 점수는 $0.99 \times 0.99 \times 0.79 = 0.774$이다. 심지어 이 최대 점수는 틀릴 때 세가지 라벨이 한번에 틀리는 경우라서, 보통 이 점수 이하로 나오게 된다. 그만큼 나이를 구분하기가 어려웠고 이 부분에 대해서 많은 해결책이 필요했다.

데이터셋 추가하기

데이터셋을 추가했으면 어떨까 라는 생각이 들었다. 딥러닝은 데이터가 늘어날수록 성능이 증가하니까. 물론, 정면을 보고있고 다양한 연령대의 동양인 사진(특히 중국인)을 구할 수 있었을지는 미지수지만, 적당한 데이터셋이 있었다면 매우 효과를 봤을 것이라 생각한다.

Bagging

나이를 제대로 예측하지 못했는데, 이부분을 배깅을 통해서 집중적으로 학습했다면 어땠을까

Fashion than Face

Facenet을 이용해 얼굴 데이터만을 얻고 주변 배경과 옷은 모두 잘라버렸다. 근데, 옷도 어느정도 그 사람의 연령이나 성별에 영향을 주는 데이터가 아닐까라는 생각이 들었다. 이 부분도 분석해보고 싶다.