패션 트렌드 분석 및 추천 서비스

Dec 9, 2022
AI Python Web AWS

Demo

기간

2022.09 ~ 2022.12

요약

SNS의 정보를 활용하여 트렌드를 분석한 후에, 임의의 사용자에게 패션을 추천하는 서비스
트렌드 분석의 지표로 아이템의 종류와 컬러를 활용
인스타그램의 OOTD, Fashion 등의 해시태그를 사용해 이미지를 수집하여 Binary classification을 통해 수집된 이미지가 패션 이미지인지 아닌지 구분
Instance segmentation을 통해 패션 이미지를 각 아이템 종류별로 분할 및 분류
과정을 순차적으로 거친 결과를 바탕으로 많이 사용된 아이템 및 색상을 트렌드 분석의 기준으로 정의
분류된 아이템의 색상을 추출하고 정의하여 사용자의 퍼스널 컬러를 기반으로 아이템을 추천

기획 의도

‘Personal color analysis’란 개인의 피부톤과 가장 어울리는 색상을 찾는 색채학 이론으로 이 퍼스널 컬러는 어떤 색조 화장품이나 옷, 장신구가 잘 어울리는 지 찾기 위해 사용되고 있으며 이는 한국의 새로운 뷰티 트랜드
퍼스널 컬러는 첫 인상과 전반적인 이미지 개선에 도움이 되며 다양한 기업에서도 활용하고 있음$^{1)}$
사용자에게 쇼핑에 편리함을 제공하고, 기업은 이를 마케팅 도구로써 활용 가능
궁극적으로는 한 쇼핑몰에서의 코디네이션 추천이 아니라 여러 쇼핑몰을 연결하여 각 쇼핑몰로 연결해주는 플랫폼을 개발하여 수익화를 기대

SWOT 분석 및 전략 도출

SWOT 분석

전략 도출

개발 환경

개발 환경: Google Colaboratory
프로그래밍 언어: Python
사용 모델, 데이터셋
- Resnet18
- Mask R-CNN
- DeepFashion2 Dataset
- Coco Dataset
- Webcolors

역할

프로젝트 전체 인원: 3명
나의 역할
- Instance Segmentation 구현
  - Metaport에서 제공하는 Mask R-CNN 모델 사용
  - Mask R-CNN 모델 학습을 위해 DeepFashion2 Dataset 사용
    - 쇼핑몰 이미지와 소비자 리뷰 이미지 속 패션 아이템을 13개의 카테고리로 나눠 놓은 데이터
    - 각 데이터의 메타데이터도 포함되어 있음
  - Coco Dataset을 사용하여 Pre-train
  - 모델과 가중치에 데이터셋을 적용하여 전이학습
- 배포
  - EC2
    - 웹 서버 및 애플리케이션 호스팅
    - AI 모델
  - RDS
    - 추천 데이터 데이터베이스

회고

인공지능 관련 전공 수업을 하며 딥러닝 모델을 가져다 쓰거나, 클론으로 만들어본 경험은 있었지만 실제로 설계하여 동작하는 모델을 구현하는 것은 처음이라 어려움을 겪었습니다.
데이터 수집은 총 세 가지 방법을 사용했습니다.
- 학습 데이터는 SNS 데이터 약 40,000장, DeepFashion2 데이터셋 약 10,000장을 사용
- 분석 데이터는 OOTD, Fashion 등의 인스타그램 해시태그 키워드를 통해 크롤링한 데이터 약 20,000장을 사용
- 추천 데이터는 각 스타일 별 쇼핑몰 피드를 크롤링한 데이터 약 5,000장을 사용
이진 분류를 개발할 때는 Resnet18 모델이 복잡하지 않고 성능이 좋으면서 가벼워 구조 이해가 쉽고, 사용이 용이하다고 판단하여 선택하였습니다.
Instance Segmentation 부분에서는 3D 컴퓨터 비전 회사인 Metaport에서 제공하는 Mask R-CNN 모델이 다른 Object detection 모델들과 비교했을 때 조금 느리지만 정확도가 높고 아이템에 해당하는 픽셀만을 골라내 마스크를 생성할 수 있어 편의성이 증대된다고 생각하여 선택하였습니다. 아쉬운 점은 아직 모델 분류 성능이 완벽하지 않고, 가방과 신발 같은 의류를 제외한 패션 아이템을 인식하지 못한다는 점이 있었습니다.
DeepFashion2 Dataset을 활용하여 Mask R-CNN 모델을 학습시켰는데, 추천에 사용될 SNS 이미지가 아이템이 강조된 쇼핑몰 이미지와 달리 소비자가 직접 찍은 자연스러운 느낌의 이미지와 더 유사하기 때문에 이를 선택하였습니다.

Korea JoongAng Daily, 「Cool or warm, spring or summer — Koreans want to know, what’s in a color」, 2022