멀티모달 AI는 상품 사진 정보와 함께 이름, 브랜드, 세부 특징 등 문자 정보까지 함께 학습한 모델을 뜻한다. 이번 업데이트로 쓱렌즈에 멀티모달 AI 베타 버전이 추가돼 이미지와 텍스트가 결합된 복합 정보를 처리할 수 있게 됐다.
기존 쓱렌즈에서는 이미지 정보만을 활용해 비슷한 상품을 찾는 검색이 가능했지만 멀티모달 AI가 적용되면서 ‘검색어 추가’ 기능을 더해졌다. 예를 들어 특정 의류 이미지를 검색한 후 텍스트로 색상(베이지), 디자인(플라워 패턴) 등 상품 속성과 관련된 추가 검색어를 입력해 찾고자 하는 상품을 좁혀가는 방식이다.
현재 쓱렌즈는 패션, 잡화, 가구, 인테리어 등을 중심으로 서비스를 제공하고 있다. 기존 AI 모델도 고도화로 이미지 검색 및 분류 능력이 이전 대비 크게 향상됐으며 유사 상품 추천으로 비슷한 상품을 빠르게 비교할 수 있어 쇼핑 시간 단축도 가능하다.
장원주 SSG닷컴 데이터담당은 “지난해 초부터 자체 개발해 AI 학습용으로 활용하던 멀티모달 AI를 고객 서비스에 적용한 첫 사례가 쓱렌즈”라며 “향후 상품 상세 페이지, 검색 결과 등으로 멀티모달 AI 활용 영역을 넓혀 검색 및 추천 등에 활용할 계획”이라고 말했다.