컨텐츠 기반 A/B 테스트 구현 사례

안녕하세요. Data Service개발팀 허서윤입니다.

나날이 A/B테스트의 중요도가 높아지고 있는 가운데, 저희 팀에서 A/B테스트 기능을 구현하여 11번가 추천 시스템에 도입해 본 사례가 있어 관련 내용을 공유합니다.

A/B테스트는 A, B 그룹을 나누어 서로 다른 내용의 서비스를 제공하고 어느 그룹에서 보다 높은 성과가 발생하는지 찾아내는 실험이라고 할 수 있겠습니다. 11번가 추천 시스템을 활용하여 11번가 특정 영역에 노출되는 상품 목록의 순서를 결정짓는 부분에 대하여, 모든 사용자가 동일한 순서의 목록을 볼 수 있는 A그룹과 11번가에 접속한 사용자 정보에 따라 추천된 순서로 볼 수 있는 B그룹을 나누어 A/B테스트를 진행하였습니다. 해당 과정을 통해 A/B그룹을 분배하는 방법과 테스트 일정을 스케쥴링, 설정을 등록/수정하는 UI 등의 기능을 구현하였고 11번가 추천 시스템에 도입하여 안정적으로 서비스하는 부분을 확인할 수 있었습니다. 추후에는 11번가 외 다양한 서비스에 A/B테스트를 적용할 수 있도록 보다 개선된 A/B테스트 시스템을 구현하고 있으며 이와 같은 개발 및 적용 사례를 통해 A/B테스트를 보다 활발하게 적용해 볼 수 있는 배경이 마련되었기를 바랍니다.

자세한 사항은 아래 슬라이드와 동영상을 통해 확인해주시기 바랍니다.

영상 파일입니다.

감사합니다.

허서윤 Data Service개발팀

안녕하세요. SK플래닛 Data Service 개발팀 허서윤입니다. 현재 MRSS에서 추천 데이터를 서비스하기 위한 API 개발을 주로 하고 있습니다.

공유하기