Tagged: kafka

RecoPick 실시간 데이터 처리 시스템 전환기 (Storm에서 Spark Streaming으로 전환)

안녕하세요. Data Infrastructure팀(이하 DI팀) 박소라, 엄태욱 입니다. 이번에 소개해 드릴 내용은 SK플래닛의 추천 플랫폼인 레코픽(RecoPick)에서 실시간 로그 처리를 위해 AWS(Amazon Web Services) 상에서 Storm을 기반으로 구현됐던 작업들을, 사내 클러스터인 DI클러스터(이하 DIC)에서 Spark Streaming 작업으로 전환한 경험입니다. 레코픽(RecoPick)이란? 사이트 내 상품추천(웹/모바일)과 개인화 마케팅을 위한 추천(메일/문자/푸쉬알림 등)을 서비스 형태(SaaS)로 제공하는 추천 플랫폼입니다. 쇼핑몰 고객의 로그 데이터를 분석해 […]

서비스 모니터링 구현 사례 공유

사내에서 전사 서비스 모니터링을 위해 개발된 Planet Mon – Real-time Log Monitoring & Analytics Platform (약칭 PMon)의 Backend 구현 기술에 관해 소개하려고 합니다. 안녕하세요 저는 System Software 개발팀의 허제민 매니저 입니다. Planet Mon 프로젝트에서 Log Stream Analytics 서버를 개발하고 Architecture 설계를 지원하는 업무를 수행하였습니다. 이번 포스팅에서는 1일 수천 대의 서버에서 발생하는 30~50억건의 Log와 Metric을 처리하는 […]

Kafka New Producer API를 활용한 유실 없는 비동기 데이터 전송

안녕하세요. SK플래닛의 Data Infrastructure팀(이하 DI팀) 강병수 입니다. Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 에 이어지는 DI팀의 포스팅입니다. • Previous Posts • Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 written by 엄태욱 • Upcoming Posts • RecoPick Stream Processing 데이터 처리 시스템 전환기: Storm에서 Spark Streaming으로 • 업데이트가 필요한 큰 테이블 입수 및 조회 성능 제고 이번 글을 통해 Kafka Producer […]

DynamoDB의 Write Capacity를 낮춰서 DynamoDB 비용 줄이기

안녕하세요. RecoPick팀의 김성민입니다. 저희 팀은 모바일 혹은 웹 사이트에 자바스크립트를 추가해서 사용자의 행동 기록을 수집한 후, 사용자 로그를 분석해서 사용자의 취향에 맞게 제품을 추천해 주는 서비스를 SaaS(Software as a Service) 형태로 제공해주는 시스템을 개발 및 운영하고 있습니다. 11번가, 텐바이텐, 레진코믹스, 한겨레, 조선일보 등 다양한 e-commerce 사이트에 추천 서비스를 제공 중입니다. 추천 서비스를 제공하는 데 필요한 사용자 […]