Tagged: Spark

데이터 입수 이상징후 탐지

안녕하세요. Data Infrastructure팀(이하 DI팀)에서 최근에는 주로 Data Application 개발을 하고 있는 Data Engineer 추이삭입니다. 이번 내용은 데이터 입수 과정에서 주요한 이상징후를 탐지하고 탐지 결과를 유관된 구성원들에게 전파하기 위한 시스템 또는 활동에 대한 소개입니다. 배경 SK플래닛은 다양한 서비스와 BM을 보유하고 있고, 200여개의 클라이언트/서버 로그와 800여개의 DB스냅샷데이터를 입수하고 있습니다. 원천 데이터의 제공 방식도 매우 다양하여 여러 가지 […]

11번가 추천 엔진 교체 (RecoPick -> Colloseo)

안녕하세요. Data Infrastructure팀(이하 DI팀)에서 Data Infra/Application 개발을 하고 있는 Data Programmer 엄태욱 입니다. 이번 글을 통해 지난 글에 공유 드렸던 실시간 데이터 처리 결과와 함께 Spark으로 재구현한 xTogehter를 이용해, 기존에 11번가에서 사용하던 레코픽(이하 RecoPick) 추천 엔진을 Colloseo 추천 엔진으로 교체한 과정을 공유하겠습니다. 11번가의 추천 서비스 11번가는 RecoPick에서 제공하는 두 가지 추천 서비스를 사용합니다. 먼저, “실시간 개인화 […]

RecoPick 실시간 데이터 처리 시스템 전환기 (Storm에서 Spark Streaming으로 전환)

안녕하세요. Data Infrastructure팀(이하 DI팀) 박소라, 엄태욱 입니다. 이번에 소개해 드릴 내용은 SK플래닛의 추천 플랫폼인 레코픽(RecoPick)에서 실시간 로그 처리를 위해 AWS(Amazon Web Services) 상에서 Storm을 기반으로 구현됐던 작업들을, 사내 클러스터인 DI클러스터(이하 DIC)에서 Spark Streaming 작업으로 전환한 경험입니다. 레코픽(RecoPick)이란? 사이트 내 상품추천(웹/모바일)과 개인화 마케팅을 위한 추천(메일/문자/푸쉬알림 등)을 서비스 형태(SaaS)로 제공하는 추천 플랫폼입니다. 쇼핑몰 고객의 로그 데이터를 분석해 […]

[Tech planet 2016] 트랙1 영상 자료입니다

Tech planet 2016의  트랙1 영상 자료입니다. 동영상 파일 공유가 가능한 연사들의 강의 자료입니다. 블록체인 기반 IoT와 커머스의 미래(자료 보기) , 이진석 / CTO, 블로코 Apache Spark은 어떻게 가장 활발한 빅데이터 프로젝트가 되었나 (자료 보기) , 김상우 / Value Developer, VCNC In-App Messaging and Chatbot (자료 보기), 김태양 / 팀장, SK planet Google Tensor Flow & Machine Learning in the Cloud […]

대용량 플랫폼을 위한 하둡 따라가기

안녕하세요, SK planet에서 대용량 서비스 개발을 하고 있는 김경진입니다. 하둡 개발을 처음 시작하면서  Spark과 Oozie에 대한 지식 부재 때문에 어려웠던 점들을 공유하고자 하였습니다. 6월 30일 진행된 @tech 세미나에서 발표한 강의 슬라이드를 공유합니다. 강의 동영상도 추후 추가해 놓겠습니다. 제가 겪었던 실패 사례는 Spark를 사용하면서 겪었던 지엽적인 사례 중 하나 입니다. 발표를 진행 하면서 어떤 좋은 솔루션이든 […]

Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기

안녕하세요. Data Infrastructure팀에서 Data Infra/Application 개발을 하고 있는 Data Programmer 엄태욱 입니다. 이번 글을 통해 대용량 데이터의 실시간 분산 처리를 위한 유실 없는 스트림 처리 인프라를 Spark Streaming으로 구축한 경험을 공유해 드리겠습니다. 실시간 처리(Real-time processing)와 스트림 처리(Stream processing) 스마트폰이 널리 퍼지고 IoT(Internet of Things) 세상이 다가오면서, Big Data의 3Vs(Volume, Variety, Velocity) 중에서 Volume(크기)도 중요하지만 스마트폰의 […]