Category: Tech note

docker-compose와 vagrant에 대한 소개와 실무에 적용했던 경험

Data Infrastructure 팀 김용휘 매니저입니다. 개발 환경이 복잡해짐에 따라 개발 스택이 다양해 지고, 개발자들이 개발 환경을 구축하는데 많은 시간이 낭비되곤 합니다. 이 뿐만 아니라 크리티컬하게는 개발 환경에서는 잘 되어서 반영했는데 운영에서 장애가 발생하는 경우도 있습니다. (보통 이런 문제는 운영 환경과 개발 환경이 다른 점이 원인으로 귀결되곤 하죠 ^^) 저는 이러한 문제의 해결 도구로 docker-compose 와 vagrant […]

Twemproxy와 Redis failover 공유

안녕하세요. SK planet 장성재입니다. SK  planet의 클라우드 서비스에서 사용한 Twemproxy와 Redis failover에 대한 내용을 공유합니다. Redis는 최근에 메모리DB, NoSQL 이라는 이름으로 빠른 응답성을 가져야 하는 서비스에 많이 이용되고 있습니다. Redis는 데이터가 메모리에 저장된다는 특징으로 높은 응답 성능을 보이지만, HA(High Availability)를 위해서는 다른 도움을 받아야 합니다. Twemproxy라는 Redis proxy 서버를 이용하여 데이터 저장의 샤딩(Sharding)과 Redis failover에 대한 […]

SK플래닛의 Log Data Compliance

안녕하세요. Data Infrastructure팀(이하 DI팀)에서 Data Application을 개발하고 Data Compliance를 관리하는 신현주입니다. 이 글에서는 Data Compliance가 무엇이고, SK플래닛은 어떻게 대처하고 있는지 다음 6가지 주제를 통해 소개해 드리고자 합니다. Data Compliance의 정의 SK플래닛 Data Infrastructure에서 다루는 데이터의 종류 SK플래닛의 Data Compliance 현황 데이터 암호화를 중심으로 한 Data Compliance 실무 이해 SK플래닛의 데이터 지표 관리 향후 과제 Data […]

RecoPick 실시간 데이터 처리 시스템 전환기 (Storm에서 Spark Streaming으로 전환)

안녕하세요. Data Infrastructure팀(이하 DI팀) 박소라, 엄태욱 입니다. 이번에 소개해 드릴 내용은 SK플래닛의 추천 플랫폼인 레코픽(RecoPick)에서 실시간 로그 처리를 위해 AWS(Amazon Web Services) 상에서 Storm을 기반으로 구현됐던 작업들을, 사내 클러스터인 DI클러스터(이하 DIC)에서 Spark Streaming 작업으로 전환한 경험입니다. 레코픽(RecoPick)이란? 사이트 내 상품추천(웹/모바일)과 개인화 마케팅을 위한 추천(메일/문자/푸쉬알림 등)을 서비스 형태(SaaS)로 제공하는 추천 플랫폼입니다. 쇼핑몰 고객의 로그 데이터를 분석해 […]

GitHub, Bitbucket Pull Request 활용기

안녕하세요. Project 1실 신정섭 매니저 입니다. 현재 PROJECT ANNE 서비스의 Back-End 개발 업무를 수행하고 있습니다. PROJECT ANNE 서비스에 대해 많은 관심과 사랑 부탁 드립니다. 🙂 저는 GitHub과 Bitbucket을 활용해서 코드리뷰를 했던 경험을 공유하고자 합니다. 요즘 대부분 소스 형상 관리는 Git을 활용하고 있는데요. SK planet에서는 Bitbucket을 사내 플랫폼으로 활용하고 있습니다. 이런 Git 기반의 플랫폼들은 그 자체적으로 […]

[Tech planet 2016] 트랙1 영상 자료입니다

Tech planet 2016의  트랙1 영상 자료입니다. 동영상 파일 공유가 가능한 연사들의 강의 자료입니다. 블록체인 기반 IoT와 커머스의 미래(자료 보기) , 이진석 / CTO, 블로코 Apache Spark은 어떻게 가장 활발한 빅데이터 프로젝트가 되었나 (자료 보기) , 김상우 / Value Developer, VCNC In-App Messaging and Chatbot (자료 보기), 김태양 / 팀장, SK planet Google Tensor Flow & Machine Learning in the Cloud […]

유한 상태 기반의 한국어 형태소 분석기

안녕하세요. CTO 이상호입니다. 한국어 형태소 분석기라는 것은, 주어진 어절에 대해서 가능한 모든 형태소 분석 결과를 제시하는 것을 목표로 합니다. 예를 들어, ‘감기는’이라는 어절이 있다면 ‘감기’ 체언과 ‘는’ 조사로 이루어질 수도 있고, ‘감’ 용언, ‘기’ 명사화 접미사, ‘는’ 조사로 이루어질 수 있습니다. 이런 형태소 분석을 하는 통상적인 방법은 사전을 옆에 두고 주어진 어절의 모든 위치에서 나올 […]

컨텐츠 기반 A/B 테스트 구현 사례

안녕하세요. Data Service개발팀 허서윤입니다. 나날이 A/B테스트의 중요도가 높아지고 있는 가운데, 저희 팀에서 A/B테스트 기능을 구현하여 11번가 추천 시스템에 도입해 본 사례가 있어 관련 내용을 공유합니다. A/B테스트는 A, B 그룹을 나누어 서로 다른 내용의 서비스를 제공하고 어느 그룹에서 보다 높은 성과가 발생하는지 찾아내는 실험이라고 할 수 있겠습니다. 11번가 추천 시스템을 활용하여 11번가 특정 영역에 노출되는 상품 […]

서비스 모니터링 구현 사례 공유

사내에서 전사 서비스 모니터링을 위해 개발된 Planet Mon – Real-time Log Monitoring & Analytics Platform (약칭 PMon)의 Backend 구현 기술에 관해 소개하려고 합니다. 안녕하세요 저는 System Software 개발팀의 허제민 매니저 입니다. Planet Mon 프로젝트에서 Log Stream Analytics 서버를 개발하고 Architecture 설계를 지원하는 업무를 수행하였습니다. 이번 포스팅에서는 1일 수천 대의 서버에서 발생하는 30~50억건의 Log와 Metric을 처리하는 […]

애자일은 반드시 없어져야 한다

안녕하세요, SK플래닛 고종범 매니저입니다. 이번 포스팅을 통해 전사 애자일 확산 업무를 수행하면서 겪은 어려움과 어떻게 하면 확산할지 고민에서 묻어 나온 나름대로의 방법에 대한 이야기를 전해드리려고 합니다. 스크럼을 도입하면서 생기는 문제, 칸반을 도입하면서 생기는 문제와 과연 애자일을 도입하는 것이 맞는지에 대한 고민, 그리고 애자일 도입에서 발생한 문제에 대한 해결 및 접근 방법에 대하여 이야기 하려고 합니다. […]