Monthly Archives: July, 2016

    Kafka New Producer API를 활용한 유실 없는 비동기 데이터 전송

    안녕하세요. SK플래닛의 Data Infrastructure팀(이하 DI팀) 강병수 입니다. Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 에 이어지는 DI팀의 포스팅입니다. • Previous Posts • Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 written by 엄태욱 • Upcoming Posts • RecoPick Stream Processing 데이터 처리 시스템 전환기: Storm에서 Spark Streaming으로 • 업데이트가 필요한 큰 테이블 입수 및 조회 성능 제고 이번 글을 통해 Kafka Producer […]

    대용량 플랫폼을 위한 하둡 따라가기

    안녕하세요, SK planet에서 대용량 서비스 개발을 하고 있는 김경진입니다. 하둡 개발을 처음 시작하면서  Spark과 Oozie에 대한 지식 부재 때문에 어려웠던 점들을 공유하고자 하였습니다. 6월 30일 진행된 @tech 세미나에서 발표한 강의 슬라이드를 공유합니다. 강의 동영상도 추후 추가해 놓겠습니다. 제가 겪었던 실패 사례는 Spark를 사용하면서 겪었던 지엽적인 사례 중 하나 입니다. 발표를 진행 하면서 어떤 좋은 솔루션이든 […]