강병수 Data Infrastructure팀

SK플래닛 Data Infrastructure팀에서 Apache Kafka Cluster 및 실시간 데이터를 입수하여 Hadoop Ecosystem에 적재하는 역할을 담당하고 있습니다. 실시간 streaming data를 활용하여 서비스의 가치를 높이는 것에 관심이 많습니다.

Posts

    Streaming Platform으로써의 Apache Kafka

    안녕하세요. SK planet Data Infrastructure팀 강병수입니다. 이번 발표는 Apache Kafka에 대한 간단한 소개로 시작하여 팀의 현황과 고민, 그리고 해결 방향을 담고 있습니다. 고민을 해결하기 위해 Kafka Summit 2017 New York에 참석하여 외국의 사례들을 보고 왔고, 인터넷 자료들을 통해 도움을 많이 얻었습니다. 주로 Kafka Streams와 Kafka for microservices, Change Data Capture 이 주제가 되는 내용입니다. 그 […]

    Kafka New Producer API를 활용한 유실 없는 비동기 데이터 전송

    안녕하세요. SK플래닛의 Data Infrastructure팀(이하 DI팀) 강병수 입니다. Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 에 이어지는 DI팀의 포스팅입니다. • Previous Posts • Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 written by 엄태욱 • Upcoming Posts • RecoPick Stream Processing 데이터 처리 시스템 전환기: Storm에서 Spark Streaming으로 • 업데이트가 필요한 큰 테이블 입수 및 조회 성능 제고 이번 글을 통해 Kafka Producer […]