Streaming Platform으로써의 Apache Kafka

안녕하세요. SK planet Data Infrastructure팀 강병수입니다.
이번 발표는 Apache Kafka에 대한 간단한 소개로 시작하여 팀의 현황과 고민, 그리고 해결 방향을 담고 있습니다.
고민을 해결하기 위해 Kafka Summit 2017 New York에 참석하여 외국의 사례들을 보고 왔고, 인터넷 자료들을 통해 도움을 많이 얻었습니다.
주로 Kafka Streams와 Kafka for microservices, Change Data Capture 이 주제가 되는 내용입니다. 그 내용들을 이번 발표를 통해 공유하고, 팀에 어떻게 적용하여 발전해 나가고 있는지 소개합니다.
사업적 요건들을 기술 레벨에서 맞춰 나가기 위하여 고민하는 것과 요건을 충족시키기 위하여 발전하고 있는 것이 이번 발표의 주 내용입니다.

 
동영상도 같이 참고 부탁드립니다.

감사합니다.

강병수 Data Infrastructure팀

SK플래닛 Data Infrastructure팀에서 Apache Kafka Cluster 및 실시간 데이터를 입수하여 Hadoop Ecosystem에 적재하는 역할을 담당하고 있습니다.
실시간 streaming data를 활용하여 서비스의 가치를 높이는 것에 관심이 많습니다.

공유하기

  • 강진현

    안녕하세요. 회사에서 Kafka 스트림을 통해서 분석 하는 업무를 시도 해 보려고 하는데, 데이타가 쌓이는 속도에 비해서 Consume 이 1/3 수준으로 현저히 저조한 상황입니다. HW 성능 문제인지 아니면 Data 를 처리 하는 방식의 문제인지 어느 방향으로 문제 해결 시도를 하는 것이 도움이 될까요? 주로 진행해 오셨던 경험상 어떤 부분의 이슈일 가능성이 높은지 가이드 주시면 많은 도움이 될 것 같습니다. 답글로 comment 주셔도 좋고 구체적인 설명이 필요한 부분 있으면 메일로 남겨 주셔도 좋습니다. 감사합니다.

  • 박노철

    안녕하세요? 저는 데이타벅스(www.databucks.co.kr)에 근무하는 박노철 부사장입니다.
    본 내용을 너무나 감동적으로 보았습니다. 저희 회사는 빅데이터 부분의 실시간 스트리밍 데이타 통합 및 분석을 할 수 있는 플랫폼(Striim)을 소개하고 있습니다. 카프카 스트림의 부족한 부분을 커버하고 실시간으로 마케팅용 분석 및 상품추천등을 할수가 있습니다. 부족하지만 소개할 수 있는 기회를 주시면 고맙겠습니다. 제 이메일은 nohcheol@databucks.co.kr입니다.

  • 강준혁

    카프카 서비스를 이해하는데 도움이 많이 됬네요. 잘보고 갑니다.