대용량 플랫폼을 위한 하둡 따라가기

안녕하세요, SK planet에서 대용량 서비스 개발을 하고 있는 김경진입니다.

하둡 개발을 처음 시작하면서  Spark과 Oozie에 대한 지식 부재 때문에 어려웠던 점들을 공유하고자 하였습니다.

6월 30일 진행된 @tech 세미나에서 발표한 강의 슬라이드를 공유합니다. 강의 동영상도 추후 추가해 놓겠습니다.

제가 겪었던 실패 사례는 Spark를 사용하면서 겪었던 지엽적인 사례 중 하나 입니다. 발표를 진행 하면서 어떤 좋은 솔루션이든 실버블렛은 없다는 사례를 전달하고 싶었습니다. 대부분의 실패는 Spark에 대한 이해가 부족해서 벌어지는 과정이고, 이해도가 높아지면 Spark의 기능을 최적화하여 사용할 수 있습니다.
실제로 사내에서 spark에 대한 기술적인 부분과 플랫폼 지원을 활발히 지원 받고 있고, 그에 따른 유의미한 사례도 많습니다. Spark 자체가 훌륭한 플랫폼이라는 점은 부인할 수 없는 사실입니다. 실패 사례를 초석으로 삼아, Spark의 강력한 기능을 활용할 수 있는 기회가 되었으면 합니다. 혹시나 오해가 있을까 우려되어 길게 설명을 달아 봅니다.

강의 동영상도 같이 보시면서 도움이 되시면 좋겠습니다.

김경진 Data Service개발팀

함수형 프로그래밍을 사랑하는 개발자입니다. scala 와 reactive프로그래밍의 매력에 빠져 있습니다.

공유하기