Hive 메타 및 데이터 플로우 탐색 도구
안녕하세요. Data Infrastructure팀(이하 DI팀)에서 최근에는 주로 Data Application 개발을 하고 있는 Data Engineer 추이삭입니다. 이번 내용은 DI팀에서 입수한 데이터가 어떻게 파생되어 사용되는지 검색/조회할 수 있는 도구의 소개입니다. 배경 DI팀이 운영/제공하는 하둡 클러스터의 데이터 입수는 주로 DI팀이 담당하지만, 이 클러스터(이하 DIC)를 이용하여 데이터 프로덕트 개발 또는 분석을 수행하는 조직은 약 90여개 팀이 있습니다. 그리고 Hive 테이블은 […]