안녕하세요? 저는 규모가 어느 정도 있는 스타트업에서 데이터 엔지니어로 근무하고 있는 사람입니다. 소속은 BI(Business Intelligence) 담당 조직에 있고, 실질적인 업무는 데이터 ETL(Extract, Transform, Load)과 관련된 대부분의 업무를 처리하고 있습니다. 회사에 계시는 분석가 분들이 편하게 데이터 분석하실 수 있도록 환경을 구축하거나 시스템을 운영하는 일을 혼자서 맡아하고 있어요.
최근에 제 커리어를 정리하면서 데이터 엔지니어는 어떤 역할을 하는 사람인가에 대한 고민이 많아지고 있습니다. 조금 찾아보니 회사마다 데이터 엔지니어에게 기대하는 요구 조건이 다르더라고요.
"회사에 데이터 엔지니어가 있다면 어떤 역할을 하면 좋을까요?"
다양한 의견 알려주시면 많은 도움이 될 것 같습니다. 간략하게 저희 회사 데이터 인프라를 정리한 그림도 첨부합니다. 답변해주실 분들께 미리 감사드립니다.
데이터 엔지니어는 어떤 역할을 해야하나요?
2021.08.19 | 조회수 1,397
소소
닉네임으로 등록
등록
(탈퇴한 회원)
BEST1단계 : 전사 구성원들이 원하는 데이터를 편리하게 "조회" 할 수 있도록 만든다.
- 여러 소스 (production RDBMS, 클라이언트/서버 로그, 서드파티 데이터 등) 의 데이터들을 통합하여 조회할 수 있는 시스템을 구성한다. BigQuery 같은 데이터 웨어하우스가 될 수도 있고 (그렇다면 데이터 웨어하우스로 데이터를 모으는 ETL/ELT/Streaming 데이터 파이프라인 개발/운영도 필요), Amplitude/Mixpanel 같은 product analytics saas 서비스가 될 수도 있다.
- 그렇게 통합된 시스템에서 편리하게 "조회" 할 수 있도록 해주는 부가 구성 요소들을 결합시킨다. 데이터 웨어하우스를 구성했다면 Tableau 등의 BI 서비스를 구매하여 붙여야 할 수 있을 것이고 (관련된 계약->연동->초기 세팅->가이드라인 정립 등의 작업이 필요), product analytics saas 서비스를 구성했다면 이미 해당 서비스가 기능들을 제공하므로 할 일은 적을 것이다.
- 여기까지 되면, 모든 전사 구성원들이 어느 정도의 learning curve 를 거친 후에 직접 데이터를 조회하거나 필요한 dashboard 를 구성할 수 있다. 거기까지가 Data Engineer 가 기본적으로 해야될 일이고, 조금 더 나아가자면, 원래는 BI Engineer, 최근에는 Analytics Engineer 라고 부르는 역할까지 일부 맡아서, 직접 dashboard 를 만들 수도 있겠다.
2단계 : 1단계에서 만든 통합된 데이터 시스템을 활용해서 -> product 개발, operation 등에 기여할 수 있는 application 성 시스템을 구성한다.
- 예시1 : 주요 metric 을 tracking 하며 forecast 해서 예상 range 에서 벗어나는 anomaly 가 발생했을 때 이를 detect 하여 적절히 alerting 하는 시스템을 만든다.
- 예시2 : 실험 플랫폼을 만들거나 saas 서비스를 연동해서 (e.g. statsig) 전사 구성원들이 사용할 수 있게 만든다.
- 예시3 : 유저에 대한 segment 를 만들고, 만든 segment 에 적절한 action (push, sms, email 등) 을 할 수 있는 시스템을 만들거나, saas 서비스를 연동해서 (e.g. braze, salesforce) 사용할 수 있게 만든다.
2021.08.21
5
리멤버 회원이 되면 12개의 모든 댓글을 보실 수 있습니다
로그인
회원가입
김커뮤니티
@멘션된 회사에서 재직했었음
BEST회사에서 풀지 못한 고민, 여기서
회사에서 업무를 하다가 풀지 못한 실무적인 어려움, 사업적인 도움이 필요한 적이 있으셨나요? <리멤버 커뮤니티>는 회원님과 같은 일을 하는 사람들과 이러한 고민을 해결할 수 있는 온라인 공간입니다.
회원 가입 하고 보다 쉽게 같은 일 하는 사람들과 소통하세요
2020.07.01
154
김커리어
@멘션된 회사에서 재직 중
BEST리멤버 회원을 위한 경력 관리 서비스, 리멤버 커리어를 소개합니다.
당장 이직 생각이 없어도, 좋은 커리어 제안은 받아보고 싶지 않으신가요? <리멤버 커리어>는 리멤버에서 새롭게 출시한 회원님들을 위한 경력 관리 서비스 입니다. 능력있는 경력직 분들이 <리멤버 커리어>에 간단한 프로필만 등록해두면, 좋은 커리어 제안을 받아 볼 수 있습니다. 단 1분의 투자로 프로필을 등록해두기만 하면, 기업인사팀이나 헤드헌터가 회원님께 꼭 맞는 제안을 직접 보내드립니다.
지금 바로 <리멤버 커리어>에 프로필을 등록하고, 새로운 기회를 만나보세요!
2020.07.01
21