안녕하세요 리멤버 인플루언서 3기
두꺼비세상 김지영입니다.
"신병 받아라!"
보직. 직무. R&R. 다양하게 쓰이는 통칭어들이죠. 데이터 직무의 경우 특히 사회 초년생분들의 고충이 많으실 것으로 생각합니다. 입사를 하는것이 취준의 궁극적인 목표이지만, 막상 입사를 한 이후 본인의 업무와 진행 방향성에서 혼란을 겪는 분들이 적지 않으니까요.
스타트업의 고질적인 문제는
- 자금의 한계
- 인력의 한계
- 사업 방향성의 한계
라고 할 수 있습니다(아닌 곳이 어디 있으랴)
위 상황이 겹치는 곳일 경우 특히 데이터 직무에서의 한계는 명확하겠지만 그 와중에서도 어떤 시장에 있는 기업이어도 데이터 직무로서 하는 역할과 방향성은 같다고 봅니다.
특히 데이터 직무에 계신 사회 초년생들의 경우 이러한 이유에서 사수 없이 일하거나, 혼자 독학으로 회사 업무를 가져가야 하는 경우가 많습니다.
저는 데이터 직무의 경우 전문성에 따라 크게 3가지 경우로 나누어 보았습니다.
- 데이터 분석가
- 데이터 사이언티스트
- 데이터 엔지니어
오늘은 이러한 3가지 진화(?)에 가기 이전인 데이터 직무로서 무엇을 준비하고 공부하면 어떨지에 대한 이야기를 풀어 보겠습니다. 물론 해당 내용은 지극히 저만의 주관적인 내용이므로 좋은 내용이 있으신 리멤버 여러분들의 조언도 부탁드립니다(꾸벅)
1. 데이터 분석가 - 닭이 먼저냐 달걀이 먼저냐
가장 많은 이름을 차지하고 있는 직무입니다. 데이터 분석가의 경우 날 때부터 데이터분석을 하는 사람들이 아닌, 해당 직무에서 경험을 한 관리자가 데이터 분석에 뛰어 들어 활용하는 경우도 있습니다. 스타트업에서 흔히 말하는 데이터 분석의 직무의 경우, 단순한 플랫폼 기반의 분석과 더불어 사업의 지표들을 모으고 추합하는 역할을 합니다.
주로 사용하는 툴들은 웹 기반의 플랫폼인 경우 G/A등으로 축약되며, 이를 통하여 트래픽 분석이나 유입되는 유저들의 추세를 알 수 있습니다. 최근 G/A4버전으로 가려는 움직임으로 보아 App 트래픽을 가져올 수 있는 firebase 기반의 기능이 강화될 것으로 보이구요. 이를 통해 앱/웹을 관리하는 플랫폼일 경우 G/A나 firebase를 다루고 지표를 볼 수 있는 능력이 있다면 데이터 분석으로서 충분한 활용 능력을 기르실 수 있습니다.
또한 데이터 분석에 필요한 기초적인 SQL 쿼리등을 활용하여 DB에 저장되는 데이터들을 추출해 가공하는 역할을 하고 있죠. 파이썬 언어를 활용하여 matlap, pplot등의 기능으로 데이터 시각화를 진행하시는 분들도 있지만, 데이터 분석의 시각적인 툴로 태블로나 마소에서 나온 Power BI등을 활용하시는 편이 좀 더 효율적이라고 보입니다.
*R의 경우 데이터분석에 초점을 맞춘 언어이기에 초기의 스타트업에서는 정제되지 않은 부분의 데이터들이 많아 제외하였습니다.
추천 :
시각화 기반의 분석 툴 : 태블로, Power BI, G/A(Firebase)
기타 개발관련 언어 : Python, SQL
2. 데이터 사이언티스트 - 매드 사이언티스트. 싸우면 싸울 수록 강해지는 사이어인.
데이터 사이언스란 명칭이 사용 된지는 그리 오랜 시간이 되지 않았습니다. 기업에서 데이터를 활용한 근거를 가지고 결정을 내리며 이에 따른 방향성을 정하는데 가장 중요한 역할을 하고 있는것이니까요.
말 그대로 '과학자'로서의 역할을 하려면 가설 수립과 검증. 이 단계를 반복하며 올바른 의사 결정 방향을 제시할 수 있어야 합니다.
2015년도를 기점으로 국비지원등 다양한 학원(?)들이 빅데이터라는 간판을 걸며 Python, R, SQL등을 가르치며 빅데이터의 인재양성 과정에 목을 메었지만, 실제로 실무에 활용하여 올바른 의사결정에 도움을 줄 수 있는 능력을 기르지는 못하고 있습니다.
데이터 분석의 영역이 단순 데이터 추출과 시각화에서 그친다면, 데이터 사이언스의 단계는 좀 더 심화되고 전문화 된 영역이라고 할 수 있습니다. 서비스에서 마케팅 등 다양한 부서와 연계하여 가설을 세워 방향성을 만들러면 다각화 된 시각을 가져야 하며 이에 따른 능력도 검증이 되어야 합니다. 부서 별 커뮤니케이션 능력은 필수구요.
스타트업이라면 특히 인적, 리소스 제약이 많으므로 많은 활동을 수반할 수 없지만, 적어도
- 플랫폼과 서비스, 사업에 대한 이해도
- 분석툴과 서드파티툴에 대한 이해도
- 다각화된 분석결과에 대한 결정력과 데이터 해석 능력
등이 수반되어야 한다고 생각합니다.
위에서 말씀드린 G/A(firebase)기반에서도 충분한 효과를 볼 수 있지만 GTM(구글 태그매니저)같은 특정 이벤트 추적에 대한 정의와 지표관찰, 구글 옵티마이즈등을 활용한 A/B테스트등 다양한 방법을 활용하여 플랫폼을 최적화하고 고객 유인을 이끌 수 있어야 한다고 봅니다.
물론 데이터 사이언스의 직무에서 수치와 같은 정량 지표의 경우 위와 같은 방법들을 활용하여 R, Python등의 기능들을 활용하여 회귀분석, 머신러닝 분야에 접목시켜 활용하는 방안도 있습니다. 텍스트 데이터, 오디오, 영상과 같이 정성적인 지표등의 경우 텍스트마이닝이나 수치화 변환을 통하여 예측 가능한 범위에서 다루기도 합니다.
이와같이 데이터 사이언스 분야는 다방면에서 기업의 니즈에 맞춰 다각화 된 분석 도구를 가지고 활용할 수 있는 능력이 수반되어야 합니다.
또한 시행착오를 하며 반복적인 작업이 아닌 개선 방향을 가지고 업무에 임하는 자세가 필요하다고 할 수 있습니다.
추천 :
시각화 기반의 분석 툴 : 태블로, Power BI
기타 개발 관련 언어 : Python, SQL,R
G/A 관련 툴 : G/A(Firebase), GTM, Google Optimize, Data Studio, Ads
3. 데이터 엔지니어 - 데이터의 A to Z. 물류창고의 총괄 책임자
엔지니어의 분야에서 데이터의 직무란 다양한 분야등이 있을 수 있습니다. 빅데이터가 활성화된 시대에서 Data Mart, Data WareHouse등의 개념등이 도입되면서 대용량 시스템 처리에 대한 수요는 꾸준히 증가해왔고, 이를 위하여 데이터 엔지니어의 영역이 활장되는 시발점이 되었습니다.
빅데이터의 대표되는 특징으로는 3V가 있는데,
- Volume(규모)
- Variety(다양성)
- Velocity(속도)
이러한 점을 고려한다 하여도, 스타트업의 규모의 기업에서 다루는 데이터의 한정적인 특성은 벗어나지 못할 것입니다. 심지어 DB에 저장하기 보다 엑셀이나 공용시트에서 데이터를 활용하는 부서들이 아직도 존재하고 있으니 말이죠.
인터넷에 빅데이터에 관련된 재밌는 정의가 있어서 가져와 봤습니다.
1. 데이터가 특정 크기 이상이 되었을 때 (1GB, 1TB 이상 등)
2. 데이터가 컴퓨터 한대에서 처리할 수 없을 때
3. 데이터가 Excel에서 열어볼 수 없을 때
4. 데이터의 샘플 수가 많을 때(image 백만장 이상, 1000명 이상의 구매 데이터 등)
한마디로 빅데이터의 새로운 정의는 "개인이 특정 장비로 다룰 수 없는 범위의 데이터"가 된다면 빅데이터라고 할 수 있겠습니다. (엑셀과 구글 시트의 경우 약 7만개정도의 데이터가 쌓였을 시 처리속도에 오류가 나는 것을 보면 그렇듯이.)
어느정도 사업이 진행되고, 고객데이터 및 상품군에 대한 정의가 내려진 기업일 수록 초기에 데이터 엔지니어들을 도입하는 경우는 드뭅니다. DB에 대한 세팅이 완료되고 의사결정을 위한 활용에 대한 수요(데이터분석)가 생길 시 이때 데이터 엔지니어가 나서는 상황이 오는데요,
- 데이터 활용 정제 작업
- 데이터 파이프 라인 구축
- 대용량 데이터 처리 기술
등의 수요가 있기에 데이터 엔지니어들의 역할은 이러한 DB관리 기술을 활용하여 데이터를 활용하는 부서에 자연스럽게 DB를 전달하는 물류창고(Data WareHouse)등의 역할을 하게 되는 것이죠.
DB 처리 기술의 발전 덕에 현재 대용량 처리 기술의 경우 GFS(Google File System), MapReduce, Hadoop등의 기술들이 도입되었고, Apache Spark 등 메모리 처리 효율성이나 반복 계산에 특화된 처리 기술등도 있죠.
이외에도 분산 데이터 베이스인 NoSQL 등 스케일 가능한 고성능 데이터 베이스들이 도입되었습니다.
사실 이 정도의 영역에 접근하려면 스타트업의 데이터 직무를 맡으신 분들에게는 머리가 아플 수도 있으니 참고하는 수준에서 읽고 넘어가시면 좋을 듯 합니다.
위와 같은 셋업이 완료되면 구글에서 제공하는 BigQuery나 Datalab등을 활용하여 데이터를 분석하는 과정이 진행되며, 이때부터는 빅데이터를 다루는 기술이라 할 수 있겠습니다. 대부분의 데이터 엔지니어들의 경우 백엔드 지식을 필수로 가지고 있어야 이러한 처리 기술들에 대해서 이해도가 빠른 편이기도 합니다.
추천 :
기본 : Linux(필수), VM(필수)
대용량 처리 기술 관련 : GFS, MapReduce(Google MapReduce Paper),
NoSQL,Apache Spark, BigQuery(알아두면 좋음)
-----------------------------------------------------------------------------
3가지 주제로 이야기를 해보려고 했지만 참.. 너무 TMI가 되어 민망합니다.
물론 제가 위에서 언급한 내용 이외에도 회사의 환경에 따라 사용하는 툴과 기술들은 천차만별입니다.(첨부하실 내용이 있으신 분들은 댓글 부탁드립니다!)
빅데이터라는 분야는 참으로 포괄적인 개념이라고 생각합니다. 특히 데이터 처리 기술의 발전에 힘입어 다양한 직군이 세부적으로 변화하는 시대여서 앞으로도 위에 기술된 직무 외에도 다양하게 변화할 것으로 보입니다.
스타트업의 경우 모든 분야의 직무가 셋업되지 않고 불모지(?)에서 시작하는 느낌이 들지만 그만큼 책임과 자율성이라는 점이 장점이라고 생각합니다. 시장의 변화에도 민감하고 본인의 R&R에도 혼란을 겪는 분들이 많습니다. 하지만 이러한 변화에서도 자신의 R&R을 확실히 정하고 직무를 수행하신다면 길이 보이리라 믿습니다.
"오늘도 데이터 직무를 맡으신 스타트업의 스타터 분들을 응원합니다!"
PS. 두꺼비세상이라 기재한 저희 회사는 '피터팬의 좋은 방 구하기'서비스를 하고 있습니다. 다들 서비스 이름을 말씀드리면 아시는 분들이 있더군요.
현재 저희 회사에서는 기술 테크 관련하여 블로그를 운영하고 있습니다.
개발지식 이외에도 데이터 관련 내용들을 꾸준히 업로드 할 예정이오니 많은 관심 부탁드립니다.
김지영
-스타트업들을 돌아다니며 기술분석, 패션 등 다양한 분야에서 경험을 쌓으며,
현재 프롭테크 '두꺼비세상'에서 데이터 분석 전담.
-개발% 분석50%하는 반반 개발 분석자.
-완벽한 자연어 처리에 대한 관심.
-웹크롤링, 텍스트마이닝, 머신러닝 기법에 관심.
.cc @DUSE @DEV @MKT @SVC @DGN @DATA
15
