안녕하세요! 리멤버 인플루언서 3기
두꺼비세상 김지영입니다.
"행보관님.. 저 진짜 할 거 없는데 심심해서 그렇습니다. 뭐라고 할 거 주십쇼."
- "2012.09 즈음 전역을 한달 앞둔 말년 병장"
군 시절 너무너무~ 따분했던 말년을 보낸 저는 뭔가 작업 열외되어 혼자 있는게 심심해서 분리수거장에서 조용히 쓰레기를 분류하는 작업을 했었죠🚮
지금은 왜 그랬나 싶지만 아무래도 말년이라 더 이상 군이라는 집단에서 소외되는 것이 외로워서 그랬을지도 모릅니다🤣
오늘 여러분에게 해드리고 싶은 이야기는 바로 가비지 데이터(garbage data)입니다. 데이터분석에서 결측값, 이상값이라고도 불리고 개발분야에서 가끔 null이란 이름으로도 나오는 이 가비지 데이터. 과연 전혀 쓸모없는 데이터일까요?
가비지 데이터의 정의는 데이터의 '정제'와 연관이 있습니다. 간략하게 예시를 한번 들어보겠습니다.
1. CGV / 탑건 / 오전 / 성인 / 2인
2. 왓챠 / 탑건 / 오후 / 아동 / 3인
3. 광명 DVD점 / 탑건 / '' / 성인 / 2인
4. 우리집 / 탑건 / 아동 / ''
자, 이 데이터는 고객들에게 최근에 본 영화의 종류와 장소, 인원, 시간대까지 설문을 받은 것 인데요,
가비지 데이터는 위 데이터에서도 '보고자 하는 기준'에 따라서도 구분이 됩니다.
예를 들어
-탑건은 주로 어떤 연령대가 많이 보았나?
라는 질의에 대하여 데이터 추출을 하자면 위 내용중 공란인 3번을 제외하고 1,2,4번의 데이터들로
성인(1), 아동(2) 이라고 집계가 되겠죠.
그렇다고 3번 데이터는 쓸모 없는 가비지 데이터 일까요? 아닙니다. 우리는 데이터의 4번째 컬럼인 '연령'을 기준으로 봐서 그렇습니다.
만약 '탑건을 본 위치나 장소'를 뜻하는 1번 컬럼으로 기준을 삼는다면 3번 데이터는 사용 할 수 있는 데이터라 할 수 있습니다.
이처럼 데이터를 보는 기준에 따라 가비지 데이터가 될 수도 있고 정상 데이터가 될 수도 있습니다.
물론 기준에 따라 데이터들은 다양하게 쪼갤 수 있어야 하고, 정확히 들어와 있어야 합니다.
플랫폼의 경우 데이터의 지표를 관리하는 관리자는 이러한 데이터들의 정제 과정에서 발생하는 손실과 수집 시스템상의 오류를 끊임없이 파악해야 겠지요.
이전 시간에 이야기한 웹크롤링과 더불어 업무자동화인 RPA를 도입한 회사들이 많은데요, 이러한 영역에서도 가비지 데이터들은 생성되며 지표의 관리에 필요성을 만듭니다. 하지만 이러한 데이터들도 정제와 보는 관점에 따라 충분히 효용가치가 있는 데이터가 되죠.
평소에는 가비지 데이터들로 보던 것들이 다른 기준을 적용하면 충분히 가용한 자원이 될 수 있습니다.
리멤버 여러분들도 여러분들의 가비지 데이터를 잘 활용해 보시는 기회가 되셨으면 좋겠습니다.
------------------------------------------------
전역 후에도 군대의 생각이 절로 나는 건 지겨워서인지, 그때의 제가 그리워서 인지🪖
가비지 데이터 처럼 제 안의 가치와 가능성에 대한 시각을 달리보고 자기객관화를 했던 시기였을까요.
정신없이 달려오는 지금의 30대에 없던, 20대는 낭만과 패기의 나이여서 그런가 싶습니다🏃♂️🐎
더운 장마도 지나고 주말을 축복(?)인지 해가 떳습니다🌅 무더위가 찾아왔지만 그래도 날씨가 좋아서 오늘은 밖으로 나가야 겠네요.
리멤버 여러분들도 오늘만큼은 사랑하는 연인들과, 가족들과 소중한 시간 보내시기 바랍니다💪♥️
김지영
-스타트업들을 돌아다니며 기술분석, 패션 등 다양한 분야에서 경험을 쌓으며, 현재 프롭테크 '두꺼비세상'에서 데이터 분석 전담.
-개발% 분석50%하는 반반 개발 분석자.
-완벽한 자연어 처리에 대한 관심.
-웹크롤링, 텍스트마이닝, 머신러닝 기법에 관심.
.cc @933 @OBSERVER @paju
