빅데이터? 스몰데이터? 생활데이터?

20년 08월 25일 | 조회수 347

데

데이터과학자

빅데이터란 용어를 한번 생각해봅니다. 제가 다니는 회사에서도 빅데이터라고 할만한게 있을지? 전체 업무시스템에서 사용하는 데이터베이스의 크기가 아직도 10TB 미만으로 처리가 가능한데 개별 업무시스템별로 보면 빅데이터로 할수 있을까요? 빅데이터의 특징이 3V(Volume, Velocity,Variety)라고 하는데요. 위키백과 빅데이터정의 ==>

https://ko.wikipedia.org/wiki/%EB%B9%85_%EB%8D%B0%EC%9D%B4%ED%84%B0

업무시스템에서 정형화된 데이터베이스에 축적된 저희 회사의 경우는 아무래도 Volume 부분에서는 빅데이터로 부르기 힘들어보입니다. 제 개인적으로 데이터베이스에 축적된 데이터로 한정하지 않는다면 각 업무시스템에서 발생시키는 각종 서버의 로그파일들이 진정한 빅데이터 이지 않을까 싶습니다. 개별 업무 시스템별로 시간당 몇Gb씩 생성되고 그 로그 파일을 DB화 한다면 나름의 빅데이터가 될거라고 생각합니다. 물론 그 로그 파일을 어떻게 사용할지는 또 IT를 다루는 우리의 몫이 되겠지만요. 저는 그래서 개인적으로 생활데이터 이런 용어를 좋아합니다. 진정 빅데이터를 쌓고 그걸 분석해서 업무에 활용하는 공룡 IT기업들이 있겠지만(구글, 페이스북, 아마존, 네이버, 카카오) 저희 같은 조그만 회사들은 빅데이터라고 쓰고 그냥 데이터를 가지고 분석도 열심히 하지 못하는건 아닐런지? 어떻게 생각하시나요?

댓글 3개

공감순

최신순

카

카카시2

20년 08월 26일

데이터를 가공하는 기술이름 아닌가요 ? 규모만 보고 빅..스몰.. 이거 아닌거 같은데요 데이터에서 어떤 걸 도출하느냐.. 이게 중한거 아닌가요 ^^

답글 쓰기

데

데이터과학자

작성자

20년 08월 26일

네. 스파크나 다른 빅데이터 분석기반의 환경까지 아울러야 하는데. 보통 일반적인 관리자나 임원분들은 그런 개념과 상관없이 회사의 데이터는 빅데이터이니 분석해보라고 하시지 않나해서요. 특히 데이터 전문기업이 아닌 이상은~ 대부분 그럴것 같습니다. 특히 일반인들은 워드 크라우드만 봐도 빅데이터라고 인식하기도 하구요.

리

리멤버

@멘션된 회사에서 재직했었음

19년 05월 28일

회사에서 풀지 못한 고민, 여기서 회사에서 업무를 하다가 풀지 못한 실무적인 어려움, 사업적인 도움이 필요한 적이 있으셨나요? <리멤버 커뮤니티>는 회원님과 같은 일을 하는 사람들과 이러한 고민을 해결할 수 있는 온라인 공간입니다. 회원 가입 하고 보다 쉽게 같은 일 하는 사람들과 소통하세요

답글 쓰기

리

리멤버

@멘션된 회사에서 재직했었음

19년 05월 28일

일하는 사람과 기회를 연결하여 성공으로 이끈다

답글 쓰기