현대사회에서는 데이터가 넘쳐난다. 지난 30년간 데이터의 처리능력, 저장장치, 통신속도 등의 급속한 발전에 따른 것이다. 그렇지만 우리는 여전히 필요한 정보를 충분히 찾을 수 없고 심지어 답을 찾기 위한 질문조차도 명확히 할 수 없는 상황에 종종 맞닥뜨린다. 결국 이제는 데이터의 양 자체가 아니라 데이터를 효율적이면서도 신뢰할 수 있는 방법으로 활용할 수 있는지 여부가 더 중요해졌다.
빅데이터 분석은 이러한 데이터 범람의 시대에 새로운 비즈니스 기회를 발견하게 해주는 생각의 도구로 볼 수 있다. 전통적인 데이터 분석에서는 제한된 범위에서 주어진 질문에 대한 답을 찾는다. 한정된 변수를 대상으로 사전적 관계를 반영해 모형을 구성하고 모수를 추정한다. 그리고 추정된 통계량이 적합하면 그 모형을 갖고 설명한다.
그러나 빅데이터 분석은 이러한 제한을 두지 않는다. 새로운 데이터 원천을 포함한, 표본이 아닌 전수 데이터를 고려한다. 그렇게 함으로써 ‘우리가 한 일’만을 분석하는 것이 아니라 ‘우리 주위에서 일어나는 일’을 매우 폭넓고 상세하게 분석한다. 그리고 지금껏 경험하지 못한 연관관계를 파악하면서 빠르게 해답을 찾기 위한 질문을 구체화해 나갈 수 있다. 아울러 더 많은 데이터를 고려함으로써 더 정확한 통찰력도 얻을 수 있다.
이러한 빅데이터의 발견 과정은 생각의 도구인 은유와 흡사하다. 은유는 원관념에 다른 특성을 가진 보조관념을 더함으로써 본래 관념으로는 전달할 수 없는 의미를 표현한다. 프랑스의 철학자 리쾨르가 ‘은유는 일상언어에서 드러나는 것과는 다른 현실의 장을 발견하고 밝혀주는 데 기여한다’고 밝혔듯이 빅데이터는 은유처럼 창조적인 사고의 도구로 우리가 세상을 새롭게 발견하도록 도와준다.
2
