안녕하세요 리멤버 인플루언서 3기 두꺼비세상 김지영입니다. "내가 요즘에 나루토를 보고 있는데, 느낀게.. X나 열심히 안하면 안 될거 같애. 근데, 우린 열심히 안하잖아. 우린 안될꺼야 아마." - 인디밴드 '타바코 쥬스' 보컬 권기욱🎸 만화 좋아하시나요?📚 리멤버 여러분들 중 X세대의 경우 슬램덩크🏀나 H2⚾ 등 시대를 풍미한 걸작들이 있지요. 저의 경우 학창시절부터 대학생까지 소위 원피스, 나루토, 블리치를 통틀어 '원나블'이 있다고 할 수 있겠습니다🥷 그중 나루토에는 '카카시'라는 매력적인 캐릭터가 있는데, 이 닌자의 특징은 상대방의 인술을 복사하는 '카피능력'입니다. 이를 통해 카카시는 본연의 기술 외에도 천개 이상의 인술을 활용할 수 있죠. 그런데 궁금증이 듭니다. 이 닌자가 복사한 기술은 100% 활용하고 잘 사용하여도, 본연의 기술이라 할 수 있을까요? 오늘 여러분들에게 이야기 할 주제는 바로 이 카피기술과 연관된 웹데이터 카피 기술을 "크롤링"입니다. 현재 많은 플랫폼 서비스가 런칭되면서 다음과 같은 전략들을 초기에 구상하는데 - 고객 확보를 통한 트래픽 증진 - 상품 등 서비스 DB의 총량을 늘려 다양성 확보 - 후발주자의 경우 선발주자와 동일한 상태의 서비스 개선 및 상품군 적용 등이 있겠습니다. 이 '크롤링'이라는 기술은 정확히 표현하자면 웹크롤링과 스크래핑이라는 명칭으로 나눠지는데 사전적 정의는 다음과 같습니다. - 웹크롤링 : 웹 사이트를 검색하며 거미처럼 이러저리 탐색을 하는 행위🕸️ - 스크래핑 : 해당 사이트에서 원하는 식별 정보들을 데이터 형태로 수집하는 행위🔬 통상적으로 크롤링이란 기술은 '특정 사이트에서 자동적으로 탐색을 하며, 원하는 데이터를 수집하는 행위'이며 스크래핑과 웹크롤링은 통상적으로 '크롤링'이라고 불립니다. 플랫폼 기업의 경우 이러한 크롤링 기술을 활용해 플랫폼 서비스를 하며 타사의 데이터들은 수집, 결합하여 본 서비스에 게시를 하고, 이를 통해 데이터가 쌓이면 더 많은 유저들의 접근이 가능해지며, 이를 통해 입점사를 모집하고 광고비용이나 수수료를 통해 이윤을 창출 합니다. 기본적으로는 일반스타트업의 경우 후발주자의 역할에서 선발주자의 기업들을 따라잡기 위한 효율적인 방법이라 할 수 있겠습니다. 하지만 이러한 기술에는 타사의 상품이나 정보를 무단으로 수집하고, 이를 가공하여 서비스에 게시하는것에 대해 윤리적, 도덕덕인 비난이 있습니다. 대표적인 예로 사람인와 잡코리아의 크롤링으로 인한 판례입니다. 사람인은 무단으로 잡코리아의 채용공고DB를 수집하여 본서비스에 게제한 사건인데, 이는 결국 법원 판례로 잡코리아가 승소하였습니다👨⚖️ 최근 프롭테크의 경우 다윈이라는 플랫폼에서 네이저 부동산의 부동산 매물DB를 무단으로 수집하다 법정싸움까지 간 케이스도 있지요⚖️ 크롤링이라는 기술은 사람이 직접적으로 작업하지 않고 업무효율성을 증대시키고, 적은 시간동안 다양하고 정확한 데이터를 수집하는데 의의가 있습니다. 하지만 그 활용도에 있어서 데이터는 해당 플랫폼사의 고유한 컨텐츠입니다. 원작자의 저작권이라 할 수 있는 데이터를 수집하는 행위는 비난받아야 하고, 개선시켜야 한다고 생각합니다. 카피닌자 카카시가 유명했던 것은 기술을 카피하는 특별한 능력이 아닌 지도자로서 마을을 부흥시키고, 산업화를 이끈 경영능력이였습니다. 그도 다른 닌자들의 기술을 복사만 해왔다면 본연의 본질을 살리지 못하였겠지요. 오늘날 플랫폼 서비스에서도 이러한 점을 보아 본연의 양질의 서비스를 자체 구축하는 노력이 있어야 한다고 할 수 있겠습니다. ------------------------------------------------ 목요일의 오후는 뭔가 추욱 늘어지는 느낌이 들지만, 내일은 금요일이라는 것에 기운이 납니다🎵 리멤버 여러분들도 오늘 하루 건강하시고 활기차게 업무 마무리 하시길 바랍니다. 김지영 -스타트업들을 돌아다니며 기술분석, 패션 등 다양한 분야에서 경험을 쌓으며, 현재 프롭테크 '두꺼비세상'에서 데이터 분석 전담. -개발% 분석50%하는 반반 개발 분석자. -완벽한 자연어 처리에 대한 관심. -웹크롤링, 텍스트마이닝, 머신러닝 기법에 관심. .cc @NARUTO @KAKASI @SRANK ps. "번개 잘랐다고!.."
