아직 이력이랄것도 없는 초짜개발자입니다 현재 하는 일들이 진짜 기본만 가지고 하는 느낌이라 발전이 없다는 생각 등 몇가지 이유로 다른 좀 더 전문적인 회사로 가고 싶어서 몇군데 면접을 보고 있는데요. 오늘은 수준 차이가 많이 느껴져서 속상합니다. 기술질문에 대해서 그런건 사용해본적도 없고 앞으로도 할일도 없는 것 같은데 중요하게 말씀하시고 얘기하셔서 부족함이 많이 느껴졌고 혼자 한다고 퇴근후에 꾸준하게 공부했던 내용들이 생각보다 의미없게 다가와서 그랬던 것 같습니다. 뭐랄까 회사에서 해보고 배우는 것도 참 중요한 것 같아요. 지금과는 수준차이가 많이 심하다는 생각이 들어서 더더욱 ... 속상하고 그렇네요.. 이것밖에 안되는 스스로가 억울하고 속상하기도 하구요 참 기분이 그래서 주저리주저리 넋두리 글 씁니다..ㅠ 욕심만 많은가봐요 제가 지금은

한국 스타트업 중에 연합학습을 연구 및 개발 하는 스타트업이 있나요? #스타트업 #연합학습

안녕하세요, 선배님들 데이터분석가(?) 직무를 가지고 입사한지 2년차되었습니다. 직무자체는 분석가로 입사하였지만, 저의 직무가 분석가로써 일을 하는 것이 맞는지와 아닌지 가리기가 어려워 이렇게 글을 남기게 되었습니다. 회사는 흔히들 SI라고 하는 용역회사이며, 태양광, 풍력 발전량 예측 분석 솔루션을 개발하는 작은 회사입니다. 아마 관련 업계 계신분들께서는 몇몇 회사를 추릴 수 있을 것 같네요. 저의 업무에 대한 이야기를 간략히 적으면 아래와 같습니다. 1. 관,공 등을 상대로 하는 SI이다보니 폐쇄망에서 온프레미스 분석환경을 구축 및 서버 납품(하둡, 빅데이터 및 클라우드 환경은 아닙니다.) 2. 분석결과 배치잡 적재(r, python, shell 등 스크립트 기반 cron job) 3. ML 파이프라인 개발(mlflow 등 사용) 일부 분석가로써의 업무도 있다고는 생각되나, 보통의 IT, 빅데이터 업무 중 어느 직무와 가까운지 잘 이해가 되지 않습니다. 사실 회사에서의 대우는 나쁘지 않다고 생각하지만, 시니어가 없는 상황입니다. 앞으로의 커리어의 욕심이 있어 무능한 시니어가 되기전 큰 회사로 이직을 목표로 하고 있습니다. 질문을 정리하면 1) 데이터분석가, 데이터엔지니어, ml엔지니어 등으로 목표를 삼고자 한다면, 저의 직무가 어느 분야에 가까운지? 2) 또는 위 직무로 이직을 위해선 어떠한 준비해야할지? 긴글 읽어주시어 감사드리며, 선배님들의 가감없는 조언 부탁드리겠습니다. 감사합니다.

안녕하세요 저는 30대 후반 내과 전문의이고 나름 이름 있는 서울내 대학병원에서 내과 전임의까지 하고 올해부터는 1년정도 커리큘럼의 인공지능 공부(CV)를 하고 있습니다. 뚜렷한 계획이 있었던 건 아니지만 왠지 해야 될것 같다는 강력한(?) 느낌에 일을 그만두고 공부를 시작했는데요.. 나름 재미도 있어 공부하는 와중에 헬스케어 창업 관련 특허 출원도 했습니다. 그런데 현실적으로 생각해보니 막상 해당아이템으로 사업을 하기에는 사업관련 경험이 너무 없어서 어떻게 시작해야 될지 감이 잘 안오네요.. ㅜ 우선 헬스케어 스타트업에 들어가 경험부터 쌓아 보자라는 생각을 했지만 CV 관련 인공지능 엔지니어로 일을 하기에는 제 코딩실력이 일천하기도 하고 엔지니어링 자체에 의료 도메인 지식이 그렇게 필요하진 않은것 같다는 생각이 들더라구요.. 인공지능 강의하시는 강사분들께 여쭤봐도 사업이 목적이면 코딩을 깊게 공부하는 갓보다는 커뮤니케이션이 가능할 정도로 이해하고 기획쪽으로 좀더 공부를 해보라고 하셔서.. 의료 도메인에 강점을 가진 저로서는 가장 좋은건 헬스케어 관련 사업기획담당자로 커리어를 시작해보면 좋을 것 같은데 해당 분야 수요는 그렇게 많지는 않은것 같습니다. 창업관련 정부 교육 사이트나 단체 알아보기는 했지만 스타트업 생리를 아는것이 것이 더 중요한것 같아 제 사업보다는 우선 관련 스타트업에 취직해서 일을 해보려고 하는데 관련 직종 선배님들 생각은 어떠신지요? 걍 하루빨리 제 사업을 시작하는게 나을지 아님 이쪽 경험을 조금 해보는걸 추천하는지 가감없는 의견 주시면 많은 도움 될것 같습니다! 감사합니다

안녕하세요 선생님들 비전공자 커리어관련 조언좀 얻고싶어 질문드립니다.(29남) 대학생때부터 인공지능관련 스타트업에서 3년일하면서 주로 ai모델링과 백엔드개발을 했습니다. 두개다 수준이 높은편은아닙니다. 그러다 ai,데싸 쪽은 석사? 가없으면 롱런못한다 한계가있다라는 말을 많이 들어서 개발쪽으로 방향을 틀어보려고했는데, 또 대기업(it아님) ai개발팀에서 오퍼가와서 얼떨결에 데싸?모델링 업무를 계속하게 되었습니다. 걱정되는건 제가 문과전공에다 수학,통계 지식이 없는편이라 이분야에서 롱런을할수있을지 또 하려면 어떤방식으로 부족한부분을 채워야할지 걱정이 많이 됩니다. 현재고려하고있는건 직장다니면서 방통대 통계학과 or 야간대학원? 또 개발공부를 지속하여 백엔드나 프엔으로 직무변경? 을 고려하고있습니다. 두서없이 글이 길어지는거같아..  죄송합니다만 고견을 여쭙고자하는 질문을 요약하자면 1.비전공자가 ai,데싸 분야에서 살아남으려면 어떤 부분들을 보완해야할까요? (석사없이 롱런 가능한지) 2. 방통대(통계)나 야간대학원 가는게 도움이 많이될까요? 어떤 방법으로 부족한부분을 채워야할까요? 3. 제 Ai 모델링능력과 프엔 백엔 역량을 두루두루 잘 활용할수있는 커리어뱡향이 있을까요? 과감히 다른부분은 다 포기하는게 맞나요? 4. 데싸 경력쌓다 프엔이나 백엔으로 직무변환에 대해 어떻게 생각하시는지 , 사려가 많은지?...아무 조언이나 주시면정말 감사드리겠습니다. 긴글 읽어주셔서 감사합니다. 다들 이번주도 고생하셨습니다. 좋은 주말되세요!

안녕하세요 학사 출신으로 데이터사이언티스트 취업하려고하는 졸업생입니다. 아무래도 나중에 학사 학위가 발목을 잡을것같고, 지금 실력으로 회사에 들어가서 제대로된 퍼포먼스를 낼수있을지도 의문이라서, 대학원 연구실 컨택후 연구실 들어가기로 했습니다. 근데 회사 두곳에서 데이터사이언티스트 직무로 연락이와서 고민이 됩니다. 어떤 선택이 더 좋을까요? 조언좀 부탁드리겠습니다.

ai를 활용한 자산운용쪽 관련된 직종 연봉이 어느정도 되나요? 3~4년차정도 기준으로…

올해 8월부터 빅데이터 프로잭트에 투입되어 Pm 직을 수행할 예정인데 월단가를 얼마 받아야 되나요? 빅데이터 프로젝트는 지금까지 8,9년동안 30여개 정도 4,5개월 짜리에서 7,8개월까지 모델개발,분석 컨설팅 Pl 역할 또는 Pm역할을 수행하였습니다. 컨설팅학과 석사로 빅데이터 관련 논문으로 디지털정책학회 우수논문상(2020)도 수상실적 있음. IT경력은 짬뽕 20년되었고 40대 후후반 남자입니다.. 데이터 기반 프로젝트를 하는 머신러닝, GIS분석, 과업발굴 컨설턴트입니다.(개발자는 아님) (작년 8~9000 정규직 계약했고, 향후 프리랜서를 하며 은퇴60이후 준비중..) 빅데이터 프로젝트 10~20억, 7,8개월 규모로 볼때, 희망하는 프로젝트 pl 및 pm 단가를 알려달라는데.. Pl 월단가와 Pm 월단가를 얼마가 적당할까요??

저는 데이터 수집, 가공 업체에 있다가 현재는 자율주행 회사로 넘어와서 레이블링 조직을 운영하고 있습니다. 건너 건너 데이터 레이블링 조직이나, 이와 비슷한 단순 반복 작업이 필요한 팀을 꾸리는 분들이 여러 문의를 주십니다. 여기도 비슷한 질문들이 보여서 써봅니다. '인하우스 레이블링, 어떻게 해야 해요?'라는 질문에는 사실 다음과 같은 내용이 함축되어있습니다. 1. 무엇부터 시작해야 하는가 2. 시장에서 공급받는 것보다 비용, 퀄리티, 퀀티티, 소통 측면에서 이점이 있는가 3. 유지 관리의 어려움은 없는가 저는 답변에 앞서 세가지를 질문합니다. 1. 현재는 어떻게 하고 있는지(외주, 알바 등) 2. 작업장을 어느 규모로 어느 기간동안 유지할 것인지 3. 투입할 수 있는 자본이 얼마인지 기대하는 데이터의 퀄리티나 생산 일정 등이 문의주시는 분들마다 다르고, 무엇을 가장 중요하게 생각하는가도 다르기 때문에 저 세가지 질문을 드립니다. 가벼운 문답인 경우 3번 질문은 안하는 경우도 있습니다. 데이터 생산에서는 크게 데이터량, 정확도, 속도, 비용을 꼽습니다. 네가지를 모두 만족하는 솔루션이 가장 좋겠지만, 조직마다 가중치를 두는 부분은 분명 있을 것입니다. 많은 양의 데이터를 만드는 가장 쉬운 방법은 업체에 맡기는 것입니다. 인하우스 조직으로 커버하려면 리소스 관리에 시간을 많이 쓰게 됩니다. 정확한 데이터를 만드는 방법은 천천히 오랫동안 작업자를 교육하고 데이터의 검수를 여러 번 거치거나, 연구원이 직접 gt를 만드는 것입니다. 데이터를 빠르게 만들려면 돈을 많이 쓰면 됩니다. 단기간에 많은 작업자를 투입시키면 빠르게 데이터를 만들 수 있습니다. 작업 환경을 세팅하는 데에도 많은 비용이 필요합니다. 비용을 저렴하게 하는 방법은 상대적으로 임금이 낮은 국가에 작업장을 만드는 것입니다. 해외 작업장을 가지고 있는 업체에 외주를 맡기는 것도 방법이겠지요. 네가지를 모두 만족시키려면 '해외에 있는 업체중에 저렴하게 빨리, 많이 공급해 줄 수 있는 업체를 찾아서 맡기고 데이터 검수를 여러 번 거친다.'가 정답에 가장 가깝겠습니다. 하지만 사실 그런 업체가 있다면 이미 작업비용이 글로벌 업체 평균가로 올라왔을 가능성이 높습니다. 제가 드리는 질문 2번에서, 1년 이상 꾸준하게 작업이 있는 경우라면 국내에 인하우스 조직을 만드는 방법을 알려드립니다. 유지관리에 어려움이 없지 않지만 비용이나 소통 측면에서 장기적으로 봤을 때 유리한 경우가 많기 때문에 추천합니다. 그런데 관리를 정말 잘해야 합니다. 관리가 안되는 인하우스 조직은 업체에 맡기는 것보다 비용이 더 들어갈 수 있습니다. 해외 업체가 꼭 저렴하지만은 않습니다. 좋은 퀄리티에 합리적인 가격으로 데이터를 공급하는 업체도 많으니, 국내 데이터 업체의 레퍼런스를 꼭 확인해보시기를 추천드립니다.

특수대학원이 아무래도 별로라고 하는 의견들도 많지만 그래도 배울 점이 많을 것이라고 생각하고 또 새로운 경험이 제 밑거름이 될것이라고 생각해서 열심히 다니려구요!

2022년 6월, 지금 우리는 불확실한 세상을 살고 있습니다. 익숙한 것은 너무나 빠르게fast 변화하고, 알고 있는 것은 너무나 복잡complex 해지고, 지금껏 경험하지 못한 새로운unprecedented 것들을 끊임없이 만나기 때문입니다. 특히 정보기술의 발전은 세상을 변화케 하는 주된 동력으로 기존 명확히 분리된 영역을 애매모호(blurred)하게 하면서 새로운 기회를 제공하는 한편 새로운 갈등을 야기하기도 합니다. 미래를 예측하고 이를 대비하는 일은 점점 더 어려워지고 있습니다. 그럼에도 불구하고 우리는 계속해서 주위에서 일어나는 일련의 사건을 관찰하면서 세계가 어디를 지향하고 있는 지를 찾아내야 할 것입니다. 지금부터 1년 전을 되돌아보면, 당시에 일어난 일들이 지금에도 주목할 만한 사건으로 일어나고 우리 삶의 영역에 전방위에 걸쳐서 지속적인 현상으로 그 모습을 드러내고 있습니다. (Meme) 우선 작년 1월부터 최근까지 미국 주식시장에 관심을 모은 GameStop과 관련된 사건입니다. 흥미로운 점이 정말 많은데요. 그 가운데 시장의 우월적 지위를 갖는 기관투자가를 상대로 Retail Investor인 개인들이 주도권을 갖는 모습이 인상적이었고, 이제는 굳이 기존 주식거래소나 주식중개인이 아니더라도 효율성과 공정성을 담보할 수 있는 분산형 거래소의 출현 가능성도 확인케 해주었습니다. (Metaverse) 현실세계에서 적절한 장비를 갖추면 가상세계에서 아바타를 통하여 자신의 소리와 몸짓을 그대로 드러낼 수가 있게 되었습니다. 이제는 현실과 가상의 경계가 흐릿해지고 있습니다. 더욱이 최근에는 NFTs(Non Fungible Tokens)를 발행하게 되면서 현실세계에서 예술품 및 수집품 등도 유일하게 배타적인 디지털화된 상품으로 소유할 수 있게 되어 머지않아 영화 Ready, Play One에서 펼처진 세상이 올 것 같습니다. (Fandom) 아티스트인 BTS, 방탄소년단에 대한 이야기입니다. BTS는 우리말로 된 노래를 부르고, 감동적인 퍼모먼스를 통하여 미국은 물론 전세계 대중음악을 이끌고 있습니다. 특히 2년전에 전세계 트위터 팔로우 기준 2,900만명, Youtube 채널 구독자 기준 3,600만명으로 추산되는 Army라 불리우는 팬덤들은 탈중심적으로 연결된 가치지향적 커뮤니티를 형성하면서 BTS가 전달하는 음악적 메시지와 가치를 세상에 구현하고 있습니다. (CBDC) 글로벌 금융위기를 겪은 이후 15년이 지났지만 아직도 거의 모든 중앙은행들이 그 과잉화폐 공급의 늪에서 벗어나지 못하고 있는 상황에서, 비트코인은 물론 여타 민간화폐와의 경쟁이라는 굴욕을 겪고 있습니다. 아이러니컬 하게도 CBDC에 상대적으로 높은 관심과 진전이 있는 나라를 보면 일부 선진 국가를 제외하면 중국, 러시아처럼 인터넷 감시가 심한 나라가 포진하고 있습니다. 이러한 일련의 현상이 어디를 지향하는 것일까요 ... 탈중앙화 Decentralization…

MyData Commons는 MyData를 통하여 우리가 지향하는 목표를 효과적으로 달성하기 위한 꺠어있는 시민 모임이라 할 수 있습니다. 이러한 조직 활동이 지속가능하기 위해서는 합리적 개인이 공동이익을 위하여 자발적인 행동으로 이끌 수 있는 장치가 필요합니다. 합리적 개인은 자신의 이익이 다른 사람과 공유될 때 '무임승차'하려고 하거나 자신이 아닌 다른 사람들이 지불하도록 하려 할 것이기 때문입니다. 그러나 "집단행동에 기여한 사람들을 보상하고, 기여하지 않은 사람들을 처벌하는" 선택적 유인이 존재한다면 집단들은 공동이익을 증진시키기 위하여 적극적으로 행동할 것입니다. 이런 점을 염두에 두고 MyData Commons의 모습을 상상해 봅니다. 기본적으로 오픈 커뮤니티로서 특허나 저작권 같은 creative works을 MyData로 대체하여 Creative Commons(CC)와 유사한 조직 형태와 운영 목표를 지향합니다. CC의 창작물은 우리의 개인정보인 MyData와 비견됩니다. 아시다시피 국가의 통제, 자원의 사유화 등에 따른 공통의 문제를 해결하는 데 있어서 자발적인 비영리조직이 국가나 시장보다 우월하다고 주장합니다. 다음으로 IT Directive, 즉 조직을 운영하는 데 있어 IT가 지향하는 방향과 궤를 같이 해야 합니다. 우리가 일하는 방식은 블록체인 기술 및 응용(DeFi), 엣지컴퓨팅 등 최신기술 처럼 탈중앙화(Decentralization) 방식으로 회원 각자는 네트워크상 하나의 노드로 독립적으로 위치합니다. MyData 활동은 모두가 누구나 참여가 가능하고 모두가 투표를 통하여 결정합니다. 마지막으로 중요한 부분으로 MyData 활동은 집단지성을 통하여 흩어진 개인보다 우월한 힘을 발휘해야 합니다. 이를 위해 빠르게 변화하는 여건의 제약하에서 올바르게 적합한 선택을 돕는 적응적 지능(Adaptive Intelligence)을 배양해 나아가 필요가 있겠습니다. 적응적 지능(AI)은 현재 상황에서 요구되는 것에 대응하여 변화할 수 있는 마음의 능력이라 할 수 있습니다. 예를 들어, 우리가 외국에서 몇 년 동안 살고 해당 외국어를 배우면 언어 습득을 담당하는 뇌 부분이 더욱 강화된다고 합니다. 이러한 적응적 지능은 정보를 해석하고 반응하는 신경망 훈련에 초점을 맞춘 인공지능의 한 분야로 활용되면서 자율주행 자동차, 가상비서와 같은 기계학습 애플리케이션 개발에 활용되고 있습니다. 여기에 개개인의 재능과 공감을 더한다면 MyData Commons라는 목적지에 더 빨리 도착할 수 있을 것입니다. MyData Commons : 미션, 역할 우리는 MyData를 위한 비즈니스, 기술, 제도, 표준을 하나씩 하나씩 세워갈 것이지만 이를 지속적으로 수행하기 위해서는 추가적으로 해야할 미션, 역할이 필요합니다. 다음의 역할을 잘 수행할 때 우리는 MyData Commons라 불리울 수 있을 것입니다. 첫 번째로 Mydata의 활동은 실용적이고 사회적 책임을 다함으로써 선한 영향력을 확산합니다. 꺠어있는 시민사회의 일원으로 당면한 사회문제를 발견하고 이를 해결하는데 직접적 간접적으로 도움을 주어야 합니다. 그 과정에서 우리의 활동은 보다 명확한 방향성을 자리 잡고 사회적 지지도 얻을 것입니다. 예를 들면 사회적 문제로 높은 자살율의 원인을 일상에 밀착해서 찾음으로써 이를 완화하는 데 기여합니다. 또한 개인의 소비활동이 탄소배출에 미치는 영향을 측정하고 이를 통한 환경문제에도 관심을 가져야 할 것입니다. 둘째는 리좀적 생태계를 구축 합니다 Mydata는 유관기관은 물론 이해관계자를 포함하는 생태계를 구성하면서 생태계 일원으로서 보다 주도적인 역할을 수행해야 합니다. 이런 과정에서 혁신적인 Mydata 서비스를 창출하는 기회를 얻을 것입니다. Mydata는 생태계 구성원들과 수평적이고 상호작용적인 네트워크 구조를 갖는 리좀적 관계를 강화함으로써 지속적으로 성장가능한 생태계를 구축할 수 있을 것입니다. 여기서 리좀적 생태계란 중심과 주변이라는 위계적 질서 없이 끊없이 다른 것들과 연결 접속되어 무한히 생성하는 네트워크 구조를 말합니다. 세 번째는 이해조정자의 역할을 수행합니다. Mydata를 바라보는 이해관계자별 관심사항을 파악하여 이를 조정하는데 더욱 적극적이어야 합니다. Mydata 생태계를 구성하는 여러 주체들의 관심사항을 살펴보면, 우선 개인정보의 주체인 개인은 “본인의 정보가 안전하게 보관되고, 원하는 곳으로 이동하고 다양한 서비스를 제공받기를 원합니다.” 정보주체의 요구에 맞추어 개인정보를 통할관리하는 Mydata Operator는 관련 “정보의 관리, 제공 등 관련한 시스템 구축 및 운영 등을 통한 충분한 수익창출 기회를 원합니다.” 또한 Mydata 서비스제공자는 “마이데이터 사업을 통하여 다양한 서비스를 창출하고자 하나 금융에서와 같이 허가제로 진입 자체가 막히지 않기를 원합니다.” 또한 시민사회도 중요합니다. 정보주체의 자기결정권이 편리한 방식으로 명확하게 보장되기를 바랍니다.“ 마지막 네번째로는 커다란 변화를 감지하는 지진계와 같은 역할을 수행합니다. 앞으로 여건의 변화는 지금까지 우리가 경험한 것보다 복잡하고, 빠르고, 새로운 모습을 나타날 것입니다. 그리고 그 변화가 클수록 감지하기는 더욱 어려울 것입니다. 이처럼 변화의 예측이 어려운 점은 발생요인이 생태계 내부보다는 그 밖에서 낯선 것들이 생겨나기 때문이기도 합니다. 예를 들면 MyData에만 집중된 비즈니스, 기술, 제도, 표준 외에 탈중앙화를 부추키는 기술의 발전, 고령화사회의 급속한 진전, 경제적 부의 양극화, 세대간 계층간 갈등 등 사회문화정치적요인이 영향을 미칠 수 있다는 인식과 이를 확인하는 노력이 필요합니다. 지금까지 말씀드린 MyData Commons는 바람직한 MyData 활동을 위한 하나의 모습입니다. 앞으로 모두가 주인이 되어 마이데이터를 통하여 급변하는 세상에 적절히 대응하면서 선한 영향력을 행사하고 스스로의 꿈도 성취할 수 있기를 바랍니다. Make it happen, make it right 일어나도록 하라, 잘되도록 하라 마이데이터 활동을 가장 표현한 말은 다음의 말이 아닐까 생각됩니다.

Mydata는 일반적으로 ‘나에 대한 데이터는 내가 주인이며 내가 관리한다. (주도적으로 활용)한다는 의미로 이해됩니다. 하지만 상황에 따라, 화자에 따라 조금씩 다른 의미로 명확히 합의되어 통용되지 못하는 모습입니다. 이는 마이데이터가 갖는 다층적인 개념. 즉 데이터(data)로, 권리(right)로 나아가 운동(movement)으로 의미를 포함하기 때문입니다. (1) 마이데이터는 나의 데이터, 즉 개인데이터(personal data)입니다. 데이터(data)로서 마이데이터는 자연적, 법적, 사회활동적 등 관점에 따라 구분할 수 있는데 개인의 신체, 나이, 성별, 이름 등과 같은 데이터들이 자연적 영역에 속합니다. 한편 법적으로 마이데이터는 현재 신용정보관리업 측면에서만 주로 적용되는 개인데이터라 할 수 있습니다. 이밖에 개인의 사회활동으로 드러나는 직업, 종교, 정치성향 등도 포함 됩니다. (2) 마이데이터는 디지털 세상에서 나의 권리입니다 데이터의 주체인 개인에게 ‘나의 데이터가 어떻게 사용될 수 있는지를 스스로 결정하는’이른바 개인정보자기결정권(right)을 부여합니다. 이 권리를 행사하면서 개인의 사적인 영역에 대한 침해를 최소화하는 가운데 최대한 이익을 얻어 내는 방식으로 개인데이터의 수집과 이용을 가능하게 하자는 것입니다. 여기서 개인정보자기결정권이 보호하는 대상은 개인데이터 그 자체가 아니라 개인데이터의 처리와 관련된 결정권, 통제권을 보호하는 것이 되겠습니다. 따라서 개인 각자가 자기통제 하에 있지 못한 개인데이터는‘마이데이터’라고 할 수 없겠습니다. (3)마이데이터는 실천적인 사회운동입니다. 자신의 데이터가 담긴 데이터 꾸러미 – 자신의 구매 내역, 통신 내역, 의료 기록, 금융 정보 그리고 다양한 온라인 서비스에서 추출한 정보 등– 에 접근, 획득하고 이용이 가능한 실제적인 수단을 개인에게 제공하는 것을 목표로 하고 있습니다. 또한 개인데이터를 보유한 조직(기업 또는 기관)은 개인에게 자기데이터에 대한 통제권을 부여하는 데 있어 최소한 법적 요구사항 이상으로 노력하도록 요구합니다. 따라서 마이데이터는 개인데이터 관리 및 처리에 있어 현재의 조직 중심적 체계에서 인간 중심적 체계로 패러다임을 바꾸고자 하는 새로운 실천적 운동(movement)의 의미도 갖고 있습니다.

세상의 변화를 들여다 본다. 구글 트렌드(Google Trends)에 검색어를 입력하니 실선 그래프 하나가 나타난다. 2011년부터 꿈틀거리던 추세선은 2013년 들어서 가파르게 상승하여 2014년 10월에 정점에 달한다. 이후 하락세로 돌아서 2018년 12월 현재 정점대비 60% 수준이다. 한때는 유행처럼 번지던 무엇인가가 이제는 관심에서 벗어나 천덕꾸러기 신세라도 된 것인가. 그렇지 않다 이 검색어는 ‘Big Data’이다. 빅데이터는 이제 더 이상 구글링을 하지 않아도 될 만큼 신생기술에서 벗어나 전자산업에서의 반도체 위상에 버금가는 자리를 도전하고 있다. 앞서 반도체가 모든 전자제품을 소형화 고성능으로 변환하면서 스마트폰을 시작으로 AI, IoT 등 IT기기들을 고도화 하였듯이, 빅데이터는 고도화된 기기를 움직이게 하는 혈맥이 되어 우리가 상상할 수 IT 있는 모든 비즈니스를 디지털 변환(digital transformation) 시키고 있다. 엔지니어들은 빅데이터를 효과적으로 다루기 위해 컴퓨터 메모리 및 데이터 베이스 등 프레임워크를 변형하여 이른바 맵리듀스, 하둡 등과 같은 빅데이터 기술을 등장시키고 인터넷 기업을 중심으로 이 기술을 앞 다투어 활용하여 더 많은 데이터가 생성되고 수집되면서 빅데이터는 '더 큰 데이터'가 되어가고 있다 . 그 결과 IoT와 함께 SNS, 유투브, 이메일 등 인터넷에서 매일매일 쏟아지는 데이터 양은 2.5 Exabyte로 인류가 사용한 모든 단어의 절반에 달한다고 한다. 이처럼 폭발적으로 증가하는 데이터는 아무도 막지 못한 채 우리가 접하며 살아가는 인터넷 공간을 공기와 같이 가득 채우고 있다. 또한 쓰나미 처럼 몰려오는 데이터는 더 빠르게 그리고 광범위하게 과거(there and then)를 덮어 가면서 오늘(here and now)을 열어 가고 있다. 빠르게 생성되는 데이터는 더 빠른 데이터 처리 성능이 필요하고 나아가 더 빠른 의사결 정을 요구한다. 잘못된 의사결정을 피하기 위하여 더 오랜 시간을 기다리는 일이 이제는 뒤늦은 결정이 되어 경쟁 상대를 필적하기 어렵게 할 수도 있다. 아마존과 같이 변화에 기민한 기업에게 전통적인 의사결정방식은 너무 느려 그다지 도움이 되지 못할 것이다. 한편 거의 매 2년 마다 두 배씩 증가하는 데이터의 90%는 비정형적(unstructured data)이다. 즉 숫자가 아닌 텍스트 소리 영상들이다. 우리가 지금 세상에서 무슨 일이 일어나는지를 알기 위해 숫자만을 들여다본다면 아마도 10%의 샘 플로 모집단을 추론하는 통계적 과정을 매일 무한히 반복하고, 결국은 메말라 버리는 사막의 오아시스 샘물 주변에 웅크리고 있는 우리의 모습을 보게 될 것이다. 특히 텍스트(text data)는 인류 문화를 총체적으로 담고 있는 가장 오래된 빅데이터로서 우리가 단순히 듣고 보는 소리와 영상을 우리의 감성과 해석이 담겨진 음성과 모습으로 탈바꿈 시키는 인간화된 데이터(humanizing data)를 제공 하는 점에서 주목할 만하다. 이를 위해서는 텍스트 마이닝 절차를 통하여 비정형적인 텍스트를 컴퓨터에서 처리가 용이한 정형적 데이터로 변환하게 되는데 이 과정을 거치고 나면 빈도, 상관성 등 간단한 통계량만으로 글자언어로 표현된 시 소설 트윗 유투브 , , , , 댓글 상품평 등에 내재된 메시지를 새롭게 발견하도록 돕는다. 작년 5월에는 중국에서 시를 쓰는 인공지능 로봇(Xiaoice)이 세상에 알려졌다. Xiaoice는 1920년 이후 중국의 현대시인 519명의 작품 모두를 스스로 학습하여 2,760시간 동안 1만여 편의 시를 쓰고 이 가운데 139편을 선정하여 시집을 펴냈다. 시집의 제목인 ‘Sunshine misses Windows’도 직접 지었다고 한다. 한 명의 작가가 이런 똑같은 작업을 거친다면 약 100년이 소요될 것이라 한다. 일부에서는 이러한 시 쓰기 작업이 단순한 언어의 나열에 불과하고 인간이 간직한 영혼을 담을 수 없다고 한다. 또한 이렇게 작성된 시는 모방의 일부로 인간의 진정한 감성을 드러내지 못한다고 주장한다. 그러나 어린 아이의 인지발달을 이해한다면 데이터의 발달이 인간화 과정이라는 새로운 여정을 가고 있다는 것을 어렵지 않게 발견할 것이다. 앞으로 텍스트 데이터는 차세대 빅데이터(next generation of big data)가 되어 인공지능과 딥러닝 기술과 결합하면서 그 활용 범위를 넓혀 우리의 사고와 추 론 과정을 빠르게 대신해 나갈 것이다. 또한 과거 소수의 사람만이 할 수 있었던 창의적 사고를 좀 더 대중적으로 가능케 할 수 있을 거라 기대한다. 지금 우리가 준비하지 않는다면 내일은 AI-bot이 할 것이다.

현대사회에서는 데이터가 넘쳐난다. 지난 30년간 데이터의 처리능력, 저장장치, 통신속도 등의 급속한 발전에 따른 것이다. 그렇지만 우리는 여전히 필요한 정보를 충분히 찾을 수 없고 심지어 답을 찾기 위한 질문조차도 명확히 할 수 없는 상황에 종종 맞닥뜨린다. 결국 이제는 데이터의 양 자체가 아니라 데이터를 효율적이면서도 신뢰할 수 있는 방법으로 활용할 수 있는지 여부가 더 중요해졌다. 빅데이터 분석은 이러한 데이터 범람의 시대에 새로운 비즈니스 기회를 발견하게 해주는 생각의 도구로 볼 수 있다. 전통적인 데이터 분석에서는 제한된 범위에서 주어진 질문에 대한 답을 찾는다. 한정된 변수를 대상으로 사전적 관계를 반영해 모형을 구성하고 모수를 추정한다. 그리고 추정된 통계량이 적합하면 그 모형을 갖고 설명한다. 그러나 빅데이터 분석은 이러한 제한을 두지 않는다. 새로운 데이터 원천을 포함한, 표본이 아닌 전수 데이터를 고려한다. 그렇게 함으로써 ‘우리가 한 일’만을 분석하는 것이 아니라 ‘우리 주위에서 일어나는 일’을 매우 폭넓고 상세하게 분석한다. 그리고 지금껏 경험하지 못한 연관관계를 파악하면서 빠르게 해답을 찾기 위한 질문을 구체화해 나갈 수 있다. 아울러 더 많은 데이터를 고려함으로써 더 정확한 통찰력도 얻을 수 있다. 이러한 빅데이터의 발견 과정은 생각의 도구인 은유와 흡사하다. 은유는 원관념에 다른 특성을 가진 보조관념을 더함으로써 본래 관념으로는 전달할 수 없는 의미를 표현한다. 프랑스의 철학자 리쾨르가 ‘은유는 일상언어에서 드러나는 것과는 다른 현실의 장을 발견하고 밝혀주는 데 기여한다’고 밝혔듯이 빅데이터는 은유처럼 창조적인 사고의 도구로 우리가 세상을 새롭게 발견하도록 도와준다.