안녕하세요? 프로젝트 하면서 모델 만들다보면, 자료에 시간이 있는 것이 있지 않습니까? 고객은 가장 최신의 데이터는 학습에 사용시키지 말고 테스트 데이터로 따로 떼서 해달라하고, 제가 생각하기에는 가장 최신의 데이터도 일부 뗴어내서 모델이 포함을 해야된다고 생각이 들거든요. 최신 트렌드를 반영 하려면 이 방법 밖에 없는데요. 고객이 또 하는 말이 최종 모델에서는 데이터를 다 넣고 학습을 다시 시키면 되지 않냐고하는데, 이렇게 하면 또 최종 모델 검증이 못하는 딜레마가 있네요. 오버피팅이 될 거 뻔하거든요. 시계열특성이 있는 데이터에서, 데이터 스플릿과 오버피팅 문제 혹시 어떻게 업무에서 해결하고 계신가요?

얼마전만해도 mlops, ml 파이프라인이라는 말이 없었는데 최근들어 자주 들리고 이 분야로 채용하는 곳이 많아지네요. 클라우드사들도 이쪽 관룐 기능을 걔속 만들고 있고요. ml이 점점 더 실서비스에 적용되고 있는 단계로 생각되네요. 아직 이 쪽은 인력이 많이 없는 거 같은데 현업분들은 어떻게 생각하시나요?

전 개인적으로 자산배분 투자에 관심이 많아지면서, 퀀트쪽과 관련된 공부를 조금해보았습니다. 그런 저에게 위 제목의 메일로 pdf가 왔네요. 미국 CFA연구재단에서 만든 자료입니다(아쉽게도 영어 입니다.) 간단히 내용을 살펴보니 주로 포트폴리오 관리와 트레이딩, 리스크 관리쪽에 AI의 초점을 맞춘것 같습니다. 소개쪽에서는 AI와 ML(머신러닝)의 트랜드를 살펴보고 주요 키워드도 정리가 되어 있습니다. 테크니컬 키워드로는 ANN(인공신경망), Decision Tree & RandomForests, SVM, LASSO, Cluster Analysis(군집분석), Evolutionary(Genetic) 알고리즘 , NLP 의 트랜드도 살피고 있습니다. 그래프상에서 보면 신경망기반 딥러닝과 NLP(자연어처리)가 급성장한것으로 보입니다. 익숙한 용어들도 있는데 유전자 알고리즘(Genetic Algorithms)은 저도 처음 본 부분이네요. 포트폴리오 관점에서는 LASSO, 인공신경만, Support Vetcor Machine을 이용해 기대수익률을 계산하고 분산(Variances)공분산(Covariances)을 계산하는데도 사용하고 있다고 합니다. 포트폴리오 최적화에서는 유전자알고리즘(Genetic algorithms)과 인공신경망을 이용한다고 합니다. 그밖에 로보어드바이저(Robo-Advisor)등에도 사용되고 있다고 하네요. 금융쪽의 자산관리(Asset Management)시장에서 AI활용에 관심 있으신분들은 보시면 많은 도움이 될것 같습니다. 각 분야별로 사용되는 기술과 논문레퍼런스와 샘플데이터에 대한 부분도 함께 있으니, 같이 보시면 좋을것 같습니다. pdf링크는 아래와 같습니다. https://www.cfainstitute.org/-/media/documents/book/rf-lit-review/2020/rflr-artificial-intelligence-in-asset-management.ashx -목차- 1. Introduction............................. 2. Trends in Artificial Intelligence 3. Portfolio Management............. 3.1. Alpha and Sigma................... 3.2. Portfolio Optimization.......... 4. Trading...................................... 4.1. Algorithmic Trading.............. 4.2. Transaction Cost Analysis.... 4.3. Trade Execution.................... 5. Portfolio Risk Management..... 5.1. Market Risk............................ 5.2. Credit Risk............................. 6. Robo-Advisors......................... 7. Artificial Intelligence Risks and Challenges: What Can Go Wrong? 8. Conclusion................................

최근에 팀원의 성장을 경험하면서 내가 걸어온 길을 잘 돌아봐야 한다는 생각이 들었네요 저도모르게 답답해하고 팀원이 지금 어떤 부분을 헤매고 있고 어려워하고 있는지 이해를 못하고 있더라고요. 그래서는 될 것도 안 되고, 성장가능성을 짓밟는 것인데 말이죠. 답답해하다, 제가 저 연차때 어땠지를 돌아보니까 문제 해결의 실마리가 보이더군요.. 자신감을 높여주고 자연스럽게 디렉션을 주고... 오늘 오후의 느낀점이라 공유해봅니다. ㅋㅋ

최근 AI가 핫합니다. AI전문가는 물론 AI개발자도 많이 필요한 것 같습니다. 취직이나 이직을 할 경우 AI관련 자격증이 필요할까요?

저희 커뮤니티에 종종 올라오는 GPT-3 얼마전에 주월님이 마소가 gpt3라이센스를 독점으로 가졌다는 소식을 전해주시기도 했고 Jamie님께서도 가끔 소개해주시기도 하셨죠. GPT-3에 대해서 찾아보니 머신러닝 방식의 자연어 기반 AI 3세데 모델이라고 나오는데 (Generative Pre-trained Transformer)라고 되어 있네요. 유튜브에서 검색해보니 조코딩님께서 올린 영상이 개념과 응용하는 사례까지 정리해서 알려주시니 확실히 감이 옵니다. 영어가 아닌 자연어처리 에서 한국어의 특수성이 조금 있긴하지만, 한국어 자연어 처리로도 저런 단계가 금방 올 것 같기도 하네요. 소개하는 영상에서는 API를 통해서 gpt-3를 이용한 10가지 케이스를 소개하는데, 개인적으로 SQL쿼리를 해주는건 참 탐이 나네요. 제가 IT부서이다 보니 이런게 한글로도 구현이 된다면 현업담당자들도 직접 SQL안배우고 할수도 있겠구나 이런 생각도 들고, 반면에 이러다 보면 왠만한 프로그래밍도 다 AI가 하면, 단순 코딩하는 개발자들은 살아남기 어렵겠구나 이런 생각도 들어 섬득하기도 합니다. 유튜븡 영상 한번 보시고 GPT-3란 녀석의 수준을 한번 체감해보시고 앞으로의 변화에 대해서도 한번 같이 고민해보시죠. --------------------------------------------------------- 유튜브 영상 링크 ==> https://www.youtube.com/watch?v=I7sZVrwM6_Q ● 영상에서 소개된 10가지 사례 1 React 앱 코딩하는 인공지능 2 SQL 쿼리 제작 인공지능 3 디자인 해주는 인공지능 (Figma) 4 엑셀 인공지능 함수 5 이메일 작성 인공지능 6 문장 변환 인공지능 7 소설 쓰는 인공지능 8 밈(Meme) 생성 인공지능 9 인공지능 검색엔진 10 재무제표 작성하는 인공지능

보통 ai 분야에서 토치, tf, numpy를 많이 쓰는데요. 혹시 성능을 극한으로 끌어올는 분야에 계신분들은 어떤거 쓰시나요?? numba, jax 처럼 퍼포먼스 좋은 라이브러리들이 점점 커지는데 그 수요가 궁금하네요. https://github.com/numba/numba https://github.com/google/jax

아래 기사는 한경의 2020.09.23.일자 기사입니다. [AI 이야기]인간을 넘어선 이미지 인식 기술…객체 탐지에서 분류, 영역 분할까지 자유자재 https://magazine.hankyung.com/business/article/2020092301295000511 여기를 보닌 제가 단순하게 생각했던 이미지 인식에 대한 기술이 크게 3가지 영역으로 나누어져 있네요 1. 이미지 분류(Classification) 2. 객체 탐지 (object detection) 3. 이미지 영역 분할(image segmentation) 사진을 보고 강아지인지, 강아지라면 견종이 어떤건지 찾는게 1번 분류에 해당되고 스마트폰으로 사진을 찍을때 사람 얼굴을 인식하고 해당 사람에 포커싱을 하는게 객체 탐지라는 기능이라고 하네요. 마지막으로 세번째는 사진으로 된 이미지 전체 영역을 사물로 분할해서 어디까지가 배경이고, 어디영역이 각각의 사물인지 분류하는것으로 가장 고난도 기술이라고 합니다. 영역 분할의 경우 경계영역을 찾는게 가장 핵심인것 같습니다. 제가 이미지 인식을 업무에 적용해 보고 싶은 분야가 있습니다. 항공영상을 통해 특정 토지(필지라는 용어를 쓰기도 하는데요)의 영역의 변화가 있었는지를 자동으로 감지하여 대상을 추울하고 싶거든요. 이걸 이용하면 저희 회사 업무상에서는 관리하는 토지가 무단점유를 해서 사용중인건 아닌지? 그사이 변화(변경)가 있는건 아닌지를 자동으로 감지하여 선별이 되고 이를 업무 담당자에게 알려주어 조치를 취하게 할수 있지 않을까? 이런 생각을 해보고 있습니다. 그런데 아직은 저런 이미지 영역 분할이 어려운 영역이라고 하니~ 조금 더 공부를 해봐야겠습니다. 관련해서 최근에 DACON에서 위성영상 식별 대회가 있어서 한번 공부하면서 도전을 해볼까 생각중입니다. 관심있으신 분들은 이미지 관련 공부를 해보시는것도 재미있을것 같네요~ 근데 이런걸 처음 공부하는 사람 입장에서는 어떤 기술을 사용해야 할까요? R이나 Python 기반에서 하는 패키지나 라이브러리 같은게 있을까요? * DACON 아리랑 위성영상 AI 객체 검출 경진대회 https://newfront.dacon.io/competitions/official/235644/overview/

3명이 함께 진행하고 있는 업무를 하고 있습니다. 1명은 계획한바와 같이 진행되고 있고, 정기적으로 진행상황을 공유해줘서 저도 맞춰서 진행하고 있는데, 나머지 1명은 당췌 몇번을 얘기해도 진행도 안될 뿐더러 공유도 늦네요. 착하게 얘기하면 착하게 미안해할뿐 반복됩니다. 일부러 이러는지..능력이 안되는건지.. 닥달하지도 못 할 성격이라..답답할 지경입니다. 어떻게 끌고 가야 될까요ㅜ

전례 없는 성능을 보이는 gpt3를 마소가 독점 라이센스를 가졌다고 합니다. https://zdnet.co.kr/view?no=20200923105820#_enliple gpt3로 할 수 있는 비즈니스 모델이 어마어마할거 같은데 기대가 되면서 무섭기도 하네요

이번주 한경비지니스 AI섹션에 소개된 기사에서 엘리먼트AI 한국 지사장의 인터뷰 기사인데요. https://magazine.hankyung.com/business/article/2020092201295000471 이분의 경우 유튜브, 미디엄(Medium), 팟캐스트를 추천하셨네요. 저는 유튜브를 많이 보는 편은 아니지만 요즘은 거의 모든 정보가 유튜브에 꽤 많이 있어서 검색을 구글이 아닌 유튜브에서 먼저 해보는 경우도 많습니다. 그런데 너무 많이 나오니~ 이 중에 나에게 맞는걸 찾을때는 일단 조회수와 구독자수가 많은 컨텐츠 부터 보게 되더라구요. 미디엄의 경우 글의 깊이가 제법 있어서 저도 종종 보고 있는데 두번째 사진이 저의 미디엄 메인입니다. 요즘 시계열(Timeseries)과 이상치(Outlier)를 공부중이라 관련된 게시물이 먼저 보이네요~ 이분이 소개한 팟캐스트도 구독을 한번 해보려고 합니다. 여러분은 주로 어디서 AI트랜드와 정보를 얻으시나요? * 미디엄 https://medium.com/ * AI in business Podcast https://podcasts.apple.com/us/podcast/ai-in-business/id670771965

하시면 참석멤버는 어떻게 구성되고, 어느 주기로 어떤 방식으로 하시는지 여쭤봐도 될까요? 실제로 효과가 있는지도 궁금해요. 기술 뿐 아니라 배워야하고 도입해봐야하는 문화가 많네요. ㅎㅎ 심리적 안정감을 위해 노력중입니다..

중소기업 직원 11명내외되는 곳에 합격했습니다 사장님과 면접을 봤고요 합격은 했는데 좀 생각해본다고 월요일 날 면접보고 금요일날까지 연락 하겠다고 했는데 사장님이 수요일 까지 연락달라고 하더라고요 운영에서 개발로 가는 거라 개발쪽 경력은 그리 많지 않아서 연봉을 조금 깎이긴 했으나 조정을 해서 많이 깎이지는 않았습니다. 그런데 오늘 금요일 인데 아직 연락을 안해줬습니다 일도 있고해서. 전화는 이사님 통해서 하고 있었는데, 원래 개발 쪽에 관심이 많았고요 지금이라도 연락을 하는게 나을까요?

물론 리더로서 동기부여 해주는 거 중요한데, 너무하다 싶을 정도로 매 순간 '아 나는 이런 동기부여 떨어지는 곳에서 일하기 힘들어' 라는 표정과, 말... 등등을 달고 삽니다. 그게 제 역할이라지만 스스로 어느 정도는 참고 하는 것도 있어야 하는데, 그런게 없습니다. 엔지니어들은 자기 성장 욕구가 높은 편이고 해서 이런 경우 많이 못 느껴봤는데, 제가 팀운영을 크게 잘못하고 있는 건가 싶기도 하고요. 뭔가 '잘 되는 조직의 0가지 특징'같은 글 보고 그대로 현업에 와서 '왜 우리는 이렇게 못하냐'라고 외치는 것 같달까요. 참 힘듭니다.

도커, 쿠버네티스 업무에 얼마나 사용하시나요? 개인적으로 클라우드와 ml 는 궁합이 굉장히 잘 맞다고 생각하는데요. 쿠다 버전, 프레임워크 버전 등을 많이 타기도하고 gpu서빙이 있기도 하고요. 저희팀은 거의 모든 업무에 도커와 k8s를 사용하고 있습니다. 하지만 아직 mlflow나 kubeflow 와 같은 툴은 사용하지 못하고 있는데요. 아직 이런 툴을 제대로 활용할만한 수준은 아니고 인프라상 어렵더라고요. 당근마켓이나 42dots는 kubeflow를 빡세기 사용하는거 같던데 다른 분들 조직에서는 어떤 환경에서 업무하시나요?