AI/빅데이터

데이터 스플릿 문제

20년 10월 08일 | 조회수 252
후무스

안녕하세요? 프로젝트 하면서 모델 만들다보면, 자료에 시간이 있는 것이 있지 않습니까? 고객은 가장 최신의 데이터는 학습에 사용시키지 말고 테스트 데이터로 따로 떼서 해달라하고, 제가 생각하기에는 가장 최신의 데이터도 일부 뗴어내서 모델이 포함을 해야된다고 생각이 들거든요. 최신 트렌드를 반영 하려면 이 방법 밖에 없는데요. 고객이 또 하는 말이 최종 모델에서는 데이터를 다 넣고 학습을 다시 시키면 되지 않냐고하는데, 이렇게 하면 또 최종 모델 검증이 못하는 딜레마가 있네요. 오버피팅이 될 거 뻔하거든요. 시계열특성이 있는 데이터에서, 데이터 스플릿과 오버피팅 문제 혹시 어떻게 업무에서 해결하고 계신가요?

댓글 8
공감순
최신순
    후무스
    작성자
    20년 10월 12일
    다들 비슷한 문제를 겪고 계시니보네요.
    다들 비슷한 문제를 겪고 계시니보네요.
    답글 쓰기
    0
    지금 바로 리멤버 회원이 되어
    모든 댓글을 확인하세요
    리멤버
    @멘션된 회사에서 재직했었음
    19년 05월 28일
    회사에서 풀지 못한 고민, 여기서 회사에서 업무를 하다가 풀지 못한 실무적인 어려움, 사업적인 도움이 필요한 적이 있으셨나요? <리멤버 커뮤니티>는 회원님과 같은 일을 하는 사람들과 이러한 고민을 해결할 수 있는 온라인 공간입니다. 회원 가입 하고 보다 쉽게 같은 일 하는 사람들과 소통하세요
    회사에서 풀지 못한 고민, 여기서 회사에서 업무를 하다가 풀지 못한 실무적인 어려움, 사업적인 도움이 필요한 적이 있으셨나요? <리멤버 커뮤니티>는 회원님과 같은 일을 하는 사람들과 이러한 고민을 해결할 수 있는 온라인 공간입니다. 회원 가입 하고 보다 쉽게 같은 일 하는 사람들과 소통하세요
    답글 쓰기
    0
    리멤버
    @멘션된 회사에서 재직했었음
    19년 05월 28일
    일하는 사람과 기회를 연결하여 성공으로 이끈다
    일하는 사람과 기회를 연결하여 성공으로 이끈다
    답글 쓰기
    0
추천글
대표전화 : 02-556-4202
06235 서울시 강남구 테헤란로 134, 5,6,9층
(역삼동, 포스코타워 역삼) (대표자:최재호, 송기홍)
사업자등록번호 : 211-88-81111
통신판매업 신고번호: 2016-서울강남-03104호
| 직업정보제공사업 신고번호: 서울강남 제2019-11호
| 유료직업소개사업 신고번호: 2020-3220237-14-5-00003
| 국외 유료직업소개사업 신고번호: F1200020240004
Copyright Remember & Company All rights reserved.