소기업으로 이직하면 커리어 망할까요?

지금 규모 150명 정도되는 IT 기업에 근무중입니다. 회사는 점점 사정이 어려워지고 있고 제가 하는 일도 크게 포트폴리오로 만들만한 일이 없고 무엇보다 적성에도 안맞고 하기싫은 일에 맞지 않은 사람들과 계속 함께 해오다보니 스트레스로 인한 대인기피증에 걸렸습니다. 불안장애도 너무 심해진 상황이라 정신과도 다니고 있습니다. 원래는 퇴사를 하고 쉬려고 했습니다. 계속 꿈에 회사 사람들이 나오고 자다가 울고를 반복하다보니 몸이 너무 망가지는 것 같아서요. 그런데 쌩퇴사는 무서워서 업계에 아는 대표님을 찾아가 알바자리를 구했었습니다. 대표님은 5인 미만 회사를 운영하시는 분인데 마침 사람을 구하고 계신 상황이었습니다. 만나서 이런저런 이야기를 하다보니 만들고 계신 서비스가 굉장히 매력있고 재미있어 보였습니다. 물론 작은 회사이지만 제가 잘할 수 있는 분야에서 기여하고 싶었고 대표님도 제가 그렇게 해주기를 원하시는 상황입니다. 쉬면서 알바정도 하는 것으로 생각했었는데 정규직 제의를 받은 상황인데요… 혹시 이런 소기업에서 일하면서 제품을 A부터 Z까지 만들어보고 고객 유치에도 성공적으로 기여한 경험을 잘 포트폴리오와 이력서에 녹여낼 수 있다면.. 다음번에 크고 좋은 회사로 이직하는데 문제는 없을까요?