인정 받는 중이라 이직하는게 걱정됩니다

안녕하세요 처음 이직 생각 중에 있는 직장인입니다 지금 회사에서 4년 반 정도 다녔습니다 이직제안은 여러번 받았으나 늘 제가 준비가 안된거 같아서, 혹은 뭔가 배신(?) 이랄까요 다들 저를 신뢰해 주는데 제가 그 기대를 못다하는 것 같아 거절했는데 요즘 고민이 됩니다.. 새로운 업무를 배우고 뭔가 발전하고 싶은데 한편으로 지금 제가 인정받는 상황을 박차고 나가는 게 잘못 판단 하는 것 같다는 생각도 듭니다 제가 뛰어난 것도 아니고 그냥 맡은거 잘하면 좋고 못하지만 말자 하는데 과대 평가 되는 것같고 정도 들고요,, 이직 할 때 사람 사이에 관계가 걸리는 거 다들 그런 건가요?