이직 과정이 쉽지않네요.. 조언 부탁드려요

안녕하세요. 이직을 마음먹은 30대 초반 남성입니다. 현재 다니는 회사는 지인 소개로 들어가게 되었고, 중견기업에 연봉은 전 회사와 큰 차이가 없습니다. 좀 더 큰 회사에서 일하고 싶다는 생각 하나로 업종도 다른 곳으로 이직을 하게 되었으나 업무량과 팀 분위기 모든 것이 맞지않아 4개월만에 또 다시 이직을 결정하게 되었습니다. 참고로 평균 업무 시간이 주 70~80시간에 주말출근도 잦은 편입니다. 이직하려는 곳은 직전에 다녔던 회사이고 중소기업이지만 팀원들과의 시너지, 워라밸이 너무 좋았습니다. 무슨 욕심에서인지 좀 더 큰 곳에서 일하고 싶다는 생각 하나로 뛰쳐나왔었는데.. 다시 돌아갈 수 있냐고 하니 언제든 돌아오라고합니다. 이전과 대우는 똑같이 해준다고 합니다. 물론 지금보다 직급도 낮춰야하고 연봉도 조금은 낮습니다. 신혼이고 아이생각도 있는지라 워라밸이 제일 중요하다고 생각하고, 성공도 중요하겠지만 저는 가정이 제일 중요하다고 생각합니다. 그런 이유에서 이미 충분히 고민한 끝에 퇴사를 결심했고 부서와 인사팀에도 의사를 전달했는데, 계속 “조금 더 고민해봐라”, “다른 데 가서 무슨 비전이 있겠냐”, “회사 내 지인과 인연도 있는데 왜 나가냐”는 말을 듣다 보니 제가 너무 성급한 건가 싶기도 합니다. 회사 규모나 경력만 생각하면 남는 게 맞는 것 같고, 삶의 질이나 지속 가능성을 생각하면 나오는 게 맞는 것 같은데요. 여러분이라면 이런 상황에서 어떻게 하실 것 같나요?