퇴사하려는데 너무 곤란하네요..

안녕하세요. 익명의 힘을 빌려 퇴사 관련 고민을 여쭙습니다. 현재 저는 4명이 전부인 팀에서 근무 중입니다. 최근 팀원 전원이 “현재 프로젝트가 끝나면 퇴사하겠다”는 의사를 밝힌 상황이고, 저 역시 같은 생각입니다. 다만 4명이 동시에 퇴사하는 것은 조직에 큰 부담이 될 수 있다고 판단해, 팀원들끼리 논의한 결과 - 프로젝트를 잘 마무리하고 신규 인력을 채용한 뒤 최소 1명은 인수인계를 완료하고 퇴사하자 는 방향으로 의견을 모았고, 바로 위 상사에게도 전달한 상태입니다. 문제는 그 윗선의 상사입니다. 제가 팀에서 가장 오래 근무한 사람이다 보니, “퇴사 분위기를 주도했다”는 오해를 받을 가능성이 큽니다. 해당 상사는 성향상 타인의 의견을 잘 받아들이지 않는 편이고, 감정 기복도 있어 퇴사 의사를 밝힐 경우 남은 기간 동안 상당한 스트레스를 받을 것 같습니다. (사람 무시 등..) 실제로 이전 퇴사자들도 비슷한 경험을 했습니다. 사실 저 역시 이러한 조직 문화 때문에 퇴사를 결심하게 되었습니다. - 인신공격성 발언이나 무시 - 특정 인원에 대한 편애 - 회식 참석이나 개인적 맞춤을 요구하는 분위기 - 업무 우선순위에 대한 비합리적인 지적 이런 상황이 반복되면서 스스로를 탓하게 되었고, 현재는 멘탈적으로 더 버티기 어려운 상태입니다. 이런 상황에서 저는 어떻게 행동하는 것이 좋을까요? 퇴사를 미루는 것이 맞을지, 아니면 계획대로 진행하는 것이 맞을지 조언을 부탁드립니다. 혹시 제가 놓치고 있는 부분이나, 냉정하게 짚어주실 부분이 있다면 말씀 주셔도 감사하겠습니다. 아 참고로 저는 이 회사가 첫 회사로 6년 정도 다녔습니다..!