명세서 신고지연으로 인한 가산세 어떻게 해결하시나요

회사에서 인건비업무보고있습니다. 작년에 담당자 퇴사 후 해보지도 않은 업무 받아서 개같이 일했네요. 근데 퇴직금지급명세서 제출을 매년 3월에 해야되는데 작년부터 안하고있었습니다. 인수인계자료에도 없고 세무서에서 연락도 없었으니 해야하는지도 모르고있다가 이번년도에 제출안됬으니 작년것까지 내라고 연락이 온거에요. 근데 문제는 지연제출에 대한 가산세를 내야된다는건데 이게 작년것까지해서 거의 8백만원입니다. 보고하니 제가 내야될 수도 있다고하니 개빡쳐서 일이 손에 안잡힙니다. 급여, 세무하시는 분들 이런 케이스 있으신지, 어떻게 해결해야하는지 여쭤보고싶네요. 세무서든 회사든 싸워보려구요