아버지 제사를 없애고 싶은데 어떡하죠

안녕하세요. 마흔 중반의 남성입니다. 아버지는 3대독자로 할아버지가 사고로 일찍 돌아가시고 고모3분과 홀어머니 밑에서 귀하게 자라셨습니다. 본인이 좋아야 다른 사람들도 좋다는 마인드로 자라셔서 본인 하고싶은거 다하시며 사셨습니다. 시골에 머슴도 몇명 둘정도로 잘 사셨지만 고모들은 학교도 안보내고 아버지만 학교를 보내셨고 이후 아버지도 사업한다고 시골집이랑 논, 산까지 다 팔아서 날렸습니다. 이후 주식한다고 주변 사람들한테 빛을 2억넘게 지고 제가 초등학교때 단칸방으로 이사를 가게 되었습니다. 저는 중3때부터 새벽신문배달을 하고 고등학교때는 장학금으로 학교를 다녔지만 동생은 돈이 없어 고등학교 진학을 못하고 중국집 배달을 하다 1년뒤에 하였습니다. 아버지는 돈을 벌어도 집에 가져 오지않고 주변사람들에게 쓰거나 주식에 투자하였습니다. 가족들에겐 쓰래기지만 밖에선 좋은 그런 사람이었습니다. 덕분에 어머니는 저희 갓난애기때부터 야쿠르트 배달일 하시고 아침마다 이웃들한테 돈빌리러 다니셨습니다. 아버지가 매일밤마다 소리지르고 돈구해오라고 하셔서요. 이런것 말고도 너무 많은 일들이 있지만 이만 적겠습니다. 중요한건 아버지가 부인이 두명이라는 겁니다. 첫번째 부인 밑으로 누나7명 있고 저희 어머니 밑으로 저랑 남동생이 있습니다. 이혼 이런게 아니라 그냥 동시에 부인 두명이랑 당당하게 두집 살림하신겁니다. 문제는 아버지가 10년전에 돌아가시고 제가 벌초와 제사를 지내고 있는데 이걸 그만하고 싶다는겁니다. 처음엔 잘오던 누나들도 이제 뜸해지고 제사때2~3명만 오고 따로 연락도 하지않고 딱 1년에 한번 이분들만 보는게 다입니다. 어머니는 그래도 제사 없애면 누나들이 서운해하지 않겠냐고 하시고 제 와이프도 제사 지내는건 상관없다고 합니다. 그런데 저는 인간적으로 아버지라는 분이 싫고 이제 모든걸 다 놓고 싶은 마음입니다. 원래 동생이랑 저는 결혼 생각도 없었습니다. 이런 사람을 다른사람에게 가족이라고 소개하는것 조차 싫었습니다. 작년 제사때도 제사끝나고 밥먹는데 티비에서 가정폭력 프로그램이 나와서 제가 아버지는 운이 타고났다. 지금이었으면 감옥갔다고 저희 형제가 겪은 일을 이야기 하니 믿을수없다고 기분 나빠 하시더군요. 그쪽집에는 상냥했었나 봅니다. 그래서 더 제사를 없애고 싶은 마음이 듭니다. 어머니랑 와이프는 제사없애면 누나들이 머라고 하지 않을까, 머라고 설명할거냐 걱정이던데 누나들 기분 안나쁘게 잘 해결할 방법이 있을까요? 제가 아무리 생각해도 서로 잘 해결할 방법이 생각나지가 않습니다. 인생 선배님들의 조언 부탁드립니다.