제 자취방에서 자고 가겠다는 과장님 때문에 미치겠네요

회사 근처에서 혼자 자취하는 게 이렇게 독이 될 줄은 몰랐습니다. 몇 달 전 부서 회식하고 2차까지 끝났는데 어쩌다 보니 남직원들만 남아 있어서 저희 집에서 3차를 하자는 얘기가 나왔습니다. 오해하실까봐 말씀드리자면 저도 남자입니다. 그땐 저도 많이 취했고 회사 직원들이랑 가깝게 지내니까 집 오픈하는 거에 문제가 될 꺼라고는 생각 못했습니다. 거기서 과장님이 너무 취하셔서 다른 분들은 집에 가시고 과장님은 미혼에 집도 경기도라 그냥 저희 집에서 재워드렸습니다. 회사까지 걸어서 10분 거리라 다음 날 출근하면서 너무 편하다고 몇 번을 얘기하더라고요. 저한테 고맙다면서 소고기 오마카세를 따로 사주셨습니다. 비싼 밥 얻어 먹어서 너무 감사하기도 하고, 제딴에는 사회생활 한답시고 나중에라도 주무실 곳 필요하시면 말씀하시라고 해버렸고요. 솔직히 덥썩 오케이 할 줄은 몰랐거든요. 근데 그뒤로 본인 지인들이랑 사적으로 술먹고 늦게까지 노는 날이면 저한테 연락이 오네요. 처음에 한두번은 저도 거절 못하고 문 열어드리긴 했습니다. 이미 뱉은 말도 있기도 해서요. 이건 진짜 후회중입니다. 근데 올초부터 거의 한 달에 두세번씩은 오니까 너무 스트레스 받아서 최근엔 잠들어서 연락 못 받은 척 해봤거든요. 그랬더니 몇 주 전에는 집앞까지 찾아와서 초인종을 누르더라고요. 주변에 피해갈까봐 열어드릴 수 밖에 없었고요. 저는 새벽에 과장님 때문에 깨니까 너무 스트레스고, 전 멀쩡한데 꽐라 상대하는 것부터가 짜증나네요...ㅠ 아무리 친하다고 해도 직장 상사랑 아침에 같이 씻고 출근 준비 하는 것도 불편하고요. 평소에 저를 잘 챙겨주시는 분이라 관계가 틀어질까 봐 차마 대놓고 뭐라고 말을 못하겠네요. 밥도 얻어먹고 제가 언제든 오라고 말했으니 자업자득 같긴 한데 아무리 그래도 부하 직원의 집을 이렇게까지 편하게 들락거리는 건 너무 눈치가 없는 것 아닌가 싶습니다... 회사 생활에 지장을 주지 않으면서 앞으로 오지 말라고 거절하고 싶은데... 방법이 있을까요... 집단지성의 힘을 빌려봅니다