고객사에서 밥 먹자고 하는데 거절해도 될까요...

업무상 고객사 담당자분들이랑 메일이나 슬랙으로 필요한 얘기만 주고받는 정도고, 실제로 얼굴 뵙는 건 한 달에 한 번 정도 대면 미팅 있을 때뿐입니다. 고객사 담당자 한 분이 처음엔 그냥 친절하신 분이구나 정도로만 생각했어요. 가끔 슬랙으로 야근하시냐, 고생 많으시다 정도의 메시지를 보내신다거나 회의 끝나고도 이런저런 잡담을 조금 하시길래 원래 사교성이 좋으신가 보다 했거든요. 가끔 친목 겸 고객사분들이랑 다 같이 점심 먹거나 회식할 때도 있는데 그럴 때면 항상 제 옆이나 맞은편에 앉으셔서 말을 붙이셔서 조금 친해지긴 했습니다. 그런데 갑자기 저한테 개인적으로 밥 한 번 먹자는 연락이 왔어요. 고객사 담당자 분이라 딱잘라 거절하기도 조심스러운데... 업무 얘기도 할 겸 편하게 식사 한 번 하자고 하시길래 진짜 업무 관련인 줄 알고 "다른 분들도 같이 오시나요?"라고 물어봤거든요. 그랬더니 이번엔 둘이서 편하게 보자고 답장이 왔었어요.. 순간 조금 당황했는데 제가 너무 확대해석하는 건가 싶어서 "앗 제가 요즘 일정이 좀 바빠서요 ㅠㅠㅠ" 하고 적당히 넘겼어요. 그랬더니 며칠 뒤에 또 연락이 와서 그럼 일정 괜찮아질 때 알려달라고 하십니다. 사실 업무적으로는 저랑 그렇게 다이렉트로 접점이 많은 분도 아니고 굳이 둘이 따로 만날 이유도 전혀 없는 관계라서요. 얼굴을 계속 봐야 하는 상황인데 바쁘다는 핑계로 계속 거절해도 되는 상황일까요? 업무 얘기도 하자고 하시니 한번쯤은 자리 가지는 게 맞나 싶어서요. 이걸 또 팀장님께 따로 말씀드려야 하는 건지....