팀장 입 간수 못하는거 진짜 짜증나네요

안녕하세요. 직장 생활 중 너무 스트레스받는 일이 있어 다른 분들의 조언을 구하고자 글을 올립니다. 저희 팀장님은 평소에 리멤버 커뮤니티를 자주 보시는 편인데, 어쩌면 이 글도 보실지 모르겠네요. 보시고 본인 이야기라는 걸 조금이라도 깨달으셨으면 하는 마음도 솔직히 있습니다. 가장 스트레스받는 부분은 '단둘이 나눈 스몰톡 내용을 굳이 다른 사람들 앞에서 공개적으로 들먹이는 행동'입니다. 예를 들어, 팀장님과 여유 시간에 어떤 주제로 가볍게 대화를 나눈 적이 있다고 치면요. 나중에 주변에서 그 주제나 비슷한 이야기가 나올 때, 제가 그 대화에 참여하고 있지도 않은데 굳이 저를 끌어들입니다. 꼭 들으라는 듯이 "(제 이름) 씨는 이렇다던데~", "(제 이름) 씨가 그렇게 말하더라고요" 같은 식으로 제 이름을 언급하십니다. 문제는 저와 팀장님이 허물없는 사이가 아니라 딱 딱딱한 비즈니스 관계라는 점입니다. 그러다 보니 제가 전혀 동조할 마음이 없거나, 가볍게 넘긴 주제인데도 제3자가 보기에는 제가 적극적으로 동조한 것처럼 상황이 만들어져 버립니다. 들을 때마다 정말 곤란하고 난처해집니다. 본인은 유머러스하게 분위기를 띄우려고 던지는 말인 것 같은데, 당하는 사람 입장에서는 전혀 유머가 아니라 무례함으로 다가옵니다. 이런 일이 한두 번이 아니다 보니 이제는 팀장님과 가벼운 일상 대화조차 나누기가 꺼려지고 엄청난 스트레스가 되네요. 게다가 더 힘든 건, 다른 사람들이 가볍게 던진 농담은 전혀 농담으로 받지 못하신다는 점입니다. 주변에서 "방금 건 그냥 농담 아닌가요...?" 하고 당황해 할 정도로 누가 봐도 가벼운 대화인데, 혼자 진담으로 받아들이고 "나 상사로서 상처받았다"라는 식으로 반응하십니다.(본인은 진심이라고 말하세요 항상) 타인에게는 유머라는 핑계로 쉽게 선을 넘으면서, 본인은 작은 농담에도 방어적으로 나오시니 솔직히 사람 대 사람으로서 너무 안 맞고 대화하기가 무섭습니다. 이런 상사 밑에서는 앞으로 스몰톡을 전면 차단하고 철저하게 업무 얘기만 하는 게 답일까요? 혹시 비슷한 경험이 있으신 분들은 어떻게 대처하셨는지 현명한 조언 부탁드립니다.