제 농담을 꼽으로 알아듣는데 어떡하죠

조직장을 맡은 지 얼마 안 된 팀장입니다. 저는 팀 분위기가 편해야 시너지가 난다고 믿습니다. 그래서 평소 제가 먼저 농담도 건네며 편하게 대하려 노력했습니다. 특히 한 대리가 늘 리액션 좋게 웃어줘서, 저는 저희 팀이 아주 화기애애한 줄만 알았죠. 그런데 어제 입사 6개월 차 신입과 1 on 1 면담을 하다 충격적인 말을 들었습니다. 회사 생활 어떠냐고 물었더니, 제 농담이 꼽주는 것 같아 스트레스를 받는다고 하더군요. 당황해서 곧바로 해명했습니다. 전혀 그런 의도가 아니었고 친해지려고 한 거라고요. 하지만 신입은 쐐기를 박았습니다. 자기 혼자만의 생각이 아니라는 겁니다. 다른 팀원들 모두 제 농담이 뼈 있고 부담스럽다며 뒤에서 얘기한다는 겁니다. 머리를 세게 한 대 맞은 기분이었습니다. 솔직히 배신감도 컸습니다. 연차나 칼퇴 관련해서 가볍게 농담한 적은 있습니다. 하지만 맹세코 그걸로 업무상 불이익을 준 적은 단 한 번도 없습니다. 그런데도 면전에서 필터링 없이 직설적으로 쏘아붙이니, 팀장이기 전에 저도 사람인지라 상처를 꽤 받았습니다. 나름 권위의식을 버리고 요즘 세대에 맞춰 다가가려 애쓴 건데 말이죠. 웃자고 한 말도 다 부정적으로 받아들여지니, 팀원들과 허물없이 지내는 게 너무 어렵게만 느껴집니다. 당분간은 그냥 업무적인 얘기만 하는 게 맞을까요? 제가 앞으로 어떻게 하면 좋을지 고견 부탁드립니다.