제가 남직원 기를 죽이고 있대요

저랑 비슷한 시기에 입사한 남자 직원이 있는데 동갑입니다. 전 여자구요. 맡은 업무는 동일하지만 협업하는 구조는 아니고 각자 맡은 일만 처리하면 됩니다. 그 남직원은 일을 조금 느리게? 여유있게? 하는 편이라 보통 하루 업무를 6시까지 거의 딱 맞춰 마무리하는 편이라면 저는 오후 3시쯤 업무를 다 끝내고 내일 할 일을 미리 확인하거나 팀에 도울 일이 있는지 찾아보는 식입니다. 빨리 끝낸다고 인정받는 구조도 아니고 각자 업무 스타일이 다른 거라고 생각합니다. 그런데 이 부분에 대해 뒤에서 이야기가 나왔는지 요즘 들어 다른 팀의 직원들이 저에게 뼈 있는? 농담을 자주 합니다. 제가 너무 앞서 나가서 그 남직원의 기를 죽이고 있다는 식입니다. 전체 회식 자리에서도 다른 직원분들이 저보고 개인주의다, 저 때문에 남직원이 주눅 든다며 농담을 주고받거나 남직원이 야근하는 날 제가 먼저 퇴근하면 남직원이 졌다, 안타깝다는 식으로 장난스럽게 말하기도 합니다. 저는 이게 업무랑 기가 대체 무슨 상관인지 잘 모르겠습니다. 심지어 남직원 일이 밀리는 경우엔 제가 같이 남아서 도와드린 적도 많습니다. 경쟁도 아니니까요... 저희 둘이 친하진 않아서 이 부분에 대해 딱히 얘길 해보진 않았지만 저보단 남직원이 더 스트레스일 것 같기도 합니다. 근데 그 남직원도 그런 얘길 들으면 손사레를 치거나 하지도 않고 그냥 ㅎㅎ하면서 웃고 있어요... 아무래도 타팀이라 더 조심하시는 건가? 싶기도 하고요. 정작 팀장님은 별말씀이 없는데 다른 직원들끼리 이런 이야기를 하는 상황을 어떻게 받아들여야 할지 모르겠습니다. 업무를 다 하더라도 일부러 속도를 맞추는 게 맞는 걸까요? 그게 배려이자 회사생활의 처세일까요? 판단이 잘 안 서서 선배님들께 조언 부탁드립니다. 두서없는 긴 글 읽어주셔서 감사합니다.