남자 꼬시러 회사 왔냐는 말을 들었어요

지금 다니는 회사에 입사한지 약 6개월정도 되었어요. 소규모 회사라 상사 한 분이랑 같은 팀에서 일하고 있는데 그 상사 분이 저를 별로 안좋아하는게 느껴지더라고요. 돈도 부족하고 그 분 때문에 회사를 그만두기는 싫어서 계속 다니고 있는데 너무 충격적인 말을 들어서 어떻게 해야할지 모르겠습니다. 상사가 저를 뒷담화하는 것을 우연히 들었는데.. 남자들 꼬실려고 하는게 눈에 보여 우습다, 재 맨날 눈웃음 치는데 남자들은 관심 없다, 00씨는 저런 여자가 좋냐, 저거 다 내숭인데 남자들은 모른다 등 이거 외에도 저를 저를 비하하는 말들을 많이 했더라고요. 제가 회사에 친한 남자라도 있으면 억울하지도 않는데 친한 사람도 없이 혼자 다니고 있어요. 모른 척하는게 맞는 걸까요? 그리고 앞으로 회사 생활하는데 저 분과 좋은 관계를 유지하기 위한 노력은 그만해도 괜찮을까요?