상사가 부하직원한테 "야" 라고 하는거

직장상사가 50대 중반 남자고 저는 30대 후반 여자입니다. 이분이랑 같은 직장에서 일한지는 10년이 넘었어요. 사이가 특별히 좋거나 나쁘진 않지만 개인적으로 이분을 좋아하진 않습니다. 이분이 보통 직원들한테 00씨~ 하면서 뒤에는 반말 존대말 상황에 따라 섞어서 씁니다. 근데 대화중에 갑자기 본인과 의견이 다르거나 기분이 상하거나 흥분하면 갑자기 "야 그걸 그렇게 하면 어떡하냐?" 이런식으로 이야기합니다. 저는 그게 상대를 지칭하는 말이 아니라 그냥 입버릇 같이 "야"가 붙은거라고 생각해와서 기분나빠도 그러려니 하고 넘겨왔는데 오늘따라 저랑 대화중에 또 갑자기 "야" 하는데 기분이 너무 나쁘고 정말 듣기 싫네요 "야라고 하지 말아주세요" 라고 정식으로 말씀드리는거 어떻게 생각하시나요? 이런 사람들 많겠지만.. 많다고 해서 정당한건 아니잖아요? 제가 예민한건지.. 말씀 부탁드립니다.