부서 이동 요청 거절 가능할까요?

안녕하세요, 이제 입사한지 2년차 주니어입니다. (중고 신입이라 전 회사 경력이 3년 정도 있어서 실제로는 5년차 정도이네요..) 지난 주 부서장님께서, 갑작스럽게 주니어들 직무 전환 지시가 내려 온 상황에서 우리 팀에 옆 팀 주니어가 한 명 올 것 같은데, 옆 팀 임원 쪽에서 대체자로 저를 요구했다는 이야기를 주셨습니다. 그러면서 강제로 저를 보내야 할 상황이 올 수도 있다는 얘기를 하셨는데요. 저는 지금 커리어 계속 유지하고 싶기도 하고... 이미 팀 내에서 파트를 한 번 옮긴 상황인지라 절대 갈 생각이 없다고 말씀드렸습니다. 우선 알았고 얘기해 보겠다고 하셨는데, 2년차라 아직 직무 전환이 필요한 대상도 아니고, 옆 팀은 좀 다른 업무를 하는지라 정말 꿈에도 절대 안 가고 싶은데, 이런 경우 거절이 가능한 게 맞을까요? 갑작스런 말씀에 너무 스트레스를 받는데, 방어해주지 않은 부서장님이 원망스럽기도 합니다. 제가 뭔가 밉보여서 그냥 보내려는 걸지도 싶고.. 잠도 안오고 속상합니다. 현재로서 부서 이동 거절이 가능할까요?