같은 팀 유부남 과장님의 카풀 제안?

제가 처신을 잘못하는 걸까봐 고민이 되어 글 올려봅니다. 우선 전 여자고 저희 팀에 남자 과장님(기혼)이 계신데요. 입사한 지 얼마 안 됐을 때부터 같은 동네에 산다며 반가워 하시고 이것저것 많이 챙겨주시는 분입니다. 특히나 입사 초에는 첫 회사라 제가 많이 긴장해 있었는데, 과장님께서 유독 편하게 대해주신 덕분에 생각보다 빨리 회사에 적응한 것 같아서 저도 여러모로 감사하게 생각하고 있었어요. 제가 고민인 건, 오늘 제가 과장님과 스몰토크를 하다가 출퇴근하기 너무 힘들다고 하니까 과장님께서 카풀을 제안하시더라고요. 과장님이랑 저희 집 위치가 카풀하기 어려운 건 아니기도 하고 편도로 1시간 20분+환승도 두 번이나 해야 해서 얘길 듣는 순간 너무 좋을 것 같더라고요. 그래서 좋다고 덥썩 수락했다가, 이 얘기를 다른 팀에 계신 친한 분께 말씀드렸더니 굳이 카풀을 할 필요가 있냐면서 말리시네요... 제가 이성이고 과장님은 유부남인 데다, 대중교통이 안 다녀서 불가피하게 카풀해야 하는 곳도 아닌데 회사에 괜한 소문이라도 나면 저만 손해 보는 거 아니냐는 게 이유입니다. 저는 정말 별생각 없이 편하겠다고 생각했거든요. 과장님도 특별한 의도가 있어서 제안하신 건 아닐 거라고 생각하고요. 당연히 공짜로 얻어 탈 생각도 없구요! 정말 그분의 말씀대로 괜히 구설에 오를 행동일까요? 검색해보니 생각보다 카풀 많이들 하는 것 같은데... 제가 너무 앞서 걱정하는 걸까요?