이직 시 연봉협상 때...

몇 차례 이직을 시도했는데, 두 번인가는 중간 면접에서 걸러졌고 한 번은 최종 단계에서 걸러졌습니다. 근데 두 번 중간에 걸러졌을 때 생각해보니, 상대방 반응이 안 좋았던게 연봉 이야기였던 것 같습니다. 마지막 직장이 좀 연봉을 튀겨줘서 업계 수준보다 많았거든요. (데려가셨던 분이 전전직장 상사셔서, 그 분이 좀 억지를 부려주셔서 높게 갈아탔었습니다) 사실 갈아타는게 돈보고 갈아타는게 아니다보니, 마지막 직장보다는 좀 낮게 받아도 된다는 입장입니다만 면접 때 제 최종 연봉을 묻고 상대방이 대부분 입을 다뭅니다. 그러니 먼저 액수를 말하기 전에 꼭 이 액수대로 안 받아도 된다고 하는게 나을까요? 아니면 '그쪽에서 해당 직급에 책정한 연봉기준으로 협상할 수 있다'고 할까요? 근데 저렇게 깔고 들어가자니, 상대방이 제 생각보다 높게 연봉을 생각하고 있었으면 손해볼 것도 같고... 보통들 연봉 이야기 나오면 어떻게 대처하시나요?