google app engine에서 golang으로 크롤링하는 웹 프로그램을 하나 만들었습니다.
golang의 http 패키지 등을 이용하여 A 사이트의 폼에 정보를 입력한 후 그에 대한 출력값을 가져오는 웹인데 잘 돌아가다가 어느 날 갑자기 안 되더군요.
같은 프로그램을 local에서 돌려서 127.0.0.1 로 loopback 테스트하니 아무 문제 없이 A 사이트 출력값을 잘 가져옵니다.
local에서 잘 되는 걸 보니 A 사이트가 gae(google app engine)의 접근을 차단한 건가 하는 합리적 의심(?)이 듭니다.
이런 경우 gae(google app engine) 옵션 또는 golang code를 어떻게 변경(또는 설정)해야 다시 정상 동작하게 만들 수 있을까요?
언뜻 생각나는 건 gae에서 vpn을 통해 A 사이트에 접근하도록 golang code 또는 gae 설정을 변경(이런게 가능하다면)하는 건데 맞는 방법인지 모르겠습니다.
2
