google app engine에서 golang으로 크롤링하는 웹 프로그램을 하나 만들었습니다.
golang의 http 패키지 등을 이용하여 A 사이트의 폼에 정보를 입력한 후 그에 대한 출력값을 가져오는 웹인데 잘 돌아가다가 어느 날 갑자기 안 되더군요.
같은 프로그램을 local에서 돌려서 127.0.0.1 로 loopback 테스트하니 아무 문제 없이 A 사이트 출력값을 잘 가져옵니다.
local에서 잘 되는 걸 보니 A 사이트가 gae(google app engine)의 접근을 차단한 건가 하는 합리적 의심(?)이 듭니다.
이런 경우 gae(google app engine) 옵션 또는 golang code를 어떻게 변경(또는 설정)해야 다시 정상 동작하게 만들 수 있을까요?
언뜻 생각나는 건 gae에서 vpn을 통해 A 사이트에 접근하도록 golang code 또는 gae 설정을 변경(이런게 가능하다면)하는 건데 맞는 방법인지 모르겠습니다.
google app engine에서 golang으로 크롤링 할때
2021.05.18 | 조회수 892
순리대로살자
닉네임으로 등록
등록
리멤버 회원이 되면 12개의 모든 댓글을 보실 수 있습니다
로그인
회원가입
김커뮤니티
@멘션된 회사에서 재직했었음
BEST회사에서 풀지 못한 고민, 여기서
회사에서 업무를 하다가 풀지 못한 실무적인 어려움, 사업적인 도움이 필요한 적이 있으셨나요? <리멤버 커뮤니티>는 회원님과 같은 일을 하는 사람들과 이러한 고민을 해결할 수 있는 온라인 공간입니다.
회원 가입 하고 보다 쉽게 같은 일 하는 사람들과 소통하세요
2020.07.01
154
김커리어
@멘션된 회사에서 재직 중
BEST리멤버 회원을 위한 경력 관리 서비스, 리멤버 커리어를 소개합니다.
당장 이직 생각이 없어도, 좋은 커리어 제안은 받아보고 싶지 않으신가요? <리멤버 커리어>는 리멤버에서 새롭게 출시한 회원님들을 위한 경력 관리 서비스 입니다. 능력있는 경력직 분들이 <리멤버 커리어>에 간단한 프로필만 등록해두면, 좋은 커리어 제안을 받아 볼 수 있습니다. 단 1분의 투자로 프로필을 등록해두기만 하면, 기업인사팀이나 헤드헌터가 회원님께 꼭 맞는 제안을 직접 보내드립니다.
지금 바로 <리멤버 커리어>에 프로필을 등록하고, 새로운 기회를 만나보세요!
2020.07.01
21