google app engine에서 golang으로 크롤링 할때

2021.05.18 | 조회수 892
순리대로살자
google app engine에서 golang으로 크롤링하는 웹 프로그램을 하나 만들었습니다. golang의 http 패키지 등을 이용하여 A 사이트의 폼에 정보를 입력한 후 그에 대한 출력값을 가져오는 웹인데 잘 돌아가다가 어느 날 갑자기 안 되더군요. 같은 프로그램을 local에서 돌려서 127.0.0.1 로 loopback 테스트하니 아무 문제 없이 A 사이트 출력값을 잘 가져옵니다. local에서 잘 되는 걸 보니 A 사이트가 gae(google app engine)의 접근을 차단한 건가 하는 합리적 의심(?)이 듭니다. 이런 경우 gae(google app engine) 옵션 또는 golang code를 어떻게 변경(또는 설정)해야 다시 정상 동작하게 만들 수 있을까요? 언뜻 생각나는 건 gae에서 vpn을 통해 A 사이트에 접근하도록 golang code 또는 gae 설정을 변경(이런게 가능하다면)하는 건데 맞는 방법인지 모르겠습니다.
닉네임으로 등록
등록
전체 댓글 12

리멤버 회원이 되면 12개의 모든 댓글을 보실 수 있습니다

로그인
회원가입
김커뮤니티
@멘션된 회사에서 재직했었음
BEST회사에서 풀지 못한 고민, 여기서 회사에서 업무를 하다가 풀지 못한 실무적인 어려움, 사업적인 도움이 필요한 적이 있으셨나요? <리멤버 커뮤니티>는 회원님과 같은 일을 하는 사람들과 이러한 고민을 해결할 수 있는 온라인 공간입니다. 회원 가입 하고 보다 쉽게 같은 일 하는 사람들과 소통하세요
2020.07.01
154
김커리어
@멘션된 회사에서 재직 중
BEST리멤버 회원을 위한 경력 관리 서비스, 리멤버 커리어를 소개합니다. 당장 이직 생각이 없어도, 좋은 커리어 제안은 받아보고 싶지 않으신가요? <리멤버 커리어>는 리멤버에서 새롭게 출시한 회원님들을 위한 경력 관리 서비스 입니다. 능력있는 경력직 분들이 <리멤버 커리어>에 간단한 프로필만 등록해두면, 좋은 커리어 제안을 받아 볼 수 있습니다. 단 1분의 투자로 프로필을 등록해두기만 하면, 기업인사팀이나 헤드헌터가 회원님께 꼭 맞는 제안을 직접 보내드립니다. 지금 바로 <리멤버 커리어>에 프로필을 등록하고, 새로운 기회를 만나보세요!
2020.07.01
21
대표전화 : 02-556-4202
06235 서울시 강남구 테헤란로 134, 5층
(역삼동, 포스코타워 역삼) (대표자:최재호)
사업자등록번호 : 211-88-81111
통신판매업 신고번호: 2016-서울강남-03104호
| 직업정보제공사업 신고번호: 서울강남 제2019-11호
| 유료직업소개사업 신고번호: 2020-3220237-14-5-00003
Copyright 2019. Remember & Company All rights reserved.