google app engine에서 golang으로 크롤링하는 웹 프로그램을 하나 만들었습니다. golang의 http 패키지 등을 이용하여 A 사이트의 폼에 정보를 입력한 후 그에 대한 출력값을 가져오는 웹인데 잘 돌아가다가 어느 날 갑자기 안 되더군요. 같은 프로그램을 local에서 돌려서 127.0.0.1 로 loopback 테스트하니 아무 문제 없이 A 사이트 출력값을 잘 가져옵니다. local에서 잘 되는 걸 보니 A 사이트가 gae(google app engine)의 접근을 차단한 건가 하는 합리적 의심(?)이 듭니다. 이런 경우 gae(google app engine) 옵션 또는 golang code를 어떻게 변경(또는 설정)해야 다시 정상 동작하게 만들 수 있을까요? 언뜻 생각나는 건 gae에서 vpn을 통해 A 사이트에 접근하도록 golang code 또는 gae 설정을 변경(이런게 가능하다면)하는 건데 맞는 방법인지 모르겠습니다.
IT 엔지니어
google app engine에서 golang으로 크롤링 할때
21년 05월 18일 | 조회수 934
순
순리대로살자
댓글 12개
공감순
최신순
닉
닉네임이왜필요
21년 06월 04일
무작위 크롤링이 아니라 폼값을 입력하는등 특정 자료라면 차라리 autohotkey 같은 매크로를 활용하는게 나아 보입니다
무작위 크롤링이 아니라 폼값을 입력하는등 특정 자료라면 차라리 autohotkey 같은 매크로를 활용하는게 나아 보입니다
답글 쓰기
0
지금 바로 리멤버 회원이 되어
모든 댓글을 확인하세요
모든 댓글을 확인하세요
리
리멤버
@멘션된 회사에서 재직했었음
19년 05월 28일
회사에서 풀지 못한 고민, 여기서
회사에서 업무를 하다가 풀지 못한 실무적인 어려움, 사업적인 도움이 필요한 적이 있으셨나요? <리멤버 커뮤니티>는 회원님과 같은 일을 하는 사람들과 이러한 고민을 해결할 수 있는 온라인 공간입니다.
회원 가입 하고 보다 쉽게 같은 일 하는 사람들과 소통하세요
회사에서 풀지 못한 고민, 여기서
회사에서 업무를 하다가 풀지 못한 실무적인 어려움, 사업적인 도움이 필요한 적이 있으셨나요? <리멤버 커뮤니티>는 회원님과 같은 일을 하는 사람들과 이러한 고민을 해결할 수 있는 온라인 공간입니다.
회원 가입 하고 보다 쉽게 같은 일 하는 사람들과 소통하세요
답글 쓰기
0
리
리멤버
@멘션된 회사에서 재직했었음
19년 05월 28일
일하는 사람과 기회를 연결하여 성공으로 이끈다
일하는 사람과 기회를 연결하여 성공으로 이끈다
답글 쓰기
0
추천글
