웹 수집기에서 결과가 달라졌을 때 parse 로직 문제인지 대상 서버의 요청 제한인지 한 번에 판단하기는 어렵습니다. 개발 중 재현과 실제 운영 요청을 먼저 나누면 확인 범위가 선명해집니다. 오늘 살펴본 D4Vinci/Scrapling은 Python web scraping framework입니다. Spider의 development_mode를 켜면 첫 응답을 디스크에 저장하고 이후 같은 요청을 네트워크 없이 재생합니다. selector와 추출 코드를 고칠 때 유용하지만 캐시는 자동 만료되지 않고 rate limiting과 blocked-request retry를 거치지 않으므로 production에는 남기면 안 됩니다. 실제 crawl에서는 robots_txt_obey를 명시적으로 켜고 도메인별 동시 요청과 지연을 따로 정해야 합니다. 고정 commit 3115acab에서 cache, robots.txt, throttle 관련 공식 테스트 89개가 통과했습니다. 실제 사이트 접근 성공이나 차단 회피를 확인한 것은 아닙니다. 먼저 v0.4.15를 고정한 별도 환경에서 세 테스트를 실행하고, 운영 전에는 사이트 약관·공식 API·robots.txt·요청 속도·개인정보·저작권을 확인하세요. Python 3.10+, BSD-3-Clause이며 최신 main commit은 2026-09-11입니다.
