Scrapy 暗坑之 start_requests

  • Scrapy 暗坑之 start_requests

    众所周知,Scrapy 默认会过滤重复的 URL,不会重复抓取相同的 URL,除非显式指定。 于是随便写了一个爬图片地址的小虫,然而不知道为什么总会爬两次 baidu 首页,你能看…

    2020年2月4日
    1.9K