最新消息:博客的意义不在于数量,在于原创。

使用脚本运行Scrapy的spider

Python 辰 羽 43624浏览 0评论

之前用Scrapy写采集程序的时候调用方法都是使用:scrapy crawl spiderName,如果有多个spider的项目就写一个run.sh脚本,然后依次写上好几个scrapy crawl spiderName

办法有点傻,作为几位洁癖的我来说还是挺难受的。需要手工跑spider的时候,敲一“大堆”命令,还要查一下spider的名。着实让人捉急...

 

后来看了下手册,找了下Google,各种纠结之下得出以下code。在自己的项目目录下,创建一个py脚本,将代码copy进去就行。即时你的项目下有多个spider也不用担心哈

 

转载请注明:辰羽的视界 » 使用脚本运行Scrapy的spider

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址