最新消息:博客的意义不在于数量,在于原创。

标签:Scrapy

Python

mac下安装Scrapy

辰 羽 4年前 (2014-10-21) 4700浏览 3评论

之前写过在Cent OS上安装Scrapy,但今儿用同样的方法在mac Server上安装的时候遇到问题了, 在安装lxml的时候使用命令“easy_install lxml”怎么安装都报错“error: Setup script exited wi...

Python

使用脚本运行Scrapy的spider

辰 羽 4年前 (2014-08-28) 42779浏览 0评论

之前用Scrapy写采集程序的时候调用方法都是使用:scrapy crawl spiderName,如果有多个spider的项目就写一个run.sh脚本,然后依次写上好几个scrapy crawl spiderName 办法有点傻,作为几位洁癖的我来...

Python

centos 下安装 Scrapy

辰 羽 4年前 (2014-08-08) 7596浏览 0评论

Scrapy是python最好用的一个爬虫框架,公司测试机上有人安装过Scrapy,所以之前我就一直在测试机上开发。最近家里网络不太好,想着晚上回家后可以在家里开发。所以就萌生了在自己虚拟机里安装Scrapy的想法,但是安装过程中屡屡碰壁。愁.. 1...