最新消息:博客的意义不在于数量,在于原创。

Python

centos上安装thrift

辰 羽 4年前 (2015-02-14) 22332浏览 9评论

安装thrift步骤: 1、yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel 2、...

Python添加环境变量

辰 羽 4年前 (2014-12-28) 3011浏览 3评论

大家都知道要查看Python工程的环境变量使用sys.path,如果某一天你发现sys.path中没有你需要的那个目录怎么办? 首先得看你是当前工程需要,还是当前服务器上的所有工程都需要, 前者我相信咱们所有Python工程师都知道怎么做: ...

mac下安装Scrapy

辰 羽 4年前 (2014-10-21) 4642浏览 3评论

之前写过在Cent OS上安装Scrapy,但今儿用同样的方法在mac Server上安装的时候遇到问题了, 在安装lxml的时候使用命令“easy_install lxml”怎么安装都报错“error: Setup script exited wi...

使用脚本运行Scrapy的spider

辰 羽 4年前 (2014-08-28) 42693浏览 0评论

之前用Scrapy写采集程序的时候调用方法都是使用:scrapy crawl spiderName,如果有多个spider的项目就写一个run.sh脚本,然后依次写上好几个scrapy crawl spiderName 办法有点傻,作为几位洁癖的我来...

centos 下安装 Scrapy

辰 羽 4年前 (2014-08-08) 7556浏览 0评论

Scrapy是python最好用的一个爬虫框架,公司测试机上有人安装过Scrapy,所以之前我就一直在测试机上开发。最近家里网络不太好,想着晚上回家后可以在家里开发。所以就萌生了在自己虚拟机里安装Scrapy的想法,但是安装过程中屡屡碰壁。愁.. 1...

Python按行读取文件

辰 羽 5年前 (2014-05-11) 2465浏览 0评论

python按行读取文件是挺简单的,但貌似也挺有讲究的。这里有三种读取的方式: 1、传统的读取文件方法: fileHandle = open('test.csv') while True:...