Python3 爬虫框架-推荐一个自己写的爬虫框架，不知道大家觉得怎么样，初次写，大家来喷

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2366 天前的主题，其中的信息可能已经有所发展或是发生改变。

Python3 爬虫框架，技术使用在 readme 里面都写好了，大家伙看看 https://github.com/BlingBlingdevelopers/bluff，觉得哪里不好的随便喷

Python3

框架

readme

虫

6 条回复 • 2018-07-11 20:38:10 +08:00

chengxiao

2018-07-10 05:42:36 +08:00

python 感觉是最不缺爬虫框架的语言了....
不过支持楼主，现有两座大山 scrapy 和 pyspider 在分布式和集群调度上不是很出彩
期待楼主实现一个

cheesea

2018-07-10 09:52:22 +08:00

造轮子大体有两个原因，一是学习，二是现有轮子用的不爽。不知道楼主是哪一种。

RicardoScofileld

2018-07-10 11:26:59 +08:00

fuck 404 喷个求

jhsunnyshine

2018-07-10 16:29:51 +08:00 via Android

楼上说的对啊，404 没法喷啊，手动滑稽

NobodyVe2x

2018-07-10 21:08:32 +08:00

地址作者写错了，是这个
https://github.com/BlingBlingdevelopers/bluff

xiaozizayang

2018-07-11 20:38:10 +08:00

我看源码忽然感觉好熟悉依稀记得很多地方和我以前看的一个框架爬虫框架 gain 里面代码实现极其类似
最后，放下我自己写的一个爬虫框架哈哈 https://github.com/howie6879/aspider