请问大家， scrapy 的代理 IP 哪里搞？极光的代理 IP 太贵了，有没有便宜点的？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2245 天前的主题，其中的信息可能已经有所发展或是发生改变。

最近在写爬虫，没有代理 IP 没法搞，请问大家，scrapy 的代理 IP 哪里搞？极光的代理 IP 太贵了，有没有便宜点的？

代理

Scrapy

极光

请问

25 条回复 • 2018-11-25 10:52:42 +08:00

SpiderXiantang

2018-11-07 10:56:55 +08:00

便宜的可用率低，可用率高的又贵

moxiaowei

2018-11-07 10:58:28 +08:00

@SpiderXiantang 是的是的纠结的一笔

moxiaowei

2018-11-07 10:59:42 +08:00

@SpiderXiantang 能问下您用的啥么？

SpiderXiantang

2018-11-07 11:01:17 +08:00

@moxiaowei 芝麻可以给 n 个蜘蛛用不过有点贵

moxiaowei

2018-11-07 11:02:27 +08:00

@SpiderXiantang 谢谢我来看下。

glacer

2018-11-07 11:04:17 +08:00

需求量小的话，用 IPProxyPool 来爬免费代理，可以有大概 100 个左右可用的 ip。https://github.com/qiyeboy/IPProxyPool
需求量大的话就只能买代理服务，或者动态 vps 搭 squid 来实现。

ioven

2018-11-07 11:04:49 +08:00

买些垃圾 vps 自己搭建

SpiderXiantang

2018-11-07 11:07:38 +08:00

@glacer 免费代理实际效果不是很理想

moxiaowei

2018-11-07 11:13:15 +08:00

就是不是有个西刺么上面的 IP 多的但是都不能用垃圾的一笔

hellove1985

2018-11-07 11:15:36 +08:00

以前用过一段时间这个免费的 https://github.com/fate0/proxylist，不知道现在还能不能用。

moxiaowei

2018-11-07 11:18:35 +08:00

@hellove1985 好的我来看看

princelai

2018-11-07 11:32:22 +08:00 via Android

我用大象，便宜给得多，可用率没算过，估计不高，冲 10 块钱用一个月

kdwycz

2018-11-07 11:36:02 +08:00

很好奇 ip 代理服务的 ip 来源是什么

est

2018-11-07 11:53:39 +08:00

@kdwycz 中间人用来抓有价值信息的。

你们免费的代理都不靠谱。我这边反扒系统会直接识别免费的或者便宜的 ip 代理池。一键封停。

xiaobai9927

2018-11-07 11:58:30 +08:00

免费代理都不靠谱，100 个 IP 中有一两个可用已经很好了。

而大部分便宜的代理也不靠谱，买过几个小时和一天和一个月的，几块钱那种，反正不能爬。要么连接不上，要么 403，

有好的介绍下，同求。。。

kr380709959

2018-11-07 13:07:37 +08:00

蘑菇代理还不错，之前爬的时候用过。可靠性高，价格也不算很高，主要是按次收费

WildCat

2018-11-07 13:11:21 +08:00

https://github.com/imWildCat/scylla

之前写的一个代理 IP 爬虫+验证工具。最近太忙没维护了。

JCZ2MkKb5S8ZX9pq

2018-11-07 14:14:26 +08:00

我的方案，自己写个工具，定器爬取世面上的免费代理，测速，然后把好用的拿出来轮流使用。

moxiaowei

2018-11-07 15:52:27 +08:00

@JCZ2MkKb5S8ZX9pq 我拿到代理 IP 也会验证的，不过有个问题是，这一刻能用，并不能保证下一刻也能用，所以，轮流使用我感觉不靠谱

JCZ2MkKb5S8ZX9pq

2018-11-07 17:34:07 +08:00

@moxiaowei 调用方法我也检测的，好用不好用的都打标记，好用的继续排队，不好用的后台定期重试，超过次数丢弃。

eastlhu

2018-11-07 17:58:27 +08:00 via iPhone

@JCZ2MkKb5S8ZX9pq #18 羊毛高手

ji4ozhu

2018-11-07 22:13:56 +08:00

www.54nb.com 挂机宝了解一下

moxiaowei

2018-11-08 16:33:39 +08:00

@JCZ2MkKb5S8ZX9pq 我已经解决了。开线程验证，很快就验证完，然后立刻使用，这样成功率相对高了很多

JCZ2MkKb5S8ZX9pq

2018-11-08 23:15:18 +08:00

@moxiaowei 那蛮好。我那时候是碰到腾讯的云防火墙，单 ip 太频繁会被 b，所以不得不排队。

sw10

2018-11-25 10:52:42 +08:00

https://proxy.horocn.com/buy-secret-proxy.html

蜻蜓代理，了解一下。有兴趣也可以看下站内介绍：
/t/424630