仿照 scrapy 的设计用 scala 写了一个爬虫框架

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› Scala 编程语言

这是一个创建于 3254 天前的主题，其中的信息可能已经有所发展或是发生改变。

homepage: http://gaocegege.com/scrala
github: https://github.com/gaocegege/scrala

写着玩的，用来学习 scala 的造轮子作品，代码很简单，读起来很快，有感兴趣的同学一起来呀(捂脸

7 条回复 • 2016-02-01 17:01:49 +08:00

wuhx

2016-01-31 23:25:51 +08:00

赞，才发现 v2 也有 Scala 节点，不过貌似上一条帖子是 100 多天前了

看了一下代码，建议增加爬虫超时重试，用 akka 的 supervisor strategy 处理各种异常会非常愉快。

gaocegege

2016-02-01 08:37:35 +08:00

@wuhx 0.0 本身对 scala 非常不熟，感觉充满了各种 trick~supervisor strategy 容我去 Google 下~

最近打算新加的 feature 是分布式，打算做成 manager/worker 的架构

wuhx

2016-02-01 09:51:45 +08:00

@gaocegege 只要不涉及 type level 编程， Scala 还是很容易上手的。分布式才是 akka 的强项啊

gaocegege

2016-02-01 09:57:37 +08:00

@wuhx 嗯嗯~是想把 worker 做成 stateless, long-running 的，这就需要 manager 去做服务发现，运行起来的时候去找 worker ，感觉还挺麻烦的~

不过 akka remote actor 真的好方便~

gaocegege

2016-02-01 09:58:12 +08:00

@wuhx 嗯对哈哈~现在就是把 scala 当作带着函数式的 java 在用~

wuhx

2016-02-01 13:47:18 +08:00

@gaocegege akka 的 actor 的成本低，你的 worker 反正是 stateless 的，不如设计成 per-request actor ，用的时候现做，那就就不用找 worker 了。或者启一个 Router actor ，自动维护一个 worker queue ，你配一下 roudrobin 或者自定义规则的 dispatcher 就好了，非常方便，而且会比你自己实现的性能更好。

gaocegege

2016-02-01 17:01:49 +08:00

@wuhx 受教，回去试试看