分享自己做的一个自动检测网站变化的工具 - Web Watchman

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

爱意满满的作品展示区。

这是一个创建于 2565 天前的主题，其中的信息可能已经有所发展或是发生改变。

开始写这个工具是因为自己会用到，比如看某些番剧有没有更新，小说有没有更新，想买的产品价格有没下降等等等等。每次针对特定的任务专门写一个脚本的话太麻烦了，所以就做了这个比较通用的工具，原理就是简单的截图然后比较有没有变化。

做之前我先看了看网上已经存在的一些工具，感觉多少都有些限制，比如查询的频率一天只能查一次，没有保存网页变化的历史等等，要么就是 UI 我不喜欢。。。所以，最后还是自己动手了，做完后加上了个注册系统支持多用户，各位如果想用也欢迎来试试~

webwatchman.com

工具

番剧

watchman

变化

55 条回复 • 2020-10-31 23:15:44 +08:00

touzi

2017-12-21 13:57:51 +08:00

很是需要, 先来一个美剧试试

pywilhelm

2017-12-21 14:05:52 +08:00

截图之后选取区域后对区域进行监控这个是怎么实现的？只是截图吗？如果网页不定长怎么处理？

nfroot

2017-12-21 14:14:10 +08:00

bootstrap.css 花了 17 秒才载入完成，能不能套个 CDN 啊，免费的 CF 也比这个快吧……

SevenJ

2017-12-21 14:17:23 +08:00

赞
但是 http://webwatchman.com/task.html 里头图片没有 load 出来

ArchiTech

2017-12-21 14:22:13 +08:00

@nfroot O__O "…我本身离服务器近，完全没注意到速度问题，我尽快换成 cdn 哦...哈哈哈

ArchiTech

2017-12-21 14:28:23 +08:00

@SevenJ 奇怪。。。你的邮箱或者你监测的网站是哪个？我看看去？

ArchiTech

2017-12-21 14:30:20 +08:00

@pywilhelm 对，单纯截图。如果你关心的区域距离网页顶部的高度会变化，那就跪了。。。如果你关心的区域以下的页面长度变化的话就无所谓。

qfdk

2017-12-21 15:24:28 +08:00

根据上面的评论,感觉可以浏览一些奇怪的网页或者图片斜眼笑

![Snipaste_2017-12-21_08-23-59.png]( https://i.loli.net/2017/12/21/5a3b6199b9545.png)

timothyye

2017-12-21 15:38:31 +08:00

@qfdk 老司机

ArchiTech

2017-12-21 15:45:37 +08:00

@qfdk 花式翻墙...

SaulLawliet

2017-12-21 16:15:12 +08:00

赞
借地贴一个类似功能的本地脚本
https://github.com/SaulLawliet/watchdog

lloovve

2017-12-21 16:25:07 +08:00 via iPhone

邮件炸弹

ArchiTech

2017-12-21 16:36:48 +08:00

@SaulLawliet 不错，你是 css_selectors 的思路，得到的结果最准确，就是开始设置的时候非专业人士可能不会怎么选取元素

ArchiTech

2017-12-21 16:37:04 +08:00

@lloovve 啊？

mskf

2017-12-21 17:21:21 +08:00

不错不错，个人觉得这个可以开源一哈，因为很多页面是需要登陆才可以看到具体内容的，可以做成一个本地化的工具（例如浏览器插件）

solobat

2017-12-21 18:09:43 +08:00

不错，mark 一下

SevenJ

2017-12-21 20:51:58 +08:00

@ArchiTech 过了大概几分钟后图才刷出来，图片是放 S3 还是？

qianyi0129

2017-12-21 21:30:57 +08:00

需要登录的网站呢？

Zzde

2017-12-21 21:40:26 +08:00

等待时候的动画不错

nendors

2017-12-21 22:09:04 +08:00

支持下顺便测试下

maemolee

2017-12-22 00:58:26 +08:00

动态加载的网页也能跟踪吗？那就很厉害了。

maemolee

2017-12-22 00:58:54 +08:00

啊，失败了。

ArchiTech

2017-12-22 02:21:56 +08:00

@SevenJ 加州服务器上....我周末就加 cdn👌

ArchiTech

2017-12-22 02:26:12 +08:00

@maemolee
我试了你那个 url, 没问题呀~
https://imgur.com/a/3gkMy

ArchiTech

2017-12-22 02:30:23 +08:00

@qianyi0129 我没想清楚怎么做呢，您有想法可以讨论讨论~

maemolee

2017-12-22 04:00:33 +08:00

@ArchiTech #24 这就很微妙了。。。

cdlixucd

2017-12-22 04:36:39 +08:00 via Android

php 吗

xuanyuanaosheng

2017-12-22 08:14:12 +08:00 via Android

看着不错～

buseni

2017-12-22 08:18:20 +08:00 via Android

不错

ORZRRR

2017-12-22 09:26:21 +08:00

牛 b
xxx.com 可以快照
楼主用的哪家服务器啊？

qianyi0129

2017-12-22 09:26:45 +08:00

@ArchiTech 你这功能要是不能检测登录网站的话其实 mac 系统自带你这个功能在 dashboard 中

nameryan

2017-12-22 09:32:12 +08:00

以前用过一款 chrome 插件的，不太好用。
这个做的还不错，至少前端界面设计还是挺带感的，楼主应该也懂一些设计吧。
先用着，后面可以加一些 chrome 插件等。

xuanyuanaosheng

2017-12-22 09:47:28 +08:00

测试了，刷不出来啊

ArchiTech

2017-12-22 13:43:42 +08:00

@ORZRRR aws

ArchiTech

2017-12-22 13:51:16 +08:00

@qianyi0129 web clip 这个么？好像不会提醒诶。。

ArchiTech

2017-12-22 13:53:15 +08:00

@nameryan 真的假的，哈哈，就是追求比较简单的 UI, 以后还是会找专业设计师帮忙改改.

ORZRRR

2017-12-22 14:31:52 +08:00

楼主
那个微信公众号文章图片首张是可以显示的 / 我有过绕不开微信的图片盗链
后面的懒加载图片就 loading 了，能解决这个问题嘛？并分享下方法 [人工提前点赞]

BadReese

2017-12-22 15:13:12 +08:00

截图有点慢..试了下微博

ArchiTech

2017-12-22 17:03:29 +08:00

@ORZRRR 可以设置页面打开后等待几秒再截图，也可以保证所有 ajax call 的返回后再截图。前者好一些，后者可能永远等不到完。

ihciah

2017-12-22 17:08:41 +08:00

emmmm 所以如果页面里包含 coinhive 会怎么样。。

ArchiTech

2017-12-22 17:46:22 +08:00

@ihciah
程序每次打开一个页面截完图就关了，不会停留在那里很久的~
不过，哇。。还有 coinhive 这种东西，好神奇的想法，拿用户的 cpu 挖矿，长见识了。。。

droiz

2017-12-22 17:57:29 +08:00

一直在等待响应。。是不是 v2 的人打死了。。。

magensky

2017-12-22 17:59:33 +08:00

楼主啥时候开源呢？这里根本显示不出来，一直转圈，很久后显示失败

Ginson

2017-12-22 18:43:41 +08:00

我现在在用一个类似的 Chrome 插件，叫 Distill Web Monitor。
楼主说的查询频率、保留历史这个插件都有实现，具体这样的
![1](

)
![2](

)
![3](

)

PS：没有拆台的意思，只是觉得这个工具好像刚好能符合楼主需求

ArchiTech

2017-12-23 03:44:06 +08:00

@Ginson 哈哈，欢迎讨论，这个还有 visualping 我都用过，他们做的都挺好的，我只是觉得一些细微的地方和我理想中的工具稍微有点偏差，就自己动手了~

ArchiTech

2017-12-23 03:48:11 +08:00

@droiz 是被打的够呛，不过还没死呀。。。

yearliny

2017-12-24 09:57:13 +08:00 via Android

我这里运营商劫持非常严重，你的网页打开满屏广告根本看不了，建议上 SSL。

kitty7030

2017-12-30 12:20:22 +08:00

"Failed - INTERNAL SERVER ERROR"
随便一个网址都不行下线了吗？

leihejing

2018-01-11 10:10:15 +08:00

对不起，你找的文件服务器上找不到 !

收到邮件点击确认链接后显示。。。。。

ArchiTech

2018-01-11 13:11:21 +08:00

@leihejing 点确认邮件应该会到改密码的页面呀，被劫持了？
头像棒棒哒~

ArchiTech

2018-01-11 13:11:45 +08:00

@kitty7030 没有啊，再来试试？

ArchiTech

2018-01-11 13:12:42 +08:00

@yearliny 恩恩，尽快尽快，谢谢！

leihejing

2018-01-12 09:01:51 +08:00 via iPhone

@ArchiTech 不是劫持，看看其他大佬有没有这现象

ArchiTech

2019-07-11 05:26:07 +08:00

这个没有继续维护了，抱歉。
因为很耗费服务器资源，开销太大，最麻烦的是这种图像比较的方法错误率太高。

docx

2020-10-31 23:15:44 +08:00

网站打不开了。
请问有开源的打算吗？想自己部署一个，很需要。