如何在服务器上部署 Java 语言 Selenium 框架爬虫的自动执行？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 436 天前的主题，其中的信息可能已经有所发展或是发生改变。

我这个 Selenium 做了爬虫，本地已经可以成功运行了，但是这个项目是要求每天爬取数据的，显然不可能由我不能每天手动本地运行这个爬虫，需要部署到服务器上每天自己运行

我一开始的想法是用 SpringBoot 里的 @Scheduled 来实现，但是这个每次都会报错，甚至我都可以登录到远程的 Swagger 里执行爬虫并成功运行，但是自动运行的接口就会报错，我是真的整不太明白了，利用搜索引擎找了好久也没找到解决方法，我真没法了，所以来问问各位，希望有懂的能解答一下，在下感激不尽啊

Selenium

运行

springboot

swagger

6 条回复 • 2023-10-19 14:48:53 +08:00

qczone

2023-10-18 14:30:58 +08:00

兄弟，你至少贴个报的什么错啊，知道你应该搞了很久有点着急，但是你不描述清楚的话大家也没办法帮你，可以看看提问的智慧（ https://github.com/ryanhanwu/How-To-Ask-Questions-The-Smart-Way/blob/main/README-zh_CN.md ）学习一下如何良好的进行提问。
看你的描述，服务端爬虫的代码应该没啥问题，主要问题出现在定时任务那块儿，你的 SpringBoot 项目在本地跑过吗？能正常执行吗？如果没问题的话，服务器上报的什么错呢？

defunct9

2023-10-18 17:35:35 +08:00

我用的是 python ，用 headless 模式，crontab 扔到服务器上自动执行

28Sv0ngQfIE7Yloe

2023-10-18 17:46:10 +08:00

我一开始的想法是用 SpringBoot 里的 @Scheduled 来实现，但是这个每次都会报错

----------

报啥错啊

从你可以从 swagger 调用接口成功是否可以推断：spring boot run success ？

如果是这样的话，直接去解决你说的「 SpringBoot 里的 @Scheduled 来实现，但是这个每次都会报错」问题就好了

blackeeper

2023-10-18 19:06:44 +08:00

盲猜服务器没有 X Server 图形化界面，代码里面也没有开启 headless 模式，然后就报错了

kingfalse

2023-10-18 19:09:20 +08:00 via Android

docker 镜像交付，去搜索 xvnc

sgwk

2023-10-19 14:48:53 +08:00

python ，丢到云服务器上，cron 定时开启。