这是一个创建于 3834 天前的主题，其中的信息可能已经有所发展或是发生改变。
使用的是 Mojo::UserAgent, 用来爬取某网站的用户回答列表，但是爬取时会随机在某网页停止，显示
"Can't call method "all_text" on an undefined value at core.pl line 188."
实现如下，
sub get_keyword_list {
my ($ua, @list, $keyword) = @_;
foreach my $l (@list) {
my $tx = $ua->get($l->[0]);
say $l->[0];
# what should it be?
my $answer = $tx->res->dom->at('div.zm-editable-content.clearfix')->all_text;
my $timestamp = $tx->res->dom->at('a.answer-date-link.meta-item')->text;
open my ($tmp), '>>', 'tmp.txt' or die;
say $tmp $answer;
say $tmp $timestamp;
}
}
其中 $l->[0] 取到列表中各网页 url, 类似如下形式： http://www.zhihu.com/question/20304733/answer/25775012
为什么会出现错误，无法理解ing, 求解。
"Can't call method "all_text" on an undefined value at core.pl line 188."
实现如下，
sub get_keyword_list {
my ($ua, @list, $keyword) = @_;
foreach my $l (@list) {
my $tx = $ua->get($l->[0]);
say $l->[0];
# what should it be?
my $answer = $tx->res->dom->at('div.zm-editable-content.clearfix')->all_text;
my $timestamp = $tx->res->dom->at('a.answer-date-link.meta-item')->text;
open my ($tmp), '>>', 'tmp.txt' or die;
say $tmp $answer;
say $tmp $timestamp;
}
}
其中 $l->[0] 取到列表中各网页 url, 类似如下形式： http://www.zhihu.com/question/20304733/answer/25775012
为什么会出现错误，无法理解ing, 求解。
 |
1
forbe 2014-07-01 00:29:37 +08:00
用 Go吧，http://meijia0.com就是我最近用GO写的一个小爬虫，很简单很方便
|
 |
2
11138 2014-07-01 06:07:07 +08:00  1
先判断一下“get”成功了再往下操作。
|
 |
3
orzfly 2014-07-01 07:47:32 +08:00
用来爬取某网站
类似如下形式： http://www.zhihu.com |
|
5
11138 2014-07-01 10:44:18 +08:00
my $tx = $ua->get($l->[0]);
这里，由于各种网络原因，“get”的结果可能是失败的，所以你要判断一下啊。 http://search.cpan.org/~sri/Mojolicious-5.10/lib/Mojo/UserAgent.pm if (my $res = $tx->success) { say $res->body } else { my $err = $tx->error; die "$err->{code} response: $err->{message}" if $err->{code}; die "Connection error: $err->{message}"; } |
 |
6
akagi OP @11138 恩，我表述的不大清楚。之前你的回复我看明白了，只是还没搞懂get失败的可能原因。如果单次get可以成功，多条情况可能失败，这里的“各种网络原因”，具体可能有哪些，希望能稍微展开下 :)
|
|
7
11138 2014-07-01 11:16:11 +08:00
如果获取失败你可以将错误的信息打印出来看看啊，参考上面的代码。
|
Select Language