WWW::Mechanize 太重了，一般情况下 Web::Scraper 更方便呢 2011/11/18 HY <[email protected]>
> WWW::Mechanize很好用，最近用这个写了几个简单的爬虫。 > > 在 2011年11月18日 下午1:35，Achilles Xu <[email protected]>写道： > >> WWW::Mechanize >> >> 另外wget和curl的镜像功能也可以研究一下。 >> >> 在 2011年11月18日 下午1:09，zero hero <[email protected]>写道： >> >> LWP::UserAgent >>> 简单啦 只要你有足够的带宽 >>> >>> 在 2011年11月18日 下午1:05，Cloud Liu <[email protected]>写道： >>> >>> 感谢，等下试试看 >>>> >>>> 在 2011年11月18日 下午12:54，Beckheng Lam <[email protected]>写道： >>>> >>>> ** >>>>> 早前我有提及过Python的Scrapy的...可以一试. >>>>> >>>>> 于 2011年11月18日 12:20, Cloud Liu 写道: >>>>> >>>>> 感谢回复！ >>>>> >>>>> 我只需要一个抓取的模块，可以把我要的URL页面内容全部抓下来，然后根据抓取的页面包含的URL循环抓取，分析的话我会根据需求 自己写， >>>>> >>>>> 在 2011年11月18日 下午12:12，cnhack TNT <[email protected]>写 道： >>>>> >>>>>> 如果不是特别复杂的需求，可以用 Web::Scraper 抓取网页做分析，至于深入抓取，自己写个简单算法好了。 >>>>>> 成熟的爬虫框架，可以参考 https://metacpan.org/module/Combine >>>>>> >>>>>> 2011/11/18 Cloud Liu <[email protected]> >>>>>> >>>>>>> 请教各位，现有一个需求是抓取网页的内容，然后分析网页上的URL和内容，有可能 >>>>>>> 需要一层一层的URL深入抓取，有类似的模块吗？还是要自己写算法？有点类似搜索引擎的爬虫。请各位不吝赐教， 谢谢！ >>>>>>> >>>>>> >>>>>> >>>>> >>>>> >>>>> -- >>>>> 我的博客 -- http://blog.yixinit.com/ >>>>> 诸法从缘起，如来说是因。 >>>>> 彼法因缘尽，是大沙门说。 >>>>> >>>>> -- >>>>> 您收到此邮件是因为您订阅了 Google 网上论坛的“PerlChina Mongers 讨论组”论坛。 >>>>> 要向此网上论坛发帖，请发送电子邮件至 [email protected]。 >>>>> 要取消订阅此网上论坛，请发送电子邮件至 [email protected]。 >>>>> 若有更多问题，请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问此网上论坛。 >>>>> >>>> >>>> -- >>>> 您收到此邮件是因为您订阅了 Google 网上论坛的“PerlChina Mongers 讨论组”论坛。 >>>> 要向此网上论坛发帖，请发送电子邮件至 [email protected]。 >>>> 要取消订阅此网上论坛，请发送电子邮件至 [email protected]。 >>>> 若有更多问题，请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问此网上论坛。 >>>> >>> >>> >>> >>> -- >>> Salt Fish Ready To Turn Over!~~~ >>> >>> >>> -- >>> 您收到此邮件是因为您订阅了 Google 网上论坛的“PerlChina Mongers 讨论组”论坛。 >>> 要向此网上论坛发帖，请发送电子邮件至 [email protected]。 >>> 要取消订阅此网上论坛，请发送电子邮件至 [email protected]。 >>> 若有更多问题，请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问此网上论坛。 >>> >> >> >> >> -- >> --------------------------- >> Achilles Xu >> >> >> -- >> 您收到此邮件是因为您订阅了 Google 网上论坛的“PerlChina Mongers 讨论组”论坛。 >> 要向此网上论坛发帖，请发送电子邮件至 [email protected]。 >> 要取消订阅此网上论坛，请发送电子邮件至 [email protected]。 >> 若有更多问题，请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问此网上论坛。 >> > > -- > 您收到此邮件是因为您订阅了 Google 网上论坛的“PerlChina Mongers 讨论组”论坛。 > 要向此网上论坛发帖，请发送电子邮件至 [email protected]。 > 要取消订阅此网上论坛，请发送电子邮件至 [email protected]。 > 若有更多问题，请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问此网上论坛。 > -- 您收到此邮件是因为您订阅了 Google 网上论坛的“PerlChina Mongers 讨论组”论坛。 要向此网上论坛发帖，请发送电子邮件至 [email protected]。 要取消订阅此网上论坛，请发送电子邮件至 [email protected]。 若有更多问题，请通过 http://groups.google.com/group/perlchina?hl=zh-CN 访问此网上论坛。
