如何获取许多网站的缩略图？

Question

我有2500个网站的列表,需要抓取它们的缩略图截图.我怎么做？

我可以尝试使用Perl或Python解析站点,Mechanize将是一件好事.但我对Perl并不熟悉.

Answer 1

这是Perl解决方案:

  use WWW::Mechanize::Firefox;
  my $mech = WWW::Mechanize::Firefox->new();
  $mech->get('http://google.com');

  my $png = $mech->content_as_png();

来自文档:

返回给定选项卡或呈现为PNG图像的当前页面.

所有参数都是可选的.$ tab默认为当前选项卡.如果给出坐标,则将剪切该矩形.坐标应该是一个散列,其中包含四个常用条目,左,上,宽,高.

这特定于WWW :: Mechanize :: Firefox.

目前,Firefox和Perl之间的数据传输是通过Base64编码完成的.找到使JSON更优雅地处理二进制数据的必要条件将是有益的.