Delphi中的网页抓取

Question

你知道一个用于Delphi网页抓取的库吗？像美丽的汤或Scrapy for Python？

Answer 1

嗯,这不是Delphi,而是FreePascal,因为我没有最近的Delphi版本,但是在它们之间移植应该不是那么困难.

无论如何,我的Internet工具可能是最好的Pascal网络抓取库.

您可以,例如打印页面上的所有链接:

uses simpleinternet, xquery;

var a: IXQValue;
begin
  for a in process('http://stackoverflow.com', '//a/@href') do
    writeln(a.toString);
end.

它们与平台无关; 完全支持XPath 2,XQuery,CSS 3选择器(那些没有经过很好的测试,XPath反正更好)和模式匹配; 解析xml和html; 并通过http和https下载.