如何提取网页的所有外部链接并将它们保存到文件中？

Question

如何提取网页的所有外部链接并将它们保存到文件中？

如果您有任何命令行工具，那就太好了。

Answer 1

您将需要 2 个工具，lynx和awk，试试这个：

$ lynx -dump http://www.google.com.br | awk '/http/{print $2}' > links.txt

如果您需要编号行，请使用命令nl，试试这个：

$ lynx -dump http://www.google.com.br | awk '/http/{print $2}' | nl > links.txt

Answer 2

这是对 lelton 答案的改进：您根本不需要 awk，因为 lynx 有一些有用的选项。

lynx -listonly -nonumbers -dump http://www.google.com.br

如果你想要数字

lynx -listonly -dump http://www.google.com.br