如何每五分钟下载一个网页？

Question

我想下载一个网页列表.我知道wget可以做到这一点.但是,每隔五分钟下载一次URL并将其保存到文件夹似乎超出了wget的能力.有没有人知道java或python或Perl中的一些工具来完成任务？

提前致谢.

Answer 1

听起来你想用cget和cget一起使用

但是如果你开始使用python:

import time
import os

wget_command_string = "wget ..."

while true:
    os.system(wget_command_string)
    time.sleep(5*60)

Answer 2

编写一个使用wget的bash脚本,并将其放在crontab中,每5分钟运行一次.(*/5****)

如果您需要保留所有这些网页的历史记录,请使用当前的unixtime在脚本的开头设置一个变量,并将其附加到输出文件名.