如何下载网页中所有大小> 100kb的图像？

Question

我想下载一些网页中包含的图像，但只能下载大于 100 KB 的图像。到目前为止，我一直在下载所有图像，然后删除小图像，但效率不高。下载时有没有办法忽略小的？

Answer 1

如果您使用 http HEAD 请求，则仅返回标头。

这是一个粗略的方法（假设您有一个网址列表）。阈值=expr 100 \* 1024

for url in ${list_of_urls} ; do    
    size=`curl -s --head ${url} | grep 'Content-Length:' | cut -d ' ' -f 2` 

    if [ ${size} -gt ${threshold} ] ; then  
        curl -s ${url}
    fi    
done