Ani*_*inh 154 ubuntu wget download
如何使用wget和获取网站上的所有文件？
我需要除HTML,PHP,ASP等网页文件以外的所有文件.
Zso*_*kai 248
要筛选特定的文件扩展名:
wget -A pdf,jpg -m -p -E -k -K -np http://site/path/
或者,如果您更喜欢长选项名称:
wget --accept pdf,jpg --mirror --page-requisites --adjust-extension --convert-links --backup-converted --no-parent http://site/path/
这将镜像站点,但没有jpg或pdf扩展名的文件将被自动删除.
izi*_*tti 84
这为我下载了整个网站:
wget --no-clobber --convert-links --random-wait -r -p -E -e robots=off -U mozilla http://site/path/
Jes*_*sse 61
wget -m -p -E -k -K -np http://site/path/
手册页将告诉您这些选项的作用.
wget只会跟踪链接,如果没有链接到索引页面的文件,那么wget就不会知道它的存在,因此不会下载它.即.如果所有文件都链接到网页或目录索引中,它会有所帮助.
Ste*_*ett 23
我试图下载从Omeka的主题页面链接的zip文件- 非常相似的任务.这对我有用:
wget -A zip -r -l 1 -nd http://omeka.org/add-ons/themes/
-A:只接受zip文件-r:递归-l 1:一级深(即,只有从此页面直接链接的文件)-nd:不要创建目录结构,只需将所有文件下载到此目录中.所有的答案-k,-K,-E等选项可能还没有真正理解这个问题,因为这些对于重写HTML页面来进行局部结构,重命名.php文件等.不相关.
从字面上获取除 .html etc 之外的所有文件:
wget -R html,htm,php,asp,jsp,js,py,css -r -l 1 -nd http://yoursite.com
小智 9
我知道这个话题已经很老了，但我在 2021 年来到这里，寻找一种从镜像下载所有 Slackware 文件的方法 ( http://ftp.slackware-brasil.com.br/slackware64-current/ )。
阅读完所有答案后，对我来说最好的选择是：
wget -m -p -k -np -R '*html*,*htm*,*asp*,*php*,*css*' -X 'www' http://ftp.slackware-brasil.com.br/slackware64-current/
我不得不使用*html*而不是仅仅html为了避免像index.html.tmp.
请原谅我复活这个话题，我认为这可能对我以外的人有用，而且我的疑问与@Aniruddhsinh 的问题非常相似。
你可以尝试:
wget --user-agent=Mozilla --content-disposition --mirror --convert-links -E -K -p http://example.com/
您还可以添加:
-A pdf,ps,djvu,tex,doc,docx,xls,xlsx,gz,ppt,mp4,avi,zip,rar
接受特定扩展,或仅拒绝特定扩展:
-R html,htm,asp,php
或排除特定区域:
-X "search*,forum*"
如果机器人(例如搜索引擎)忽略了这些文件,您还需要添加: -e robots=off
试试这个.它总是适合我
wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL
wget -m -A * -pk -e robots=off www.mysite.com/
这将在本地下载所有类型的文件并从html文件指向它们，并且它将忽略漫游器文件