标签: wget

如何向 wget 提供用户名和密码?

我尝试通过 wget 连接到服务器:

wget http://<user>:<pass>@serveradress
Run Code Online (Sandbox Code Playgroud)

但是 wget 响应:无效端口

我知道服务器在端口 80 接受传入流量。我该如何解决这个问题?

wget

224
推荐指数
3
解决办法
62万
查看次数

从列表中下载文件

如何使用wget或其他一些自动方式下载文件(在文本文件中列出)?

示例文件列表:

www.example.com/1.pdf
www.example.com/2.pdf
www.example.com/3.pdf
Run Code Online (Sandbox Code Playgroud)

wget

154
推荐指数
6
解决办法
21万
查看次数

如何使用 wget/curl 从我登录的站点下载?

当您登录时,维基百科的某些部分会有所不同。我想 wget 用户页面,以便它们看起来就像我已登录一样。

有没有办法让我得到这样的用户页面

http://en.wikipedia.org/wiki/User:A
Run Code Online (Sandbox Code Playgroud)

这是登录页面:

http://en.wikipedia.org/w/index.php?title=Special:UserLogin&returnto=Login&campaign=ACP3
Run Code Online (Sandbox Code Playgroud)

bash wget

58
推荐指数
2
解决办法
12万
查看次数

强制 wget 使用实际文件名

wget在脚本中使用从 Google Docs 下载某些文件时,不会保留文件名。例如:

wget 'http://spreadsheets.google.com/pub?key=pyj6tScZqmEfbZyl0qjbiRQ&output=xls' 
Run Code Online (Sandbox Code Playgroud)

将文件保存为pub?key=pyj6tScZqmEfbZyl0qjbiRQ而不是indicatorhivestimatedprevalence15-49.xls,这是我在浏览器中单击链接时得到的结果。有什么方法可以强制执行这种“类似浏览器”的行为wget

wget

56
推荐指数
2
解决办法
3万
查看次数

如何使 wget 更快或多线程?

我刚刚升级了我的电脑硬件(cpu + 主板 + 显卡 + 内存 + 硬盘),所以需要安装一个新的操作系统。我试着debian-6.0.6-amd64-netinst.isowget命令下载,但速度太慢,我无法忍受。4Kb/s ~ 17 Kb/s,像奔跑的乌龟一样慢,如果我使用 Chrome,则更慢。

我已经阅读了wget的帮助信息,似乎没有任何选项可以使它更快。

有没有办法让wget更快?或者是否可以使其多线程下载?

PS:我的带宽是4M。我使用这个命令:

wget -c url  http://hammurabi.acc.umu.se/debian-cd/6.0.6/amd64/iso-cd/debian-6.0.6-amd64-netinst.iso
Run Code Online (Sandbox Code Playgroud)

downloads download-speed wget download-manager

52
推荐指数
2
解决办法
12万
查看次数

如何让 WGET 下载与浏览器完全相同的网页 html

使用网络浏览器(IE 或 Chrome),我可以使用 Ctl-S 保存网页 (.html),使用任何文本编辑器检查它,并以表格格式查看数据。我想提取其中一个数字,但对于很多很多网页来说,手动操作太多了。所以我想使用 WGET 一个接一个地获取这些网页,并编写另一个程序来解析 .html 并检索我想要的数字。但是WGET在使用与浏览器相同的URL时保存的.html文件不包含数据表。为什么不?就好像服务器检测到请求来自 WGET 而不是来自 Web 浏览器,并提供一个缺少数据表的骨架网页。如何使用 WGET 获得完全相同的网页?- 谢谢!

更多信息:

我试图获取的 URL 示例是: http://performance.morningstar.com/fund/performance-return.action?t=ICENX®ion=usa&culture=en-US 其中字符串 ICENX 是共同基金股票代码,我将更改为许多不同的股票代码中的任何一个。在浏览器中查看时,这会下载数据表,但如果使用 WGET 获取数据表,则会丢失数据表。

wget

44
推荐指数
4
解决办法
10万
查看次数

curl 和 wget 有什么区别?

这两个curlwget是用于下载文件等是否有任何理由使用一个比其他?

downloads wget curl

38
推荐指数
2
解决办法
3万
查看次数

如何通过命令行验证 SSL 指纹?(wget,卷曲,...)

使用命令行网站下载器,例如wgetcurl或任何其他...在脚本中...

我有一个网站的 SHA-1 和 SHA-256 证书指纹。由于安全问题 ( 1 ) ( 2 ),我不想使用公共 SSL 证书颁发机构系统。指纹必须是硬编码的。

wget 之类的应用程序可以检查 SSL 指纹吗?

wget 没有这样的功能。( 3 )

使用wget --ca-certificatecurl --cacert我将不得不运行我自己的本地证书颁发机构,我想阻止这种情况,因为这会增加很多复杂性。这也是非常困难的,以前没有人这样做过。( 4 )

没有任何工具,例如
download --tlsv1 --serial-number xx:yy:zz --fingerprint xxyyzz https://site.com

解决方案当然不能受到 TOCTOU 的攻击。( 5 )MITM可以让openssl客户端请求返回有效指纹并篡改以下wget请求。

security ssl wget curl

36
推荐指数
3
解决办法
11万
查看次数

使用 wget(或其他)下载整个网站,包括所有可下载的内容

我正在尝试下载 winamp 的网站,以防他们将其关闭。我需要从字面上下载所有内容。

我试过一次,wget我设法下载了网站本身,但是当我尝试从中下载任何文件时,它给出了一个没有扩展名或名称的文件。我该如何解决?

downloads wget

31
推荐指数
3
解决办法
7万
查看次数

gzip: stdin: 不是 gzip 格式

当我运行时:

tar -zxvf john-1.7.0.2.tar.gz
Run Code Online (Sandbox Code Playgroud)

我明白了:

gzip: stdin: not in gzip format
tar: Child returned status 1
tar: Error is not recoverable: exiting now
Run Code Online (Sandbox Code Playgroud)

它应该开始拆包。

有些人告诉我不要使用,z但我得到了同样的错误。

这是我以这种方式下载的文件:

wget http://openwall.com/john/f/john-1.7.0.2.tar.gz
Run Code Online (Sandbox Code Playgroud)

downloads mime-type wget tar file-type

31
推荐指数
2
解决办法
14万
查看次数