标签: wget

我正在尝试在Ubuntu容器中下载Debian软件包,如下所示:

sudo docker run ubuntu:14.04 wget https://downloads-packages.s3.amazonaws.com/ubuntu-14.04/gitlab_7.8.2-omnibus.1-1_amd64.deb

我明白了

exec: "wget": executable file not found in $PATH

我已经安装wget了docker,如下所示:

run ubuntu:14.04 apt-get install wget

我该如何下载文件？

我正在寻找伪蜘蛛网站的方法.关键是我实际上并不想要内容,而是一个简单的URI列表.我可以使用该选项与Wget合理地接近这个想法--spider,但是当通过a输出输出时grep,我似乎无法找到合适的魔法来使其工作:

wget --spider --force-html -r -l1 http://somesite.com | grep 'Saving to:'

该grep过滤器似乎完全没有对影响wget输出.我有什么不对或者是否有其他工具我应该尝试更适合提供这种有限的结果集？

UPDATE

所以我发现离线时默认情况下会wget写入stderr.我在手册页中错过了(事实上,如果它在那里我仍然没有找到它).一旦我把回归到stdout,我就更接近我需要的东西了:

wget --spider --force-html -r -l1 http://somesite.com 2>&1 | grep 'Saving to:'

如果有的话,我仍然会对其他/更好的手段感兴趣.

我正在尝试wget自己的盒子,它不能是wget中的内部地址(所以另一位开发人员说).

当我想,我得到这个:

wget http://example.com
--2013-03-01 15:03:30--  http://example.com/
Resolving example.com... 172.20.0.224
Connecting to example.com|172.20.0.224|:80... connected.
HTTP request sent, awaiting response... 302 Found
Location: https://www.example.com/ [following]
--2013-03-01 15:03:30--  https://www.example.com/
Resolving www.example.com... 172.20.0.224
Connecting to www.example.com|172.20.0.224|:443... connected.
OpenSSL: error:140770FC:SSL routines:SSL23_GET_SERVER_HELLO:unknown protocol
Unable to establish SSL connection.

我相信这是因为我没有正确设置证书.使用openssl:

openssl s_client -connect example.com:443
CONNECTED(00000003)
15586:error:140770FC:SSL routines:SSL23_GET_SERVER_HELLO:unknown protocol:s23_clnt.c:588:

如果我在另一个站点上执行相同的命令,则会显示整个证书.

也许ssl证书从未在Apache的conf文件中为该域设置？

如果是这样,我应该在虚拟主机中指定什么？除了指定之外还有其他选择,--no-check-certificate因为我不想这样做吗？

我想使用wget将图片上传到远程服务器,使用身份验证令牌'AUTH_1624582364932749DFHDD'到'test'文件夹.

此命令不起作用(授权失败),我想确保它与语法无关:

wget --post-file=nature.jpg http://ipadress:8080/v1/AUTH_test/test/ --post-data="AUTH_1624582364932749DFHDD"

有什么建议？

我正在尝试创建一个与此wget命令完全相同的Python函数:

wget -c --read-timeout=5 --tries=0 "$URL"

-c - 如果下载中断,请从中断处继续.

--read-timeout=5 - 如果超过5秒没有新数据进入,请放弃并重试.鉴于-c这意味着它将从它停止的地方再次尝试.

--tries=0 - 永远重试.

串联使用的这三个参数导致下载不会失败.

我想在我的Python脚本中复制这些功能,但我不知道从哪里开始......

我想知道是否有办法提前检查我可能通过下载的文件的大小wget？我知道使用该--spider选项告诉我文件是否存在,但我也有兴趣找到该文件的大小.

poeple越来越多通过wetransfer发送给我大的zip文件,这很好,因为它工作,我不需要设置ftp或上传自己.但我需要将这些数据发送到我的ubuntu服务器,该服务器位于serverfarm中的快速连接上.

我试图忘记wetransfer通过邮件发送的链接,但我只获得在wetransfer通过http发送文件之前显示的html信息页面

我尝试了一个txt浏览器(lynx,elinks),但wetrasnfer一直在喋喋不休地谈论"过时的浏览器",它不知何故不起作用

我最终下载到我的笔记本电脑,并通过限制的DSL上传到服务器,这需要整晚...

有没有人成功从linux终端下载wetransfer链接？

thnx集市

我无法得到镜像网站的一部分(根目录下的文件夹路径) - 它似乎只能在网站主页上工作.

我尝试了很多选项 - 这是一个例子

wget -rkp -l3 -np  http://somewebsite/subpath/down/here/

虽然我只想镜像该URL下面的内容链接 - 我还需要下载不在该路径中的所有页面资产.

它似乎适用于主页(/)但我不能得到任何子文件夹.

如何防止wget跟踪重定向？

我知道我可以使用以下2个命令下载文件:

curl -O example.com/file.zip
wget example.com/file.zip

但我希望他们进入一个特定的目录.所以我可以做到以下几点:

curl -o mydir/file.zip example.com/file.zip
wget -O mydir/file.zip example.com/file.zip

有没有办法不必指定文件名？像这样的东西:

curl -dir mydir example.com/file.zip