标签: wget

连接到https页面时,wget速度慢

我正在使用wget连接到这样的安全站点:

wget -nc -i inputFile

其中inputeFile由以下URL组成:

https://clientWebsite.com/TheirPageName.asp?orderValue=1.00&merchantID=36&programmeID=92&ref=foo&Ofaz=0

此页面返回一个小的gif文件.出于某种原因,这需要大约2.5分钟.当我将相同的URL粘贴到浏览器中时,我会在几秒钟内收到响应.

有谁知道是什么原因引起的?

顺便说一句,wget的版本是"GNU Wget 1.9 + cvs-stable(Red Hat modified)"

wget

1
推荐指数
2
解决办法
9158
查看次数

如何每五分钟下载一个网页?

我想下载一个网页列表.我知道wget可以做到这一点.但是,每隔五分钟下载一次URL并将其保存到文件夹似乎超出了wget的能力.有没有人知道java或python或Perl中的一些工具来完成任务?

提前致谢.

python webpage wget download web-crawler

1
推荐指数
2
解决办法
1920
查看次数

使用 wget 通过 FTP 下载目录,但不将密码作为参数传递

当我无法通过 SSH 访问服务器时,我通常通过 FTP 下载内容,如下所示:

wget -r ftp://user:pass@server/path/to/dir
Run Code Online (Sandbox Code Playgroud)

如何让我的密码更安全?我不喜欢密码在命令中,但是当我尝试这样的事情时:

wget -r ftp://user@server/path/to/dir
Run Code Online (Sandbox Code Playgroud)

它不起作用。它给我“登录不正确”。

security passwords ftp bash wget

1
推荐指数
1
解决办法
8076
查看次数

cygwin 的 wget 在哪里

wget 移动到包了吗?我习惯使用 setup.exe 并搜索wget安装它。我再也看不到了。

net软件包已安装。这两种尝试运行wgetlocate wget打开了什么。

cygwin wget

1
推荐指数
1
解决办法
1万
查看次数

Wget 窗口和多个 --header 开关

我正在尝试使用在 Windows Server 2003 上运行的 wget 1.11.4 对网站执行一些 JSON。我可以正常检索信息,但我无法发送任何信息。我不确定我的 JSON 格式是否正确,但似乎存在更根本的问题。

如果我做:

wget --header="Authorization: Bearer <redacted>" --no-check-certificate --post-data="{'workspaces':{'title':'CMC Regulatory Support','creator_role':'maven'}}"  https://api.mavenlink.com/api/v1/workspaces.json
Run Code Online (Sandbox Code Playgroud)

我从站点“ERROR 422: Unprocessable Entity”收到一个 JSON 错误。但是,如果我添加另一个 --header:

wget -S --header="Authorization: Bearer <redacted>" -–header="Content-Type: application/json" --no-check-certificate --post-data="{'workspaces':{'title':'CMC Regulatory Support','creator_role':'maven'}}"  https://api.mavenlink.com/api/v1/workspaces.json
Run Code Online (Sandbox Code Playgroud)

我得到:

SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc
syswgetrc = C:\Program Files\GnuWin32/etc/wgetrc
wget: invalid option -- û
Usage: wget [OPTION]... [URL]...

Try `wget --help' for more options.
Run Code Online (Sandbox Code Playgroud)

但是手册明确指出允许使用多个 --header 开关,我看到网络上的示例中使用了 swithc 吗?。跆拳道?

json wget http-headers

1
推荐指数
1
解决办法
5804
查看次数

无法从WGET安装Java

我想下载并安装Java.我使用的命令是:

 wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F" http://download.oracle.com/otn-pub/java/jdk/7u55-b13/jdk-7u55-linux-x64.tar.gz
Run Code Online (Sandbox Code Playgroud)

但是我最终得到以下错误.我怎么解决这个问题?

--2014-05-09 01:43:19--  http://download.oracle.com/otn-pub/java/jdk/7u55-b13/jdk-7u55-linux-x64.tar.gz
Resolving download.oracle.com... 165.254.202.218, 165.254.202.210
Connecting to download.oracle.com|165.254.202.218|:80... connected.
HTTP request sent, awaiting response... 302 Moved Temporarily
Location: https://edelivery.oracle.com/otn-pub/java/jdk/7u55-b13/jdk-7u55-linux-x64.tar.gz [following]
--2014-05-09 01:43:19--  https://edelivery.oracle.com/otn-pub/java/jdk/7u55-b13/jdk-7u55-linux-x64.tar.gz
Resolving edelivery.oracle.com... 23.6.118.140
Connecting to edelivery.oracle.com|23.6.118.140|:443... connected.
WARNING: certificate common name `www.oracle.com' doesn't match requested host name `edelivery.oracle.com'.
HTTP request sent, awaiting response... 302 Moved Temporarily
Location: http://download.oracle.com/errors/download-fail-1505220.html [following]
--2014-05-09 01:43:19--  http://download.oracle.com/errors/download-fail-1505220.html
Connecting to download.oracle.com|165.254.202.218|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 5307 (5.2K) …
Run Code Online (Sandbox Code Playgroud)

java wget

1
推荐指数
1
解决办法
2978
查看次数

如何通过wget或curl访问https页面?

假设我想要保存我的Facebook页面的内容.显然fb使用https,因此ssl,如何使用wget下载安全页面的内容?

我在网上找到了很多资源......我修改了我的命令,但它没有保存我想要的页面.

wget --secure-protocol=auto "https://www.facebook.com/USERNAMEHERE" -O index.html
Run Code Online (Sandbox Code Playgroud)

实际上这是我在index.html中得到的结果:"更新你的浏览器你正在使用Facebook不支持的网络浏览器.要获得更好的体验,请访问其中一个网站并获取最新版本你喜欢的浏览器:"

unix ssl curl wget

1
推荐指数
1
解决办法
786
查看次数

在Windows的HTTPS URL上运行wget时,如何解决证书错误?

我正在尝试使用Windows的Wget从特定的URL下载文档。

当我这样做时,对于许多(但不是全部)网站,我会收到证书错误。例如:

C:\temp> wget https://stackoverflow.com/
Run Code Online (Sandbox Code Playgroud)

产生:

--2017-07-07 15:54:40--  https://stackoverflow.com/
Resolving stackoverflow.com (stackoverflow.com)... 151.101.193.69, 151.101.129.69, 151.101.1.69, ...
Connecting to stackoverflow.com (stackoverflow.com)|151.101.193.69|:443... connected.
ERROR: cannot verify stackoverflow.com's certificate, issued by 'CN=DigiCert SHA2 High Assurance Server CA,OU=www.digicert.com,O=DigiCert Inc,C=US':
  Unable to locally verify the issuer's authority.
To connect to stackoverflow.com insecurely, use `--no-check-certificate'.
Run Code Online (Sandbox Code Playgroud)

如错误消息所示,我可以通过在--no-check-certificate命令中包含参数来解决此问题。但是,我想避免这种情况,因为这(1)不安全,并且(2)麻烦。

如您所料,使用此PC上的任何Web浏览器(Firefox,Chrome,Edge,IE,Vivaldi),我都可以毫无问题地连接到https://stackoverflow.com/(以及其他受影响的URL)。

我没有运行Cygwin(因此,对类似问题的答案不适用)。

有没有一种方法可以将Windows的Wget配置为使用我的操作系统和/或浏览器使用的同一组根证书,从而不会产生“无法在本地验证发行者的权限”错误?

windows ssl wget

1
推荐指数
1
解决办法
3490
查看次数

使Gitlab上的私人仓库的单个文件可公开访问

我的GitLab私有存储区中有一个bash脚本文件。我希望在运行wget命令时在Linux中下载文件,但是由于文件托管在私有存储库中,因此下载失败,因此转到登录页面。

有没有一种方法可以使该单个文件公开访问?如果不是,是否有办法在尝试打开文件时将我的凭据包括在GET URL中?

wget gitlab

1
推荐指数
1
解决办法
735
查看次数

无法访问http://mvnrepository.com/

我突然在Jenkins中遇到这个错误:

= Check pre-requisite

Checking global pre-requisite

- aws is reachable in PATH [  OK  ]

DEBUG : wget --spider -S -qO-  http://mvnrepository.com/
      HTTP/1.1 308 Permanent Redirect
      Content-Length: 0
      Date: Tue, 02 Oct 2018 04:49:58 GMT
      Location: https://mvnrepository.com/
      Server: nginx/1.10.1
      Connection: keep-alive
      X-RBT-SCAR: 88888:59701061:1000 ADL
      HTTP/1.1 308 Permanent Redirect
      Content-Length: 0
      Date: Tue, 02 Oct 2018 04:49:58 GMT
      Location: https://mvnrepository.com/
      Server: nginx/1.10.1
      Connection: keep-alive
      X-RBT-SCAR: 10.195.254.60:59701066:1000 ADL
     - http://mvnrepository.com/ is reached [FAILED]
   Impossible to access http://mvnrepository.com/ (wget error code 8 …
Run Code Online (Sandbox Code Playgroud)

wget jenkins

1
推荐指数
1
解决办法
49
查看次数

标签 统计

wget ×10

ssl ×2

bash ×1

curl ×1

cygwin ×1

download ×1

ftp ×1

gitlab ×1

http-headers ×1

java ×1

jenkins ×1

json ×1

passwords ×1

python ×1

security ×1

unix ×1

web-crawler ×1

webpage ×1

windows ×1