标签: wget

Cron 守护进程 Wget 被阻止

我在没有 cpanel 的Debian 7上安装了nginx

我正在像这样设置我的 Crontab:

*/45 * * * * wget "http://example.com/cron-url.php" >/dev/null 2>&1
Run Code Online (Sandbox Code Playgroud)

上面的 cron 被 403 forbidden 阻塞了:

--2014-12-10 05:40:01--  http://example.com/cron-url.php
Connecting to xyz.xx.xx.xxx:80... connected.
HTTP request sent, awaiting response... 403 Forbidden
2014-12-10 05:40:01 ERROR 403: Forbidden.
Run Code Online (Sandbox Code Playgroud)

在这里搜索并谷歌搜索后,我了解到我的服务器可能正在阻止 wget。我查看了我的 nginx 配置文件,我认为应该是由于以下原因:

if ($http_user_agent ~* LWP::Simple|BBBike|wget) {
    return 403;
}
Run Code Online (Sandbox Code Playgroud)

对于 cron 命令,我必须使用它的 url,并且脚本路径的绝对链接不起作用。现在,如果我需要允许 cron 工作而不被阻止,我该怎么办?我在想也许我需要从我自己的服务器上允许 wget,但不知道如何使用 nginx 来做到这一点。有人可以帮我解决这个 cron 问题吗?

nginx wget cron http-status-code-403 debian-wheezy

3
推荐指数
1
解决办法
1100
查看次数

将 curl 与 cookie 结合使用

我希望有人可以帮助我解决这个问题。我已经尝试了一段时间了,有各种各样的变化,似乎无法让它发挥作用。

我正在尝试编写一种方法来登录https://login.three.ie/以从 */My_account_balance 检查帐户余额

我已经尝试了各种 wget 命令,但从我读到的内容来看,curl 更有可能完成这项任务。

我一直在尝试我在网上遇到的变体,包括从这里开始的 stackoverflow,但似乎没有任何效果。

这是我尝试的最后一个:

    curl -X POST -c cookies.txt -u "Uern@me:P@ssw0rd" https://login.three.ie/
Run Code Online (Sandbox Code Playgroud)

这确实将 cookie 文件保存在此处:

    $ cat cookies.txt

    Netscape HTTP Cookie File

    #http://curl.haxx.se/docs/http-cookies.html
    This file was generated by libcurl! Edit at your own risk.
    HttpOnly_login.three.ie        FALSE   /       FALSE   1433988274
    laravel_session eyJpdiI6IkFZWmxvZ2oyXC9NNGVIbHVpejZwRWp3PT0iLCJ2YWx1ZSI6Imxkd25UKzBoMldiQlhYZVJnVUpuNUVsblZ1cGJYZWcwM2E1bTtIWHRiQ2pwV0VwemJ4NFlYcDlzTndSeFRNanpwdDhMMTIrS2RGZGdGd0RNZU1yREJ3PT0iLCJtYWMiOiI0NWUwYzc1TY4ODI3ZmY3ODY5NjliODkxODMyODIzMjQwNmNkNjljNTE2NzQxNmQ4MzhhNDljNTdjM2QwZGY1In0%3D
Run Code Online (Sandbox Code Playgroud)

但是当我尝试重新使用 cookie 时,它​​看起来像是重定向或其他东西,因为这就是我得到的:

    $ curl -b cookies.txt  https://my3account.three.ie/My_account_balance
    <html><head><title>302 Moved Temporarily</title></head>
    <body bgcolor="#FFFFFF">
    <p>This document you requested has moved temporarily.</p>
    <p>It's now at <a href="https://sso.three.ie/mylogin//login?auth-        
    required=seamless&amp;service=https&#37;3A&#37;F&#37;                   
    2Fmy3account.three.ie&#37;2FMy_account_balance">https://sso.three.ie/mylogin//login?auth-required=seamless&amp;service=https&#37;3A&#37;2F&#37;2Fmy3account.three.ie&#37;2FMy_account_balance</a>.</p>
Run Code Online (Sandbox Code Playgroud)

我不明白这里发生了什么。有没有人知道出了什么问题,或者更好,如何解决这个问题?

谢谢

scripting bash wget curl shell-scripting

3
推荐指数
1
解决办法
3万
查看次数

我将如何编写终端命令以从 Media Temple (gs) 服务器下载带有 wget 的文件夹?

我正在尝试在终端上使用 wget 下载一个文件夹(如果重要的话,我使用的是 Mac),因为我的 ftp 客户端很烂并且一直超时。它不会长时间保持连接。所以我想知道是否可以使用 wget 通过 ftp 协议连接到服务器以下载有问题的目录。我已经在互联网上搜索并尝试编写命令,但它一直失败。所以假设如下:

ftp 用户名是:serveradmin@mydomain.ca ftp 主机是:ftp.s12345.gridserver.com ftp 密码是:somepassword

我尝试通过以下方式编写命令:

wget -r ftp://serveradmin@mydomain.ca:somepassword@s12345.gridserver.com/path/to/desired/folder/

wget -r ftp://serveradmin:somepassword@s12345.gridserver.com/path/to/desired/folder/
Run Code Online (Sandbox Code Playgroud)

当我尝试第一种方式时,出现此错误:

 Bad port number.
Run Code Online (Sandbox Code Playgroud)

当我尝试第二种方式时,我走得更远,但出现此错误:

Resolving s12345.gridserver.com... 71.46.226.79
Connecting to s12345.gridserver.com|71.46.226.79|:21... connected.
Logging in as serveradmin ... 
Login incorrect.
Run Code Online (Sandbox Code Playgroud)

我可能做错了什么?

authentication connection ftp wget mediatemple

2
推荐指数
1
解决办法
7011
查看次数

wget 应用程序替换

有没有其他类似 wget 的应用程序?

如果是的话可以发个链接吗?

linux wget application

2
推荐指数
1
解决办法
555
查看次数

linux下从包含文件列表的文本文件中下载文件

我有一个文本文件,其中包含我的单词文件的 url 列表

例如 :

http://domain.com/file1.zip
http://domain.com/file2.zip
http://domain.com/file3.zip
http://domain.com/file4.zip
Run Code Online (Sandbox Code Playgroud)

...等等

如何从linux shell命令自动批量下载所有文件到一个文件夹

感谢帮助

linux centos wget

1
推荐指数
1
解决办法
1877
查看次数

有没有人因为客户使用 wget 而经历过无意的流量过载?

我想知道不分青红皂白地阻止wget我维护的服务器是否明智。

有没有人因为客户使用而经历过无意的流量过载wget

traffic denial-of-service mirroring wget

1
推荐指数
1
解决办法
178
查看次数

-q 和 -O 是什么意思?

-q 和 -O 在以下 cronjob 中是什么意思?

*/30 * * * * /usr/bin/wget -q -O /dev/null http://example.com/moodle/admin/cron.php
Run Code Online (Sandbox Code Playgroud)

wget cron

1
推荐指数
2
解决办法
1万
查看次数

使用 Wget 下载 FTP 文件

我正在使用wget命令下载 FTP 文件,当我下载 FTP 文件时,它显示错误“事件不是源”。在这里,我使用以下字符的密码所以它显示这个错误

bash: !@myipaddress: 事件未找到

使用 wget 命令

wget -r ftp://username:password@ip/directoryname
Run Code Online (Sandbox Code Playgroud)

wget

1
推荐指数
1
解决办法
3万
查看次数

Wget - 从 http 位置下载所有链接(非递归)

我有一个指向 http 页面的链接,该页面具有如下结构:

父目录 -
[DIR] _OLD/ 01-Feb-2012 06:05 -
[DIR] _Jan/ 01-Feb-2012 06:05 -
[DIR] _Dec/ 01-Jan-2012 06:05 -
..... . [DIR] _Apr/ 01-May-2011 06:05 -
[DIR] _Mar/ 01-Apr-2011 06:05 -
[DIR] _Feb/ 01-Mar-2011 06:05 -
[DIR] WEB-INF/ 2009 年 8 月 21 日 13:44 -
[ ] nohup_XXX_XXX21.out 2012 年 2 月 14 日 09:05 1.6M
[ ] XXX_XXX21.log 2012 年 2 月 14 日 09:04 64K
[] XXX_LOG-XXX2121212120 31 8.0K
[ ] XXX_XXX21_access.log00013 2012 年 2 月 …

wget

1
推荐指数
1
解决办法
1万
查看次数

将 wget 权限设置为 755 以便 root 以外的用户可以执行它是否存在很大的安全风险?

我最近在博客中读到默认情况下,linux 上的 wget 是 750,因此只有 root 可以执行它。我想允许用户 wget 并将其更改为 755,但我在网上阅读说这是一个很大的安全风险..

security linux wget

1
推荐指数
1
解决办法
4169
查看次数