标签: squid

我有一个非常繁忙的网站(Windows IIS),我想设置一个SQUID反向代理来卸载一些流量.我想知道什么是最佳实践,以及如何在Windows或Unix服务器上进行设置.

我有一个python web爬虫,我想在许多不同的代理服务器之间分发下载请求,可能运行squid(虽然我对替代品持开放态度).例如,它可以以循环方式工作,其中request1转到proxy1,request2转发到proxy2,最后循环回来.知道如何设置吗？

为了使其更难,我还希望能够动态更改可用代理列表,减少一些代理,并添加其他代理.

如果重要,则动态分配IP地址.

谢谢 :)

我想启用对Squid3服务器上的所有请求的访问,即.应允许通过代理服务器从任何地方到任何地方的请求.

我已经尝试将其添加到配置文件的末尾/etc/squid3/squid.conf:

acl all src 0.0.0.0/0
http_access allow all

我仍然收到TCP_DENIED_REPLY错误:

1490004026.216      0 10.142.224.249 TCP_DENIED_REPLY/403 3546 GET http://www.fb.com/ - HIER_NONE/- text/html

我怎么做这个工作？

我有一个设备需要连接到tcp:80上的互联网服务,但网络没有直接的互联网访问.所以我使用squid代理来解决这个问题.

该设备允许我输入代理服务器,端口,用户名和密码.

我想,该设备使用http CONNECT而不是http GET(这对我的浏览器工作正常).

当设备尝试连接时,它会收到一个http错误400. squid access.log只给出了这个:

1338885433.033      0 172.22.140.129 TCP_DENIED/400 1728 CONNECT :0 - NONE/- text/html

所以我抓住了数据包,真正看到了最新情况:

来自设备的请求:

CONNECT mydomain.com:0 HTTP/1.0
User-agent: Sequencer/5.5.0.5539

从鱿鱼回答:

HTTP/1.0 400 Bad Request
squid/2.7.STABLE9
X-Squid-Error: ERR_INVALID_URL 0
close

我的squid.conf:

auth_param basic program /usr/lib/squid/pam_auth
auth_param basic children 5
auth_param basic realm Squid proxy-caching web server
auth_param basic credentialsttl 2 hours
auth_param basic casesensitive off

acl all src all
acl manager proto cache_object
acl localhost src 127.0.0.1/32
acl to_localhost dst 127.0.0.0/8 0.0.0.0/32

acl localnet src …

我正在尝试通过鱿鱼代理使用 Curl 发出 HTTPS 请求。我知道鱿鱼代理可以工作，因为我已经为我的浏览器设置了它并且工作正常。我已经尝试使用这里的几乎所有答案并搜索了其他几个网站，但没有任何结果。

一些示例搜索和结果：1) 使用内联基本身份验证： curl -x https://user:pass@host:port https://www.google.com -v

结果： Establish HTTP proxy tunnel to www.google.com:443 Proxy auth using Basic with user 'username' CONNECT www.google.com:443 HTTP/1.1 Host: www.google.com:443 Proxy-Authorization: Basic abaskldfja1fiopweifj= User-Agent: curl/7.47.0 Proxy-Connection: Keep-Alive Recv failure: Connection reset by peer Received HTTP code 0 from proxy after CONNECT Closing connection 0 curl: (56) Recv failure: Connection reset by peer

2）使用环境变量（https_proxy和http_proxy）：相同的结果

3）将凭据放入参数curl -x https://host:port https://www.google.com -v --proxy-user user:pass：：相同的结果

关于我可能做错了什么的任何猜测？

我有一个REST API,我希望缓存索引的JSON响应(GET/foo)和读取操作(GET/foo/1)以显着提高性能.当资源上有POST或PUT时,索引和读取结果的缓存条目需要过期,因此不会提供旧内容.

这是一个最好用Squid/Varnish等反向代理完成的场景,还是选择memcache(d)？

如何通过我的Squid代理限制只访问一个网站？

以下不起作用......

acl amazon_ireland src 79.125.0.0/17
acl some_site url_regex google

http_access allow amazon_ireland
http_access allow some_site
http_access deny all

我设置了一个 Kubernetes 集群，但由于组织政策的原因，该集群无法连接互联网。现在有一些服务需要通过互联网进行通信。为了解决这个问题，我设置了一个位于 K8s 集群外部的转发代理 (Squid)。我的 K8s 集群的所有节点都可以使用正向代理访问“google.com”。但我无法让我的 Pod 通过该代理进行通信。

我在所有主节点和工作节点上设置了以下变量：

export http_proxy="http://10.x.x.x:3128"
export https_proxy="https://10.x.x.x:3128"

我能够从主节点和工作节点卷曲 google.com。但是当我附加到容器中时，我注意到没有变量 http_proxy 和 https_proxy。并且它无法执行成功的卷曲。

我的 Pod 和服务网络与我的 VM 网络不同

pod-network-cidr=192.167.0.0/16 
service-cidr 192.168.0.0/16 

我的虚拟机网络如下：

Master  -> 10.2.2.40
Worker1 -> 10.2.2.41
Worker2 -> 10.2.2.42
Worker3 -> 10.2.2.43

我的转发代理运行在

Forward Proxy: 10.5.2.30

我使用的是 kubernetes 版本 v1.11.2。这里是否有任何帮助，例如我应该将 kubernetes 集群的 http_proxy 设置放在哪里，以使其对所有 Pod 和服务有效？

我正在寻找一个理想的(性能有效且可维护的)存储二进制数据的地方.在我的情况下,这些是图像.我必须做一些图像处理,缩放图像并存储在一个合适的位置,可以通过RESTful服务进行访问.

从我的研究到目前为止,我有几个选择,如:

1. NoSql解决方案,如MongoDB,GridFS
2. 将文件存储在目录层次结构中的文件系统中,然后使用Web服务器通过URL访问图像
3. Apache Jackrabbit文档存储库
4. 存储在缓存中,如Memcache,Squid Proxy

你想选择哪一个以及为什么会有用的想法或有更好的方法吗？

我想设置一个代理来侦听多个端口，每个端口将请求转发到不同的代理，例如：

LISTEN          FORWARD TO 
1.2.3.4:3128 -> 5.6.7.8:3128
1.2.3.4:3129 -> 5.6.7.9:3128
1.2.3.4:3130 -> 5.6.7.10:3128

这可以用鱿鱼实现吗？

到目前为止我已经配置了这个：

cache_peer 5.6.7.8 parent 3128 0000 default no-query no-digest
cache_peer 5.6.7.9 parent 3128 0000 default no-query no-digest
cache_peer 5.6.7.10 parent 3128 0000 default no-query no-digest

http_port 3128
http_port 3129
http_port 3130

我不知道如何处理重定向