标签: proxy-server

我正在构建一个WebClient库.现在我正在实现一个代理功能,所以我正在进行一些研究,我看到一些使用该CONNECT方法请求URL的代码.

但是在我的Web浏览器中检查它,它不使用该CONNECT方法,而是调用GET方法.

所以我很困惑.当我应该使用这两种方法？

我是新手程序员,建立一个我(自然)希望创建大量流量的创业公司.我在dotcloud上托管我的django项目,该项目位于Amazon EC2上.我有一些流媒体(Http,但不是rmtp)所以dotcloud家伙建议我选择CDN.我也使用Amazon S3进行存储,因此决定将Amazon CloudFront作为我的CDN.

现在是我需要将注意力转向缓存的时候了,我迷失了方向.我对这个概念完全陌生.我的知识的整个范围来自我刚刚阅读的教程(http://www.mnot.net/cache_docs/)和一个令人困惑的周末花在咨询谷歌.最令人不安的是,我甚至不确定我需要为我的网站做些什么.

1. CDN和代理服务器有什么区别？

2. 是否有可能我想使用缓存服务(例如memcached,redis),CDN(CloudFront)和代理服务器(squid)？

3. 我们的站点由数据库驱动,并生成特定于用户位置的动态生成列表.可以缓存这样的网站吗？(列表本身可通过AJAX过滤,因此URL可能保持不变,同时产生大不相同的结果.例如,example.com/some_url/可能会生成40个对象的列表,但只有10个出现在页面上.点击一个过滤器,用户可以在/ some_url /)时最终得到10个不同的对象

4. 高流量,丰富内容网站的最佳做法是什么？

5. 我该如何了解这一点？我看起来到处都似乎理所当然地认为我还没有作为自己基础的一部分的一些基础知识.

我不确定我是在问正确的问题.只是感觉非常迷茫.我现在已经构建了整个网站的95%,并认为我只是在解决细节,但缓存似乎是另一项重大任务.任何指导/建议/鼓励将不胜感激!

我刚刚使用Mechanize模块,现在尝试使用Requests模块.
(当需要HTTPS和代理身份验证时,Python机制不起作用)

当我访问互联网时,我必须通过代理服务器.
代理服务器需要身份验证.我写了以下代码.

import requests
from requests.auth import HTTPProxyAuth

proxies = {"http":"192.168.20.130:8080"}
auth = HTTPProxyAuth("username", "password")

r = requests.get("http://www.google.co.jp/", proxies=proxies, auth=auth)

当代理服务器需要基本身份验证时,上述代码很有效.
现在我想知道当代理服务器需要摘要式身份验证时我必须做什么.
HTTPProxyAuth似乎在摘要式身份验证中无效(r.status_code返回407).

我正在尝试学习用Python编写的NLTK - Natural Language Toolkit,我想安装一个示例数据集来运行一些例子.

我的网络连接使用代理服务器,我正在尝试指定代理地址,如下所示:

>>> nltk.set_proxy('http://proxy.example.com:3128' ('USERNAME', 'PASSWORD'))
>>> nltk.download()

但是我收到一个错误:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: 'str' object is not callable

我决定ProxyBasicAuthHandler先打电话nltk.download():

import urllib2

auth_handler = urllib2.ProxyBasicAuthHandler(urllib2.HTTPPasswordMgrWithDefaultRealm())
auth_handler.add_password(realm=None, uri='http://proxy.example.com:3128/', user='USERNAME', passwd='PASSWORD')
opener = urllib2.build_opener(auth_handler)
urllib2.install_opener(opener)

import nltk
nltk.download()

但现在我明白了HTTP Error 407 - Proxy Autentification Required.

文档说如果代理设置为,None则此函数将尝试检测系统代理.但它没有用.

如何为NLTK安装示例数据集？

System.setProperty("http.proxySet", "true");
System.setProperty("java.net.useSystemProxies", "true");
System.setProperty("http.proxyHost", "192.168.1.103");
System.setProperty("http.proxyPort", "3128");
System.setProperty("http.proxyUser", "user123");
System.setProperty("http.proxyPassword", "passwD123");

url = new URL("http://www.google.co.in");

每当我使用此代码时,IOException抛出HTTP响应代码407.HTTP 407表示需要代理身份验证.为什么在设置proxyUser和proxyPassword时会出现此问题.
如果我输错密码会出现http 401,但它总是给我407,意味着我的代码不带用户名和密码.在上面的代码中,user123是用户名,passwD123是用于代理验证的密码.

我刚开始使用Fiddler 2来创建我一直在创建的基于REST,JSON和SOAP的服务的请求对象.到目前为止,它运作良好.

当我尝试通过Internet Explorer使用我的一些公司资源时出现问题.我得到某种DNS错误,我意识到这是因为我的代理设置每次打开小提琴(IE6和IE8)时都被擦除了.有谁知道Fiddler可能在这里"摆弄"会导致这样一个奇怪的问题.

更多信息:这是在运行Windows XP的Virtual PC VM上发生的.正在消隐的确切内容位于工具 - > Internet选项 - >连接 - >局域网设置窗口中.选中了两个复选框,并填充了"高级"窗口中的字段.之后,所有人都被清空了.

有谁知道任何开源C#代理服务器项目？否则,任何涵盖如何使用C#类来获取代理服务器基本功能的文章/教程(特别是对于HTTPS请求)

到目前为止,我发现的唯一一个(我将会看到)是:http://www.mentalis.org/soft/projects/proxy/

对于编程练习(来自Kurose和Ross的计算机网络:自上而下的方法(第6版)),我们正在尝试在python中开发一个简单的代理服务器.

我们得到了以下代码,无论它在哪里说#Fill in start. ... #Fill in end.我们需要编写代码.我的具体问题和尝试将在此原始片段下方.

我们需要启动python服务器:python proxyserver.py [server_ip]然后导航到localhost:8888/google.com它,它应该在我们完成时工作.

from socket import *
import sys
if len(sys.argv) <= 1:
  print 'Usage : "python ProxyServer.py server_ip"\n[server_ip : It is the IP Address Of Proxy Server'
  sys.exit(2)

# Create a server socket, bind it to a port and start listening 
tcpSerSock = socket(AF_INET, SOCK_STREAM)
# Fill in start.
# Fill in end.

while 1:
  # Strat receiving data from the client
  print …

我正在写一个Chrome扩展程序.如果您通过https在通过https提供的页面中对常规http页面发出jQuery.ajax请求,则Chrome会阻止该请求.我想知道我是否可以使用安全代理获取所请求的页面.

那么,是否可以为一些jQuery.ajax请求使用通用代理服务器？如果是这样,怎么样？请注意,更改浏览器的代理设置不是一种选择.

我已经在 CentOS 7 机器上安装了 tinyproxy，并在 tinyproxy.conf 中将端口更改为 8080 无论我在哪里点击请求，我都会在 tinyproxy.log 中得到以下日志：-

CONNECT   Mar 15 08:14:42 [22148]: Connect (file descriptor 6): <IP> [<IP>]
NOTICE    Mar 15 08:14:42 [22148]: Unauthorized connection from "<IP>" [<IP>].
INFO      Mar 15 08:14:42 [22148]: Read request entity of 1200 bytes

我的请求正在到达代理，代理没有将其转发到目的地。