我们运行一个相对较高的内容网站.与大多数内容网站一样,每个网页的大部分都是相对静态的.文章很少改变,使它们成为某种形式的静态/边缘缓存的良好候选者.但是,有两个大问题.辅助页面元素(导航,最近的内容列表等)经常更改,快速使"完整"缓存页面无效.我们在页面中包含更多动态位也很常见,例如用户特定信息等.
拥有一个后处理内容的反向代理/负载均衡器并让我们处理包含在代理/边缘的内容真的很巧妙.对后端的初始请求将返回粗略模板,然后代理软件可以处理该模板以完成它.标记可能看起来像这样:
<html>
<body>
<div id="content">
Lorem ipsum whackem smackem.
<%
dynamic "http://related.content.service/this/story"
%>
</div>
<div id="sidebar">
<%
dynamic do |request|
url = "http://my.user.service/user-widget.html"
if request.cookies.contains?("user_token")
url = "http://my.user.service/" + request.cookies["user_token"] + "/user-widget.html"
end
error_text = "User service not available"
{ :url => url, :timeout => 500, :error => error_text }
end
%>
</div>
</body>
</html>
Run Code Online (Sandbox Code Playgroud)
您将在该示例中看到的是一小部分Ruby,它根据cookie值确定包含的文件,然后返回带有要拉入的URL的哈希值,超时值以及一些默认文本,以便在错误.理论上,所有包含也可以异步请求.
我的理解是亚马逊做了这样的事情.后端服务生成各种页面组件,具有严格的超时限制以确保整体页面速度.我希望他们的CDN服务会包含这样的东西,但它不是!
Edge Side Includes(ESI)的W3规范几乎就是我想要的.然而,对它的支持很少.它可以通过Akamai获得,有一些Oracle软件可以做到这一点,开源Varnish缓存有一个非常基本的实现.它也是一种非常丑陋的XML格式.
所以问题是:那里有什么让我做我想做的事情?是其他人以这种方式做事吗?
我想创建一个属性来放置属性.
包含此属性的属性将在设置新值后执行另一个方法.
例如:
[MethodExecute(Log)]
[MethodExecute(Save)]
public string Name
{
get
{
return name;
}
set
{
name = value;
}
}
Run Code Online (Sandbox Code Playgroud)
在这里,我想激活两个方法,一个将记录更改,另一个将保存它.
谢谢,罗尼
我有一个使用Web服务的客户端程序.它在许多安装中都能很好地工作.现在我遇到一个新客户通过代理服务器连接到互联网的情况,我的程序尝试访问Web服务会得到"HTTP状态407:需要代理身份验证"错误.
我认为所有的互联网访问配置,包括代理服务器地址,端口号和身份验证都可以在控制面板的Internet选项中完成,我不必在代码中,甚至在应用程序中担心这一点.配置,Web服务客户端.
我弄错了吗?
我所做的同时是让用户有机会配置代理用户名和密码,然后在我的代码中我执行以下操作:
webServiceClient.ClientCredentials.UserName.UserName = configuredUsername;
webServiceClient.ClientCredentials.UserName.Password = configuredPassword;
Run Code Online (Sandbox Code Playgroud)
但我不知道这是对的.因为在我看来,上面的ClientCredentials将引用Web服务绑定/安全性,而不是Internet代理服务器.
我想我可以在客户处尝试,但我宁愿确定我先做了什么.
我正在处理的程序中的互联网连接有很多麻烦,而这一切似乎都是由代理设置的某些问题产生的.此时的大多数问题都已修复,但我现在遇到的问题是我的代理设置测试方法会让一些用户等待很长时间.
这是我做的:
System.Net.WebClient webClnt = new System.Net.WebClient();
webClnt.Proxy = proxy;
webClnt.Credentials = proxy.Credentials;
byte[] tempBytes;
try
{
tempBytes = webClnt.DownloadData(url.Address);
}
catch
{
//Invalid proxy settings
//Code to handle the exception goes here
}
Run Code Online (Sandbox Code Playgroud)
这是我发现测试代理设置是否正确的唯一方法.我尝试对我们的Web服务进行Web服务调用,但在拨打电话时不需要代理设置.即使我有伪造的代理设置,它也会工作.但是,上面的方法没有我可以设置的超时成员,我可以使用DownloadData而不是DownloadDataAsync,因为我需要等待方法完成,以便我可以在继续之前知道设置是否正确在该计划中.
任何关于更好的方法或解决方法的建议都值得赞赏.
麦克风
编辑:我尝试了其他的东西,但没有运气.我使用DownloadDataAsync方法在一个单独的线程中下载数据,该线程在完成后引发WebClient的DownloadDataCompleted事件.当我等待事件被调用时,我有一个循环:while(DateTime.Now <downloadStart.AddMinutes(timeout)&&!TestIsDone){}当调用事件时,DownloadDataCompleted事件将TestIsDone成员设置为true.这里的问题是如果代理设置不好,则永远不会调用Event,不会抛出异常,程序会在继续之前等待整个超时时间.以下是此方法的代码:
public static bool TestProxy(System.Net.WebProxy proxy)
{
ProxySettingsTestDone = false; //public static var
string address = //url to some arbitrary data on our server
System.Net.WebClient webClnt = new System.Net.WebClient();
webClnt.Proxy = proxy;
webClnt.Credentials = proxy.Credentials;
try
{
webClnt.DownloadDataCompleted += new System.Net.DownloadDataCompletedEventHandler(DownloadDataCallback);
webClnt.DownloadDataAsync(new …Run Code Online (Sandbox Code Playgroud) 我在我的Mac上安装了一台虚拟机.此VM正在运行多个虚拟主机.
当我加载Charles并导航到位于VM上的站点时,响应速度非常慢.我检查过查尔斯内部没有打开限制.
我想知道是否有人能想到为什么会发生这种情况?
我使用这个代码我想创建代理,所有应用程序调用端口3000将被"引导"到端口3002
var http = require('http'),
httpProxy = require('http-proxy');
var proxy = httpProxy.createProxyServer();
http.createServer(function (req, res) {
proxy.web(req, res, {
target: 'http://localhost:3002'
});
}).listen(3000);
// Create target server
http.createServer(function (req, res) {
res.writeHead(200, { 'Content-Type': 'text/plain' });
res.write('request successfully proxied to: ' + req.url + '\n' + JSON.stringify(req.headers, true, 2));
res.end();
}).listen(3002);
Run Code Online (Sandbox Code Playgroud)
现在,当我使用原始端口(3000)运行应用程序时,我在浏览器中看到了
请求成功代理到3002
当我将端口(在浏览器中)更改为3002时,我仍然收到 相同的消息,为什么?好吗?
我应该在第二个创建服务器中生产什么?我的意思是代替
res.writeHead(200, { 'Content-Type': 'text/plain' });
res.write('request successfully proxied to: ' + req.url + '\n' + JSON.stringify(req.headers, true, …Run Code Online (Sandbox Code Playgroud)现代浏览器支持可通过PAC文件连接的HTTPS代理(请参阅https://www.igvita.com/2012/06/25/spdy-and-secure-proxy-support-in-google-chrome/,如果您'不熟悉).
我正在尝试复制相同的东西并通过php CURL连接到这样的代理,但我只是得到一个空白的响应,没有标题或内容.
我的代码如下:
$url = "http://checkip.dyndns.com";
$proxy = "proxy.domain.com:443";
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_TIMEOUT, 10);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL , 1);
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'test:test');
curl_setopt($ch, CURLOPT_PROXYTYPE, "CURLPROXY_HTTP");
$response = curl_exec($ch);
curl_close($ch);
echo $response;
Run Code Online (Sandbox Code Playgroud)
有任何想法吗?
我正在寻找将一个URL /路径反向代理到端点上代表不同服务器托管其自己的Web应用程序的不同端口的方法。
我可以使用proxy_pass,但是静态文件失败,因为资源是相对于其实例的。
我有例如-server_name = myproxy.com:
location /app1/{
proxy_pass: http://192.168.1.1:8080/;
proxy_set_header Host 192.168.1.1;
}
location /app2/{
proxy_pass: http://192.168.1.1:8081/;
proxy_set_header Host 192.168.1.2;
}
location /{
proxy_pass: http://192.168.1.1:8080/;
proxy_set_header Host 192.168.1.1;
}
Run Code Online (Sandbox Code Playgroud)
如上所述,反向代理的工作原理非常好,除了与app2相关联的静态文件外。App1静态文件可以正常工作,但App2静态文件会生成404。这很有意义,因为App1资源文件位于/assets/app1.css此文件中,因为我有/适当的位置重定向,可以解析回App1但App2资源文件,这完全是/assets/app2.css404中的结果不同。
因此,有没有办法将App2静态请求从重写/assets/app2.css为它们各自的代理位置?就像是:
location /app1/{
proxy_pass: http://192.168.1.1:8080/;
proxy_set_header Host 192.168.1.1;
}
location /app2/{
proxy_pass: http://192.168.1.1:8081/;
proxy_set_header Host 192.168.1.2;
*rewrite app2 static urls frome /assets/* to /app2/assets/*
}
location /{
proxy_pass: http://192.168.1.1:8080/;
proxy_set_header Host 192.168.1.1;
}
Run Code Online (Sandbox Code Playgroud) 我正在尝试使用selenium + phantomjs设置webscraping的代理.我正在使用python.
我在很多地方都看到phantomjs中存在一个bug,因为proxy-auth不起作用.
from selenium.webdriver.common.proxy import *
from selenium import webdriver
from selenium.webdriver.common.by import By
service_args = [
'--proxy=http://fr.proxymesh.com:31280',
'--proxy-auth=USER:PWD',
'--proxy-type=http',
]
driver = webdriver.PhantomJS(service_args=service_args)
driver.get("https://www.google.com")
print driver.page_source
Run Code Online (Sandbox Code Playgroud)
代理网格建议使用以下代码:
page.customHeaders = {'Proxy-Authorization':'Basic'+ btoa('USERNAME:PASSWORD')};
但我不知道如何将其转换为python.
这就是我目前拥有的:
from selenium import webdriver
import base64
from selenium.webdriver.common.proxy import *
from selenium import webdriver
from selenium.webdriver.common.by import By
service_args = [
'--proxy=http://fr.proxymesh.com:31280',
'--proxy-type=http',
]
headers = { 'Proxy-Authorization': 'Basic ' + base64.b64encode('USERNAME:PASSWORD')}
for key, value in enumerate(headers):
webdriver.DesiredCapabilities.PHANTOMJS['phantomjs.page.customHeaders.{}'.format(key)] = value
driver = webdriver.PhantomJS(service_args=service_args)
driver.get("https://www.google.com") …Run Code Online (Sandbox Code Playgroud) 我目前有一台服务器在Tomcat servlet中使用Shiro Token系统运行Spring,用于检查用户是否已经登录.它允许跨域请求.
在任何其他域我可以在客户端(通常使用角度)调用...
http.get('https://<my_check_login_service>', {withCredentials: true})
...只要我已经登录(令牌未过期),就会返回用户信息(姓名,头像等).
我现在有另一个系统,它是一个节点服务器(也为客户端提供角度),我想称之为节点服务器并让它代理到上面的my_check_login_service以获取用户,在会话对象上设置信息(使用快递),然后将用户返回给客户端.而且,通过会话对象,让我相信自己的连接,并允许他们执行取决于从登录服务返回的用户的安全水平进一步API调用.
在node.js路由器上我可以代理这样做......
app.get('/checklogin', function(req, res) {
req.pipe(request.get("https://<my_check_login_service>").pipe(res);
}
Run Code Online (Sandbox Code Playgroud)
...但我不知道如何将正确的凭据传递给服务.如果我做 ...
http.get('checkLogin', {withCredentials: true})
...当然,它不起作用,因为我的login_service的凭据不会发送到本地服务器.如何通过正确的凭据才能使其正常工作?
干杯.
proxy ×10
c# ×2
node.js ×2
.net ×1
amazon ×1
attributes ×1
caching ×1
curl ×1
debugging ×1
express ×1
http ×1
javascript ×1
nginx ×1
phantomjs ×1
php ×1
properties ×1
python ×1
selenium ×1
shiro ×1
virtualhost ×1
web-services ×1