我需要一个代理Web开发调试.最好是独立的东西,所以我可以在IE和Firefox上使用它.我到目前为止使用的是CharlesProxy,但我希望找到一个免费的.有谁知道一个好的?
长话短说,我想测试我的网站的反僵尸系统("僵尸"这里指的是游戏玩家欺骗程序,而不是蜘蛛等).
我用PHP的CLI编写了自己的机器人.大多数情况下,我的网站能够检测到僵尸网络活动并阻止它.
但是我需要测试处理动态IP,因为我有一个静态IP,据我所知,这不是一件容易的事.还有其他我想测试的涉及多个IP的东西.
那么,最重要的是,当我的PHP脚本连接到它时,是否可以隐藏/更改服务器看到的IP地址,如果是这样,我该怎么做?(我之前从未真正使用过代理,因此我对它们了解不多).
我有一个设备需要连接到tcp:80上的互联网服务,但网络没有直接的互联网访问.所以我使用squid代理来解决这个问题.
该设备允许我输入代理服务器,端口,用户名和密码.
我想,该设备使用http CONNECT而不是http GET(这对我的浏览器工作正常).
当设备尝试连接时,它会收到一个http错误400. squid access.log只给出了这个:
1338885433.033 0 172.22.140.129 TCP_DENIED/400 1728 CONNECT :0 - NONE/- text/html
所以我抓住了数据包,真正看到了最新情况:
来自设备的请求:
CONNECT mydomain.com:0 HTTP/1.0 User-agent: Sequencer/5.5.0.5539
从鱿鱼回答:
HTTP/1.0 400 Bad Request squid/2.7.STABLE9 X-Squid-Error: ERR_INVALID_URL 0 close
我的squid.conf:
auth_param basic program /usr/lib/squid/pam_auth auth_param basic children 5 auth_param basic realm Squid proxy-caching web server auth_param basic credentialsttl 2 hours auth_param basic casesensitive off acl all src all acl manager proto cache_object acl localhost src 127.0.0.1/32 acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 acl localnet src …
我正在开发一个发出HTTP请求的Java应用程序,我开发时间的一半是在代理之后.所以我的代码中有以下块:
if (BEHIND_PROXY) {
java.util.Properties systemProperties = System.getProperties();
systemProperties.setProperty("http.proxyHost", PROXY_HOST);
systemProperties.setProperty("http.proxyPort", PROXY_PORT);
}
Run Code Online (Sandbox Code Playgroud)
我的想法是根据我的位置改变价值BEHIND_PROXY.我今天的工作,不是一个代理之后,忘了设置BEHIND_PROXY到false.但是,连接仍然成功,我的应用程序收到了它请求的数据.这怎么可能?是否有内置的东西,如果无法访问代理服务器,它只是再次尝试但在此重试时绕过代理?
第二个问题,我一直试图找到一个完整的系统属性列表.我发现有很多帖子像这一个,但他们没有一个人列出http.proxyHost或http.proxyPort,这让我觉得他们显然不是很完整.我不知何故错了?这些http.x属性属于这些其他列表吗?某处有更完整的清单吗?
AWS刚刚为ELX添加了对PROXY协议的支持,该协议包装TCP流并添加客户端IP地址(由代理看到),以便后端服务器可以访问客户端的IP(因为否则只能看到ELB的IP) .
我知道ELB可以在HTTP(S)模式下运行,其中ELB插入X-Forwarded-For标头,但我在TCP模式下运行我的ELB,以便我可以通过SPDY服务我的站点.
如何修改我的node.js应用程序(使用Express)以使用PROXY协议?
我正在研究大公司如何管理他们的公共API.我正在考虑拥有成熟的API的公司,如谷歌,Facebook,Twitter和亚马逊.
这些公司有许多不同的API,它们向公众公开.例如,Google拥有可公开使用的Plus,AdSense,AdWords等API.我想了解他们是否在这些API前面使用了一组反向代理服务器来提供通用功能,以便他们的专业API服务器不需要实现它.
例如:可以在此层处理限制和身份验证,而不是在每个API群集中实现它.
问题:是否有人在其API前使用垫片或反向代理来处理常见任务?对于API服务器集群而言,反向代理是一个好主意还是坏主意的用例是什么?
尝试通过我的公司代理使用https.request从github下载zip文件时出现以下错误:
尝试下载Casper.JS时发生错误140735122252160:错误:1408F10B:SSL例程:SSL3_GET_RECORD:错误的版本号:../ deps/openssl/openssl/ssl/s3_pkt.c:337:
我正在尝试编辑grunt-casperjs安装脚本,以允许我和我的同事安装在我们的代理后面.该脚本从Github获取Casper并下载它.最初脚本不支持代理,所以我复制了grunt-phantomjs代理支持.Phantomjs通过http连接下载,这可以通过我们的代理工作正常(如果我将其更改为https URL,它会失败并出现相同的错误).
我尝试过以下方法:
var https = require('https');
https.globalAgent.options.secureProtocol = 'SSLv3_method'
var url = require('url');
var downloadUrl = 'https://codeload.github.com/n1k0/casperjs/zip/1.0.3'
var proxy = 'https://username:password@IP:port';
var options = url.parse(proxy);
options.path = downloadUrl;
options.headers = { Host: url.parse(downloadUrl).host }
// If going through proxy, spoof the User-Agent, since may commercial proxies block blank or unknown agents in headers
options.headers['User-Agent'] = 'curl/7.21.4 (universal-apple-darwin11.0) libcurl/7.21.4 OpenSSL/0.9.8r zlib/1.2.5'
// Turn basic authorization into …Run Code Online (Sandbox Code Playgroud) 有没有办法配置WKWebView通过HTTP代理服务器?我知道这可以直接使用NSURLSession,但我想配置它以便通过WKWebView浏览器的所有请求都通过代理.
我创建了一个注释,用于创建使用环境中的值填充的ThreadPoolTaskExecutors.但是,当我自动装配bean时,它给了我一个代理并调用代理上的方法给出了错误的值.
如果我手动访问目标类,那么我得到正确的值.
Executor exec = (Executor) ((Advised) executor).getTargetSource().getTarget();
ThreadPoolTaskExecutor taskExec = (ThreadPoolTaskExecutor) exec;
Run Code Online (Sandbox Code Playgroud)
我一直在摸不着头脑,为什么我得到了一个代理bean,但似乎无法弄明白.
我正在使用注释导入我的注册器类,该类实现ImportBeanDefinitionRegistrar来注册bean.注册商代码如下:
public class ExecutorEnumerationRegistrar implements ImportBeanDefinitionRegistrar, EnvironmentAware {
public static final String CORE_POOL_SIZE = "corePoolSize";
public static final String MAX_POOL_SIZE = "maxPoolSize";
public static final String QUEUE_CAPACITY = "queueCapacity";
public static final String THREAD_NAME_PREFIX = "threadNamePrefix";
private static final String REJECTED_EXECUTION_HANDLER = "rejectedExecutionHandler";
private static final String NAMES = "names";
private static final String REJECTED_HANDLER = "rejectedHandler";
private Environment env;
@Override
public void registerBeanDefinitions(AnnotationMetadata importingClassMetadata, BeanDefinitionRegistry …Run Code Online (Sandbox Code Playgroud) 这是由高级代理提供商luminati.io提供的API.但是,它作为字节代码而不是字典返回,因此它被转换为dictonary,以便能够提取ip和 port:
每个请求都将以新的对等代理结束,因为IP会针对每个请求进行轮换.
import csv
import requests
import json
import time
#!/usr/bin/env python
print('If you get error "ImportError: No module named \'six\'"'+\
'install six:\n$ sudo pip install six');
import sys
if sys.version_info[0]==2:
import six
from six.moves.urllib import request
opener = request.build_opener(
request.ProxyHandler(
{'http': 'http://lum-customer-hl_1247574f-zone-static:lnheclanmc@127.0.3.1:20005'}))
proxy_details = opener.open('http://lumtest.com/myip.json').read()
if sys.version_info[0]==3:
import urllib.request
opener = urllib.request.build_opener(
urllib.request.ProxyHandler(
{'http': 'http://lum-customer-hl_1247574f-zone-static:lnheclanmc@127.0.3.1:20005'}))
proxy_details = opener.open('http://lumtest.com/myip.json').read()
proxy_dictionary = json.loads(proxy_details)
print(proxy_dictionary)
Run Code Online (Sandbox Code Playgroud)
然后我计划使用ip和port在请求模块中连接到感兴趣的网站:
headers = {'USER_AGENT': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; …Run Code Online (Sandbox Code Playgroud)