我正在尝试安装squid 3.5.4(在docker上,运行debian 8)并以ssl-bump模式运行它。汇编:
./configure --prefix=/opt/squid --srcdir=. --disable-maintainer-mode \
--disable-dependency-tracking --disable-silent-rules --enable-inline\
--disable-arch-native --enable-async-io=8 \
--enable-storeio=ufs,aufs,diskd,rock \
--enable-removal-policies=lru,heap --enable-delay-pools \
--enable-cache-digests --enable-icap-client \
--enable-follow-x-forwarded-for \
--enable-auth-basic=DB,fake,getpwnam,LDAP,MSNT-multi-domain,NCSA,NIS,PAM,POP3,RADIUS,SASL,SMB \
--enable-auth-digest=file,LDAP \
--enable-auth-negotiate=kerberos,wrapper \
--enable-auth-ntlm=fake,smb_lm \
--enable-external-acl-helpers=file_userip,kerberos_ldap_group,LDAP_group,session,SQL_session,unix_group,wbinfo_group \
--enable-url-rewrite-helpers=fake --enable-eui \
--enable-esi --enable-icmp --enable-zph-qos \
--disable-translation --with-filedescriptors=65536 \
--with-large-files --with-default-user=squid \
--enable-linux-netfilter \
CFLAGS="-g -O2 -fPIE -Wall" LDFLAGS="-fPIE -pie -Wl,-z,relro -Wl,-z,now" CPPFLAGS="-D_FORTIFY_SOURCE=2" \
CXXFLAGS="-g -O2 -fPIE " --enable-ssl --with-openssl --enable-ssl-crtd
Run Code Online (Sandbox Code Playgroud)
更改配置(squid.conf)(其余为默认值):
# Squid normally listens to port 3128 \
http_port 9090
sslcrtd_program /opt/squid/libexec/ssl_crtd -s …Run Code Online (Sandbox Code Playgroud) 我对 scrapy 很陌生(而且我的背景不是信息学)。我有一个网站,我无法使用我的本地 IP 访问,因为我被禁止,我可以使用浏览器上的 VPN 服务访问它。为了让我的蜘蛛能够爬行它,我设置了一个代理池,我在这里找到了http://proxylist.hidemyass.com/。这样我的蜘蛛就能够爬行和抓取项目,但我怀疑我是否必须每天更改代理池列表?抱歉,如果我的问题很愚蠢......
这是我的设置.py:
BOT_NAME = 'reviews'
SPIDER_MODULES = ['reviews.spiders']
NEWSPIDER_MODULE = 'reviews.spiders'
DOWNLOAD_DELAY = 1
RANDOMIZE_DOWNLOAD_DELAY = True
DOWNLOADER_MIDDLEWARES = {
'scrapy.contrib.downloadermiddleware.httpcompression.HttpCompressionMiddleware':None, # to avoid the raise IOError, 'Not a gzipped file' exceptions.IOError: Not a gzipped file
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware' : None,
'reviews.rotate_useragent.RotateUserAgentMiddleware' :400,
'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 110,
'reviews.middlewares.ProxyMiddleware': 100,
}
PROXIES = [{'ip_port': '168.63.249.35:80', 'user_pass': ''},
{'ip_port': '162.17.98.242:8888', 'user_pass': ''},
{'ip_port': '70.168.108.216:80', 'user_pass': ''},
{'ip_port': '45.64.136.154:8080', 'user_pass': ''},
{'ip_port': '149.5.36.153:8080', 'user_pass': ''},
{'ip_port': '185.12.7.74:8080', …Run Code Online (Sandbox Code Playgroud) 我正在尝试让 docker-compose 构建工作。我原来的 Dockerfile 是,
FROM python:3.4.2-onbuild
Run Code Online (Sandbox Code Playgroud)
我有requirements.txt,
Django==1.8.1
gunicorn==19.3.0
psycopg2==2.6
redis==2.10.3
Run Code Online (Sandbox Code Playgroud)
因为它位于代理后面,所以 pip install 无法在没有 --proxy 的情况下到达外部,
Downloading/unpacking Django==1.8.1 (from -r requirements.txt (line 1))
Cannot fetch index base URL https://pypi.python.org/simple/
Could not find any downloads that satisfy the requirement Django==1.8.1 (from -r requirements.txt (line 1))
Run Code Online (Sandbox Code Playgroud)
我尝试将 Docker 文件更改为此,但它没有采用 --proxy pip 选项,
FROM python:3.4.2-onbuild
ENV HTTP_PROXY="http://<PROXY>"
ENV PIP_OPTIONS="--proxy $HTTP_PROXY"
ADD requirements.txt /requirements.txt
RUN pip install --proxy $HTTP_PROXY --requirement /requirements.txt
Run Code Online (Sandbox Code Playgroud)
但是,即使我使用 --no-cache,docker-compose 似乎也没有获取 Dockerfile。
我正在尝试提供一个 django web 应用程序,它使用 Gunicorn 和 httpd 作为代理,也提供静态内容。一切工作正常,除了 django Rest Framework 可搜索 API 根(应用程序 API 的入口点)未提供正确的 url。url 是本地主机和gunicorn 服务的端口,而不是机器的IP 地址或其主机名。这是该应用程序的 httpd conf 文件:
<VirtualHost *:80>
DocumentRoot /opt/example
ProxyPass /static/ !
Alias /static/ /var/www/html/static/
ProxyPass / http://localhost:8000/
ProxyPassReverse / http://localhost:8000/
</VirtualHost>
Run Code Online (Sandbox Code Playgroud)
Gunicorn 在 localhost 的端口 8000 上提供服务。
这是 api 的视图:
@api_view(('GET',))
def api_root(request, format=None):
return Response({
'activity': reverse('activity-list', request=request, format=format)
'test' : reverse('test-list', request=request, format=format)
})
Run Code Online (Sandbox Code Playgroud)
当点击 api 根页面时,这是我得到的响应:
HTTP 200 OK
Content-Type: application/json
Vary: Accept
Allow: GET, HEAD, OPTIONS
{ …Run Code Online (Sandbox Code Playgroud) 环境:MAC进程
我研究了使用 MonoTouch、HttpClient 和 Charles Proxy 时的 HTTP 流量监控问题。
虽然我的问题与之类似,但我的应用程序正在使用RestTemplate http://docs.spring.io/autorepo/docs/spring-android/1.0.x/reference/html/rest-template.html。每当请求通过网络浏览器(具体来说是 Safari 和 Chrome)时,我都能够捕获 HTTP 和 HTTPS 流量,而当我通过我的应用程序(基本上使用 RestTemplate)发出休息请求时,Charles 代理不会捕获它们。
从上述问题的答案来看,应该是与RestTempate上的代理设置有关。但我是一名 .NET 开发人员,对 fiddler 非常熟悉 - 但最近转向 Java,对 Charles 还很陌生 - 因此,如果您能让我知道具体细节,或者您对配置 REST 模板以使用我的 macOS 代理的想法,那就太好了。 ..
基本上问题是如何配置我的休息模板(客户端),以便 charles Web 代理能够通过我的应用程序(客户端)捕获请求和响应。
其余模板由扩展 __https://docs.spring.io/spring/docs/current/javadoc-api/org/springframework/http/client/ SimpleClientHttpRequestFactory .html 的自定义请求工厂实例化。
看起来我需要做类似的事情(参考:http://docs.spring.io/spring-integration/reference/html/http.html#http-proxy)
<bean id="requestFactory"
class="org.springframework.http.client.SimpleClientHttpRequestFactory">
<property name="proxy">
<bean id="proxy" class="java.net.Proxy">
<constructor-arg>
<util:constant static-field="java.net.Proxy.Type.HTTP"/>
</constructor-arg>
<constructor-arg>
<bean class="java.net.InetSocketAddress">
<constructor-arg value="123.0.0.1"/>
<constructor-arg value="8080"/>
</bean>
</constructor-arg>
</bean>
</property>
</bean>
Run Code Online (Sandbox Code Playgroud) 我已经能够使用node.js和passport.js通过GitHub项目连接到Facebook,该项目位于:https: //github.com/jaredhanson/passport-facebook/tree/master/examples/login。
这是 app.js 代码正在执行的操作:
var express = require('express')
, passport = require('passport')
, util = require('util')
, FacebookStrategy = require('passport-facebook').Strategy
, logger = require('morgan')
, session = require('express-session')
, bodyParser = require("body-parser")
, cookieParser = require("cookie-parser")
, methodOverride = require('method-override');
var FACEBOOK_APP_ID = "--insert-facebook-app-id-here--"
var FACEBOOK_APP_SECRET = "--insert-facebook-app-secret-here--";
// Passport session setup.
// To support persistent login sessions, Passport needs to be able to
// serialize users into and deserialize users out of the session. Typically,
// this …Run Code Online (Sandbox Code Playgroud) HTTP请求
当您使用代理发出 HTTP cURL 请求时,您将执行以下操作:
curl -x http://myproxy:8888 http://github.com
Run Code Online (Sandbox Code Playgroud)
cURL 向代理 myproxy:8888 发送一个 HTTP 请求,该代理创建一个到http://github.com的新 HTTP 请求
The request content is :
GET /
Host: myproxy:8888
Location: http://github.com
Run Code Online (Sandbox Code Playgroud)
HTTPS 连接
当您使用代理发出 HTTPS cURL 请求时,您将执行以下操作:
curl -x http://myproxy:8888 https://github.com
Run Code Online (Sandbox Code Playgroud)
cURL 向代理 myproxy:8888 发送 CONNECT 请求,这会在您和 github 之间创建 TCP 隧道。所有 SSL 协商均在您和 github 之间进行。
HTTPS 请求
我想在没有 CONNECT 的情况下使用代理发出 HTTPS cURL 请求。我想为 HTTPS URL 的代理创建 HTTP 请求。
请求内容将是:
GET /
Host: myproxy:8888
Location: **https**://github.com
Run Code Online (Sandbox Code Playgroud)
是否可以 ?这个怎么做 ?
我的服务器上运行着多个 Tomcat。我使用 lighttpd 来反向代理不同域的传入请求。到目前为止,我只使用了 http 而没有使用 https,这个配置对我有用:
$HTTP["host"] == "my.domain.com" {
proxy.server = ( "" => ( (
"host" => "127.0.0.1",
"port" => 8080
) ) )
}
Run Code Online (Sandbox Code Playgroud)
但是当我尝试相同并且仅将端口更改为 https 端口时,我只看到一个空白页面。我需要做什么才能将流量重定向到使用 https 的 Tomcat。
我有一个关于 NHibernate 代理的问题。我的日志文件中有很多日志,例如:将代理缩小到 - 此操作中断==网上还有一些其他问题和不同的答案:
Stackoverflow NHibernate 缩小代理警告 这是否是一件大事取决于您愿意接受的风险程度。由于代码和数据库之间始终存在脱节,因此您无法始终确保转换能够正常工作。这将导致可能难以诊断的错误,并且如果不更改数据库或代码就可能无法解决。
hibernate 的另一篇文章:
缩小问题范围 不要担心他的警告,只需将以下内容放入您的日志文件中,您就不会再看到它了......
为什么会发生这种情况?假设您有一个与地址具有多对一关联的产品。两者都是实体,并且 Address 有一个 ShippingAddress 子类。
让我们从数据库中 Session.get(..) 获取一个以 ShippingAddress 作为关联的产品。因为多对一是惰性的,所以它会返回一个Address代理。请注意,这是一个地址代理,而不是一个 ShippingAddress 代理,因为代理将始终与产品中提到的类型匹配(有关详细信息,请参阅 hibernate 书籍)。
该代理由 Hibernate 存储在其代理缓存中。现在,我们从数据库中 Session.get(...) 获取相同的 ShippingAddress,该地址与我们使用的从数据库中获取的产品相关联。现在 Hibernate 将发现它已经包含此 ShippingAddress 的代理并将返回它。但是,它会注意到类型不相同,因此必须进行“向下转型”。因为后一个操作对于“代理”来说是不可能的,所以它将创建新的操作并返回它......
正如你所看到的,没什么好担心的。 您可以考虑将地址设置为值类型...在我的情况下,这是没有选择的。
还有最后一张
以下是 NHibernate 的代码:StatefulPersistenceContext.cs -> NarrowProxy(..)
那么,到底有没有问题呢?我总是在程序中使用分离的对象。我希望有一个人可以帮助我。多谢。
我对 python 很陌生,所以无法通过之前的帖子弄清楚它。我正在使用下面的代码示例来摄取 Twitter 流,当我不在代理后面时,这工作正常,但是当我在代理后面时,这不起作用。如果有人可以指导我如何在此代码中绕过代理,将会有很大帮助
tp = TwitterHandler()
auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)
stream = tweepy.Stream(auth, tp)
stream.filter(track=FILTER_WORDS_LIST)
Run Code Online (Sandbox Code Playgroud)