我在使用 NextJS api 转发时遇到了一些问题multipart/form-data。
async function proxy(req: NextApiRequest, res: NextApiResponse): Promise<void> {
const { body, headers, method, url } = req;
// Doing some work to handle authentication
const rewriteUrl = url?.replace('/api/proxy', '');
const config: AxiosRequestConfig = {
url: rewriteUrl,
method: method as Method,
headers: {
cookie: '',
Authorization: token,
},
data: body,
};
try {
const { data: originalData, status } = await axiosInstance(config);
return res.status(status).json(originalData);
} catch (err) {
return res.status(err.status).json(err);
}
}
export default proxy; …Run Code Online (Sandbox Code Playgroud) 我正在使用代理网络,并希望在 Python 上使用 Selenium 对其进行配置。我见过很多帖子使用该HOST:PORT方法,但代理网络使用的“URL方法” http://USER:PASSWORD@PROXY:PORT
我发现SeleniumWire 是一种将代理网络的“URL 方法”连接到 Selenium Scraper 的方法。请参阅基本 SeleniumWire 配置:
from seleniumwire import webdriver
options = {
'proxy':
{
'http': 'http://USER:PASSWORD@PROXY:PORT',
'https': 'http://USER:PASSWORD@PROXY:PORT'
},
}
driver = webdriver.Chrome(seleniumwire_options=options)
driver.get("https://some_url.com")
Run Code Online (Sandbox Code Playgroud)
这正确地添加并循环了驱动程序的代理,但是在许多网站上,爬虫很快就被 CloudFlare阻止。在本地 IP 上运行时不会发生这种阻塞。在搜索 SeleniumWire 的 GitHub Repository Issues后,我发现这是由 TLS 指纹识别引起的,并且当前没有解决此问题的方法。
我尝试以传统的硒方式配置代理:
from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument("--proxy-server=http://USER:PASSWORD@PROXY:PORT")
driver = webdriver.Chrome(options=options)
driver.get("https://some_url.com")
Run Code Online (Sandbox Code Playgroud)
浏览器实例确实打开,但由于网络错误而失败。浏览器实例不会加载到已建立的 URL …
我知道可以将 http_proxy 和 https_proxy 环境变量传递到容器,如图所示。这个答案。但是,这仅适用于 wget 和curl 等代理感知命令,因为它们仅读取和使用这些环境变量。
我需要通过代理连接所有内容,以便所有互联网访问都通过代理路由。本质上,代理应该转变为VPN的一种。
我正在考虑类似于--net=container容器从另一个容器获取网络的选项。
如何配置容器以通过代理运行所有内容?
我正在 python selenium 上自动执行一项任务,以访问我无法访问的网站。 此浏览器或应用程序可能不安全 请尝试使用其他浏览器。 作为解决方案,我使用带有代理的未检测到的 Chrome 浏览器。
当自动化启动时,我们会收到一个用于身份验证的代理警报“登录代理需要用户名和密码。您与此站点的连接不是私人的”

为了处理这个问题,我使用了库PyAutoGui。这填充了代理的用户名和密码,整个自动化成功。
问题是我想在 ubuntu 服务器上运行它,我必须使用 headless,但 pyautogui 不能在 headless chrome 上运行。它检测屏幕上打开的窗口,并将用户名和密码扔到那里(在我的例子中是 PYCHARM 的代码脚本)。因此,由于代理未通过身份验证,因为它没有获取所需的值,因此页面不会加载,并且 selenium 自动化会由于它期望在页面上出现的元素而引发错误。
File "C:\Users\username\PycharmProjects\ProjectName\venv\lib\site-packages\selenium\webdriver\support\wait.py", line 90, in until
raise TimeoutException(message, screen, stacktrace)
selenium.common.exceptions.TimeoutException: Message:
Stacktrace:
Run Code Online (Sandbox Code Playgroud)
我已经尝试过这些解决方案,但找不到这三个解决方案的工作原理:
我已经尝试了很多东西,主要是在未检测到的 chromedriver 问题中共享的 ,但是当涉及到无头时,所有这些解决方案都会失败
硒似乎无法通过硒警报访问!
这是我的代码(某些部分是伪的)
import pandas as pd
from imap_tools import MailBox, AND
import re
# No Headless, Proxy, undetected
from selenium.webdriver.common.by …Run Code Online (Sandbox Code Playgroud) 我有一个域 example.org。
我有 docker 在那里运行,Traefik 作为代理。现在我想设置Keycloak。我想访问 auth.example.org 上的 Keycloak。这是我的配置(docker-compose):
keycloak:
image: quay.io/keycloak/keycloak
restart: always
command: start
environment:
KC_PROXY_ADDRESS_FORWARDING: true
KC_HOSTNAME_STRICT: false
KC_HOSTNAME: auth.example.org
KC_HOSTNAME_PORT: 443
KC_HTTP_ENABLED: true
KC_DB: postgres
KC_DB_URL: jdbc:postgresql://postgres:5432/keycloak?ssl=allow
KC_DB_USERNAME: root
KC_DB_PASSWORD: password
KEYCLOAK_ADMIN: admin
KEYCLOAK_ADMIN_PASSWORD: password
labels:
- "traefik.http.routers.cloud-network-keycloak.rule=Host(`auth.example.org`)"
- "traefik.http.routers.cloud-network-keycloak.entrypoints=websecure"
- "traefik.http.routers.cloud-network-keycloak.tls.certresolver=letsencryptresolver"
- "traefik.http.routers.cloud-network-keycloak.tls=true"
- "traefik.http.services.cloud-network-keycloak.loadbalancer.server.port=8080"
depends_on:
postgres:
condition: service_healthy
networks:
- internal
- traefik
Run Code Online (Sandbox Code Playgroud)
但是,加载 Keycloak 管理控制台会https://auth.example.org/admin/master/console/在浏览器中引发错误:
网址: https: //auth.example.org/realms/master/protocol/openid-connect/login-status-iframe.html/init?client_id=security-admin-console&origin=https%3A%2F%2Fauth.example。组织 状态:403
我不知道...如何解决这个问题?
我需要使用 selenium 和 Chrome 使用 python 访问网站。下面是我的代码的缩短版本。
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.chrome.service import Service
# PROXY='https://myproxy.com:3128'
PROXY = 'https://username:password@myproxy.com:3128'
proxyuser='username' #this is the proxy user name used in above string
proxypwd='password' #this is the proxy password used in above string
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server=%s' % PROXY)
chrome_options.add_argument("ignore-certificate-errors");
chrome = webdriver.Chrome(options=chrome_options,service=Service(ChromeDriverManager().install()))
chrome.get("https://www.google.com")
while True:
print('ok')
Run Code Online (Sandbox Code Playgroud)
我位于需要身份验证的公司代理服务器后面。我不确定如何传递登录凭据和代理设置以安装 chromedriver 当上面的代码在没有代理的情况下运行时,它会按预期工作。但使用代理连接运行时出现如下错误:
[WDM] - ====== WebDriver manager ======
[WDM] - Current google-chrome version is 105.0.5195
[WDM] - Get LATEST chromedriver …Run Code Online (Sandbox Code Playgroud) crash是一个socks5代理应用程序。vscode 我使用platformIO。
所以我写的 settings.json 如下:
"http.proxyAuthorization": null,
"http.proxyStrictSSL": false,
"http.proxy": "socks5://127.0.0.1:7890"
Run Code Online (Sandbox Code Playgroud)
在 platformIO_CLi CMD 窗口中,我输入: pio pkg install -g --platform "platformio/espressif32@^5.1.1" 但它不起作用并且无法下载任何内容。
如何为使用Network(而不是使用URLSession)建立的连接设置代理设置?
正如此答案中所述,可以URLSession通过更新配置来做到这一点:
configuration.connectionProxyDictionary = [
kCFNetworkProxiesHTTPEnable as String: 1,
kCFNetworkProxiesHTTPProxy as String: ip,
kCFNetworkProxiesHTTPPort as String: port,
"HTTPSEnable": 1,
"HTTPSProxy": ip,
"HTTPSPort": port,
]
Run Code Online (Sandbox Code Playgroud)
我想使用该Network库做类似的事情。
我目前正在创建连接:
NWConnection(host: host, port: port, using: .init())
Run Code Online (Sandbox Code Playgroud)
但我不知道如何配置它以使用代理。
我正在尝试使用 Next 重写将请求代理到后端。
next.config.js:
async rewrites() {
return [
{
source: "/api/:path*",
destination: "http://somedomain.loc/api/:path*",
},
]
},
Run Code Online (Sandbox Code Playgroud)
/etc/主机:
127.0.0.1 somedomain.loc
Run Code Online (Sandbox Code Playgroud)
最后我得到这个错误:
Failed to proxy http://somedomain.loc/api/offers Error: connect ECONNREFUSED 127.0.0.1:80
at TCPConnectWrap.afterConnect [as oncomplete] (net.js:1159:16) {
errno: -111,
code: 'ECONNREFUSED',
syscall: 'connect',
address: '127.0.0.1',
port: 80
}
error - Error: connect ECONNREFUSED 127.0.0.1:80
at TCPConnectWrap.afterConnect [as oncomplete] (net.js:1159:16) {
errno: -111,
code: 'ECONNREFUSED',
syscall: 'connect',
address: '127.0.0.1',
port: 80
}
Run Code Online (Sandbox Code Playgroud)
如果您通过邮递员或直接从浏览器发出请求,则一切正常。
请帮助我了解这里的问题是什么。
尝试过:代理请求到后端预期:请求被代理到后端结果:代理错误
在create-react-app我可以添加一个属性package.json:
"proxy": "https://some.server.com"
每次执行请求时fetch,每个调用(无论路径如何)都会代理到指定的目标。
实际上,我能做的最好的事情就是这样:
export default defineConfig({
server: {
proxy: {
'/api': {
target: 'https://some.server.com',
changeOrigin: true,
secure: false,
},
}
}
})
Run Code Online (Sandbox Code Playgroud)
它有效,但我需要明确指定路径。例如,如果我需要代理不以 开头的获取请求/api,我需要将其重写为^/(api|something-else)': {...}
如何让它以与 中相同的方式工作create-react-app,这样我就不必显式指定代理路径,并且只代理提取请求?
proxy ×10
docker ×3
python ×3
selenium ×3
next.js ×2
express ×1
headless ×1
ios ×1
javascript ×1
keycloak ×1
networking ×1
platformio ×1
swift ×1
traefik ×1
vite ×1