设置java URLConnection的用户代理

Question

我正在尝试使用带有URLConnection的Java解析网页.我尝试像这样设置用户代理:

java.net.URLConnection c = url.openConnection();
c.setRequestProperty("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2");

但是生成的用户代理是我指定的用户代理,末尾附加了"Java/1.5.0_19".有没有办法真正设置用户代理没有这个添加？

Answer 1

只是为了澄清:setRequestProperty工作正常!至少使用Java 1.6.30.

我用netcat(一个端口监听器)在我的机器上监听:

$ nc -l -p 8080

它只是监听端口,因此您可以看到任何请求的内容,例如原始的http-headers.

并获得以下没有setRequestProperty的http标头:

GET /foobar HTTP/1.1
User-Agent: Java/1.6.0_30
Host: localhost:8080
Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2
Connection: keep-alive

并使用setRequestProperty:

GET /foobar HTTP/1.1
User-Agent: Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2
Host: localhost:8080
Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2
Connection: keep-alive

如您所见,用户代理已正确设置.

完整示例:

import java.io.IOException;
import java.net.URL;
import java.net.URLConnection;


public class TestUrlOpener {

    public static void main(String[] args) throws IOException {
        URL url = new URL("http://localhost:8080/foobar");
        URLConnection hc = url.openConnection();
        hc.setRequestProperty("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2");

        System.out.println(hc.getContentType());
    }

}

Answer 2

关闭,设置http.agent系统属性""可能会成功(我没有在我面前的代码).

你可能会逃脱:

 System.setProperty("http.agent", "");

但这可能需要你和URL协议处理程序的初始化之间的竞争,如果它在启动时缓存值(实际上,我认为它没有).

该属性也可以通过JNLP文件(可用于6u10的applet)和命令行设置:

-Dhttp.agent=

或者对于包装器命令:

-J-Dhttp.agent=

Answer 3

它对我的工作 在 addRequestProperty 中设置了 User-Agent。

URL url = new URL(<URL>);
HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();
httpConn.addRequestProperty("User-Agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0");