自动保存特定 URL 的代理

Question

我正在寻找可以执行以下操作的网络代理：

如果请求的 URL 匹配某个模式（正则表达式是理想的），则将传输保存到指定的文件夹。

我不确定是否可以使用 Squid（我已经在运行）来实现这一点，但我愿意使用其他工具。

谢谢！

Answer 1

实现此目的的一种方法是使用 wwwoffle：在“在线”模式下， wwwoffle 将所有访问过的页面（不包括与指定正则表达式匹配的页面）保存到文件夹中。您可以配置缓存文件夹路径。

据我所知，没有直接的方法来告诉 WWWOFFLE 要保存哪些页面/URL，但可能有解决方法：

• 如果你可以否定你的正则表达式，你可以告诉 WWWOFFLE 哪些页面 不保存

• 如果您的浏览器支持 proxy.pac基于 JavaScript 的代理配置，则可以直接编写一个 JavaScript 函数来指示浏览器仅对与正则表达式匹配的 URL 使用代理。

• 当 URL 匹配特定模式时，您可以配置 Squid 使用 WWWOFFLE 作为父代理；即，当请求 URL 与正则表达式匹配时，您有浏览器->Squid->WWWOFFLE->Internet，否则有浏览器->Squid->Internet。