小编Mik*_*keD的帖子

Crawler url队列还是哈希列表?

我正在重写我之前写过的Delphi 6站点映射器应用程序的spidering/crawler部分.该应用程序蜘蛛网站.

我需要管理两个方面:

  1. 要扫描的URL队列,先进先出.
  2. 扫描的URL列表,以便新页面中的链接如果已经访问过,则不会添加到队列中.需要搜索此列表.

以前这些分别是使用TList和StringList完成的.显然,这些性能在具有数千个链接的站点上降级.

我的问题是,应该为这些队列/列表使用什么来确保最佳性能?我对哈希的经验很少.

delphi queue hash web-crawler

6
推荐指数
2
解决办法
709
查看次数

TWebBrowser和FEATURE_BROWSER_EMULATION在运行时

有没有人尝试在运行时创建和销毁TWebBrowser并使用FEATURE_BROWSER_EMULATION切换浏览器模式,然后重新创建TWebBrowser以启用切换模式而不重新启动应用程序?

我想知道设置是否仅在启动应用程序时读取,或者是否创建了Web浏览器控件.

twebbrowser

3
推荐指数
1
解决办法
6283
查看次数

标签 统计

delphi ×1

hash ×1

queue ×1

twebbrowser ×1

web-crawler ×1