查找和删除孤立的网页,图像和其他相关文件

Question

我在许多网站上工作的文件可以追溯到2000年.这些网站随着时间的推移有机增长,导致大量孤立的网页,包括文件,图像,CSS文件,JavaScript文件等......这些孤立的文件导致一些问题包括可维护性差,可能存在安全漏洞,客户体验不佳以及像我这样疯狂地驾驶OCD/GTD怪胎.

这些文件数量为数千个,因此完全手动解决方案是不可行的.最终,清理过程需要相当大的质量保证工作,以确保我们不会无意中删除所需的文件,但我希望开发一种技术解决方案来帮助加快手动工作.此外,我希望将流程/实用程序放在适当的位置,以帮助防止将来发生这种混乱局面.

环境考虑因素:

• 经典的ASP和.Net
• 运行IIS 6和IIS 7的Windows服务器
• 多种环境(Dev,Integration,QA,Stage,Prodction)
• TFS用于源代码管理

在开始之前,我想从其他成功导航过类似过程的人那里得到一些反馈.

具体我正在寻找:

• 识别和清理孤立文件的过程
• 保护环境免受孤立文件干扰的过程
• 帮助识别孤立文件的实用程序
• 帮助识别断开链接的实用程序(一旦删除文件)

我不是在寻找:

• 组织强迫症的解决方案......我喜欢我的样子.
• Snide关于我们的评论仍然使用经典的ASP.我已经感受到了痛苦.没有必要擦它.

Answer 1

第 1 步：建立网站上绝对可见的页面列表。创建此列表的一种明智方法是解析日志文件以查找人们访问的页面。

步骤 2：运行一个递归查找站点拓扑的工具，从专门编写的页面（您将在站点上创建的）开始，该页面具有指向步骤 1 中每个页面的链接。可以执行此操作的一个工具是Xenu 的 Link Sleuth。它旨在查找死链接，但它也会列出活动链接。这可以在外部运行，因此在您的服务器上安装“奇怪”的软件不存在安全问题。您需要偶尔注意这一点，因为如果您有错误或其他问题，您的网站可能有无限的页面等。

步骤 3：运行一个从站点 Web 目录开始递归映射硬盘的工具。我无法立即想到其中任何一个，但是编写一个应该很简单，并且更安全，因为它将在您的服务器上运行。

步骤 4：以编程方式获取步骤 2 和 3 的结果，将 #2 与 #3 进行匹配。#3 中而不是 #2 中的任何内容都可能是孤立页面。

注意：此技术对于受密码保护的内容效果不佳，对于严重依赖动态生成的链接的网站也效果不佳（如果链接一致，动态内容就可以）。