如何确定网页是否已被修改

hoj*_*oju 6 python diff webpage snapshot

我有2次拍摄多个网页的快照.确定哪些网页已被修改的可靠方法是什么?

我不能依赖像RSS提要这样的东西,我需要忽略像日期文本这样的小噪音.

理想情况下,我正在寻找一个Python解决方案,但直观的算法也会很棒.

谢谢!

Luk*_*ský 8

那么,首先你需要决定什么是噪音,什么不是.您可以使用像BeautifulSoup这样的HTML解析器来消除噪音,打印结果,并将其作为字符串进行比较.

如果您正在寻找自动解决方案,您可以使用difflib.SequenceMatcher计算页面之间的差异,计算相似性并将其与阈值进行比较.