我正在开发一个搜索系统的后端应用程序.搜索系统将文件复制到临时目录并为其提供随机名称.然后它将临时文件的名称传递给我的应用程序.我的应用程序必须在有限的时间内处理每个文件,否则它将被关闭 - 这是一种看门狗般的安全措施.处理文件可能需要很长时间,所以我需要设计能够处理这种情况的应用程序.如果我的应用程序在下次搜索系统想要索引同一文件时关闭,它可能会给它一个不同的临时名称.
显而易见的解决方案是在搜索系统和后端之间提供一个中间层.它会将请求排入后端并等待结果到达.如果请求在中间层超时 - 没问题,后端将继续工作,只有中间层重新启动,并且当搜索系统稍后重复请求时,它可以从后端检索结果.
问题是如何识别文件.他们的名字随机变化.我打算使用像MD5这样的哈希函数来散列文件内容.我很清楚生日悖论,并使用链接文章中的估计来计算概率.如果我假设我有不超过100 000个文件,那么具有相同MD5(128位)的两个文件的概率大约为1,47x10 -29.
我应该关心这种碰撞概率还是假设相等的散列值意味着相同的文件内容？
如果我传入2 ^ 32组字符串,md5碰撞的概率是多少？
我可以说答案只是2 ^ 32/2 ^ 128 = 1/1.2621774e-29,因为md5 hash的位长是128？
我正在尝试使用一种安全的方式为文件创建校验和（大于 10GB ！）。
SHA256 对我来说已经足够安全了，但是这种算法的处理成本太高，而且不适合。好吧，我知道 SHA1 和 MD5 校验和在冲突中都是不安全的。
所以我只是认为最快和最安全的方法是将 MD5 与 SHA1 结合，例如：SHA1+MD5，我认为没有办法同时获取具有相同 MD5 和 SHA1 的文件（碰撞）。
那么结合 SHA1+MD5 对文件校验和是否足够安全？或者是否有任何类似碰撞的攻击？
我以两种方式使用 c# mono（Bufferstream 和不使用 Bufferedstream）
public static string GetChecksum(string file)
{
using (FileStream stream = File.OpenRead(file))
{
var sha = new SHA256Managed();
byte[] checksum = sha.ComputeHash(stream);
return BitConverter.ToString(checksum).Replace("-", String.Empty);
}
}
public static string GetChecksumBuffered(Stream stream)
{
using (var bufferedStream = new BufferedStream(stream, 1024 * 32))
{
var sha = new SHA256Managed();
byte[] checksum = sha.ComputeHash(bufferedStream);
return BitConverter.ToString(checksum).Replace("-", String.Empty); …这是一个采访问题:"给定一个包含大量文件的目录,找到具有相同内容的文件".我建议使用哈希函数来生成文件内容的哈希值,并仅比较具有相同哈希值的文件.是否有意义 ？
接下来的问题是如何选择哈希函数.你会为此目的使用SHA-1吗？