如何使用javascript计算文件的md5哈希值

LuR*_*RsT 93 javascript md5

有没有办法在使用Javascript上传到服务器之前计算文件的MD5哈希值?

Pau*_*xon 88

虽然有MD5算法的JS实现,但旧版浏览器通常无法从本地文件系统读取文件.

我在2009年写过.那么新的浏览器呢?

使用支持FileAPI的浏览器,您*可以*读取文件的内容 - 用户必须选择它,使用<input>元素或拖放.截至2013年1月,以下是主要浏览器的堆叠方式:

  • 除了不可能在JS中获取文件系统访问权限之外,我不会在客户端生成的校验和中放任何信任.因此,在任何情况下都必须在服务器上生成校验和. (29认同)
  • @Tomalak如果您只想上传它,如果它与您已有的不同,那么它也必须在客户端上执行. (3认同)
  • @John嗯,我的发言并不排除这一点.客户端检查严格是为了方便用户(因此或多或少是可选的,具体取决于您想要的方便程度).另一方面,服务器端检查是强制性的. (2认同)

sat*_*zor 27

我已经创建了一个实现增量md5的库,以便有效地散列大文件.基本上你以块的形式读取文件(以保持低内存)并以递增方式对其进行散列.您在自述文件中有基本用法和示例.

请注意,您需要HTML5 FileAPI,因此请务必检查它.测试文件夹中有一个完整的示例.

https://github.com/satazor/SparkMD5


Ben*_*uer 25

使用CryptoJSMD5函数HTML5 FileReader API计算MD5哈希非常容易.以下代码段显示了如何读取二进制数据并从已拖入浏览器的图像中计算MD5哈希值:

var holder = document.getElementById('holder');

holder.ondragover = function() {
  return false;
};

holder.ondragend = function() {
  return false;
};

holder.ondrop = function(event) {
  event.preventDefault();

  var file = event.dataTransfer.files[0];
  var reader = new FileReader();

  reader.onload = function(event) {
    var binary = event.target.result;
    var md5 = CryptoJS.MD5(binary).toString();
    console.log(md5);
  };

  reader.readAsBinaryString(file);
};
Run Code Online (Sandbox Code Playgroud)

我建议添加一些CSS来查看拖放区域:

#holder {
  border: 10px dashed #ccc;
  width: 300px;
  height: 300px;
}

#holder.hover {
  border: 10px dashed #333;
}
Run Code Online (Sandbox Code Playgroud)

有关拖放功能的更多信息,请访问:File API和FileReader

我在Google Chrome版本32中测试了该示例.

  • 问题是,`readAsBinaryString()`尚未标准化,Internet Explorer不支持.我没有在Edge中测试它,但即使IE11也不支持它. (2认同)
  • CryptoJS现在支持通过以下方法从ArrayBuffer转换为Binary / WordArray:CryptoJS.lib.WordArray.create(arrayBuffer);` (2认同)

wut*_*aer 8

如果 sha256 也可以:

  async sha256(file: File) {
    // get byte array of file
    let buffer = await file.arrayBuffer();

    // hash the message
    const hashBuffer = await crypto.subtle.digest('SHA-256', buffer);

    // convert ArrayBuffer to Array
    const hashArray = Array.from(new Uint8Array(hashBuffer));

    // convert bytes to hex string
    const hashHex = hashArray.map(b => b.toString(16).padStart(2, '0')).join('');
    return hashHex;
  }
Run Code Online (Sandbox Code Playgroud)

  • 2022 年,您可能正在寻找这个答案!https://caniuse.com/mdn-api_crypto_subtle (3认同)

Ale*_*tic 7

您需要使用FileAPI.它可以在最新的FF和Chrome中使用,但不能在IE9中使用.抓住上面建议的任何md5 JS实现.我试过这个并放弃它,因为JS太慢了(大图像文件上的分钟数).如果有人使用类型化数组重写MD5,可能会重新访问它.

代码看起来像这样:

HTML:     
<input type="file" id="file-dialog" multiple="true" accept="image/*">

JS (w JQuery)

$("#file-dialog").change(function() {
  handleFiles(this.files);
});

function handleFiles(files) {
    for (var i=0; i<files.length; i++) {
        var reader = new FileReader();
        reader.onload = function() {
        var md5 = binl_md5(reader.result, reader.result.length);
            console.log("MD5 is " + md5);
        };
        reader.onerror = function() {
            console.error("Could not read the file");
        };
        reader.readAsBinaryString(files.item(i));
     }
 }
Run Code Online (Sandbox Code Playgroud)


Jos*_*ush 7

HTML5 + spark-md5Q

假设你使用现代浏览器(支持HTML5文件API),这里是你如何计算一个大文件的MD5哈希(它将计算变量块上的哈希值)

function calculateMD5Hash(file, bufferSize) {
  var def = Q.defer();

  var fileReader = new FileReader();
  var fileSlicer = File.prototype.slice || File.prototype.mozSlice || File.prototype.webkitSlice;
  var hashAlgorithm = new SparkMD5();
  var totalParts = Math.ceil(file.size / bufferSize);
  var currentPart = 0;
  var startTime = new Date().getTime();

  fileReader.onload = function(e) {
    currentPart += 1;

    def.notify({
      currentPart: currentPart,
      totalParts: totalParts
    });

    var buffer = e.target.result;
    hashAlgorithm.appendBinary(buffer);

    if (currentPart < totalParts) {
      processNextPart();
      return;
    }

    def.resolve({
      hashResult: hashAlgorithm.end(),
      duration: new Date().getTime() - startTime
    });
  };

  fileReader.onerror = function(e) {
    def.reject(e);
  };

  function processNextPart() {
    var start = currentPart * bufferSize;
    var end = Math.min(start + bufferSize, file.size);
    fileReader.readAsBinaryString(fileSlicer.call(file, start, end));
  }

  processNextPart();
  return def.promise;
}

function calculate() {

  var input = document.getElementById('file');
  if (!input.files.length) {
    return;
  }

  var file = input.files[0];
  var bufferSize = Math.pow(1024, 2) * 10; // 10MB

  calculateMD5Hash(file, bufferSize).then(
    function(result) {
      // Success
      console.log(result);
    },
    function(err) {
      // There was an error,
    },
    function(progress) {
      // We get notified of the progress as it is executed
      console.log(progress.currentPart, 'of', progress.totalParts, 'Total bytes:', progress.currentPart * bufferSize, 'of', progress.totalParts * bufferSize);
    });
}
Run Code Online (Sandbox Code Playgroud)
<script src="https://cdnjs.cloudflare.com/ajax/libs/q.js/1.4.1/q.js"></script>
<script src="https://cdnjs.cloudflare.com/ajax/libs/spark-md5/2.0.2/spark-md5.min.js"></script>

<div>
  <input type="file" id="file"/>
  <input type="button" onclick="calculate();" value="Calculate" class="btn primary" />
</div>
Run Code Online (Sandbox Code Playgroud)


小智 6

以下代码段显示了一个示例,该示例可以在读取和散列文件时以 400 MB/s 的吞吐量存档。

它使用了一个名为hash-wasm的库,它基于 WebAssembly 并且比仅使用 js 的库更快地计算哈希。截至 2020 年,所有现代浏览器都支持 WebAssembly。

const chunkSize = 64 * 1024 * 1024;
const fileReader = new FileReader();
let hasher = null;

function hashChunk(chunk) {
  return new Promise((resolve, reject) => {
    fileReader.onload = async(e) => {
      const view = new Uint8Array(e.target.result);
      hasher.update(view);
      resolve();
    };

    fileReader.readAsArrayBuffer(chunk);
  });
}

const readFile = async(file) => {
  if (hasher) {
    hasher.init();
  } else {
    hasher = await hashwasm.createMD5();
  }

  const chunkNumber = Math.floor(file.size / chunkSize);

  for (let i = 0; i <= chunkNumber; i++) {
    const chunk = file.slice(
      chunkSize * i,
      Math.min(chunkSize * (i + 1), file.size)
    );
    await hashChunk(chunk);
  }

  const hash = hasher.digest();
  return Promise.resolve(hash);
};

const fileSelector = document.getElementById("file-input");
const resultElement = document.getElementById("result");

fileSelector.addEventListener("change", async(event) => {
  const file = event.target.files[0];

  resultElement.innerHTML = "Loading...";
  const start = Date.now();
  const hash = await readFile(file);
  const end = Date.now();
  const duration = end - start;
  const fileSizeMB = file.size / 1024 / 1024;
  const throughput = fileSizeMB / (duration / 1000);
  resultElement.innerHTML = `
    Hash: ${hash}<br>
    Duration: ${duration} ms<br>
    Throughput: ${throughput.toFixed(2)} MB/s
  `;
});
Run Code Online (Sandbox Code Playgroud)
<script src="https://cdn.jsdelivr.net/npm/hash-wasm"></script>
<!-- defines the global `hashwasm` variable -->

<input type="file" id="file-input">
<div id="result"></div>
Run Code Online (Sandbox Code Playgroud)


小智 5

除了不可能在 JS 中获得文件系统访问权限之外,我根本不会信任客户端生成的校验和。因此在任何情况下都必须在服务器上生成校验和。– 托马拉克 2009 年 4 月 20 日 14:05

这在大多数情况下是无用的。您希望在客户端计算 MD5,以便您可以将其与在服务器端重新计算的代码进行比较,如果它们不同,则得出上传出错的结论。我需要在处理大型科学数据文件的应用程序中这样做,其中接收未损坏的文件是关键。我的案例很简单,因为用户已经从他们的数据分析工具中计算出 MD5,所以我只需要通过文本字段向他们询问。