sha1sum 用于目录目录

Question

sha1sum ./path/to/directory/* | sha1sum 

上面是作为计算包含文件的目录的 sha1sum 的一种方式发布的。如果目录包含更多目录，则此命令将失败。有没有办法普遍地递归计算目录目录的 sha1sum （无需自定义适合特定目录的算法）？

Answer 1

我通常喜欢“find | xargs”模式，如下所示：

find ./path/to/directory/ -type f -print0  | xargs -0 sha1sum

您必须使用“-print0”和“-0”，以防文件名中有空格。

但是，这与“find -exec cmd {}”模式非常相似。

在此处查看比较两种模式的讨论：https : //stackoverflow.com/questions/896808/find-exec-cmd-vs-xargs

Answer 2

感谢这篇SO帖子-

find . -type f \( -exec sha1sum "$PWD"/{} \; \) | awk '{print $1}' | sort | sha1sum

警告：此代码未经测试！如果错误，请编辑此问题，您可以修复它；我会批准你的编辑。

Answer 3

另一个技巧可能是使用 tar 来散列文件内容和元数据：

tar -cf - ./path/to/directory | sha1sum

Answer 4

介绍

几年前，我编写并展示了（在这个线程中）一个脚本，它可以检查当前目录结构中所有单个文件的哈希签名，并将其作为文本文件中的列表输出。

从那以后，我多次改进了这个公式。我决定在这里重新发布我新的和改进的脚本作为单独的答案。它是为 sha256 编写的，但仍然想使用 sha1 的任何人都可以进行简单的搜索并在 gedit 中替换以将 sha256 与 sha1 交换。就我个人而言，我已经有几年没有使用 sha1 了，我不推荐它，因为它已经过时了，而且谷歌已经证明了它是如何被破坏的。

这是我的新脚本的作用：

1. 您可以通过转到要散列的目录并输入以下内容来简单地使用该脚本：

   sha256rec
   

   或者，您可以通过执行以下操作从另一个目录调用此脚本：

   sha256rec "/path/to/target/directory/you/want/hash"
   

2. 脚本将检测您是否在当前目录中具有写入权限。如果这样做，结果将保存在当前目录中。如果您没有写权限，或者您的当前目录在只读系统（例如cdrom）中，则结果将保存到当前用户的主目录中。

3. 脚本将检测某些子目录是否在当前用户权限下不可访问。如果所有内容都是可读的，则不会进行权限提升，如果不是，则用户的权限会提升为 root。

4. Find 用于查找当前目录结构中的所有文件（包括所有子目录）。排序用于确保按字母顺序输出结果。结果列表经过 sha256sum 并输出到文本文件。

5. 自从编写旧脚本以来，我采用了一种设计理念，即临时文件是邪恶的，应该尽可能避免，因为它们会让用户容易受到恶意第三方的窥探和篡改。因此，这个新脚本中的所有数据都作为变量进行操作，直到最后一分钟将结果作为文本文件输出。

6. 结果文件本身被散列，路径/散列在终端中输出。我喜欢用老式离线相机拍摄这些哈希的照片，以确保在我以后参考结果文件时没有被篡改。

7. 旧的结果文件在计数中被忽略。它使比较结果更容易。

以下是运行我的脚本时的终端输出示例：

kernelcrunch@ubuntu:/usr/src/linux-headers-4.13.0-16-generic$ sha256rec
======================================================================= 
sha256rec:         
=======================================================================        
Current Folder : /usr/src/linux-headers-4.13.0-16-generic   
Target Folder  : /usr/src/linux-headers-4.13.0-16-generic
Output File    : /home/kernelcrunch/000_sha256sum_recurs_linux-headers-4.13.0-16-generic_d_22-04-2018_t_02.17.txt


Seems you're currently in either a Read-Only system or a root owned directory as a regular user. You can find the hash results in your home folder.
f3ddb06212622c375c6bcc11bd629ce38f6c48b7474054ca6f569ded4b4af9d8  /home/kernelcrunch/000_sha256sum_recurs_linux-headers-4.13.0-16-generic_d_22-04-2018_t_02.17.txt
Operation Length: 10 Seconds.
=======================================================================
kernelcrunch@ubuntu:/usr/src/linux-headers-4.13.0-16-generic$ 

这是可以在 000_sha256sum_recurs_linux-headers-4.13.0-16-generic_d_22-04-2018_t_02.17.txt 中找到的输出片段：

79c3f378a42bd225642220cc1e4801deb35c046475bb069a96870ad773082805  ./.9491.d
2e336c69cde866c6f01a3495048d0ebc2871dd9c4cb5d647be029e0205d15ce6  ./.config
174f23ff7a7fba897bfb7cf17e9a501bcecacf7ef0c0d5cf030414c1e257d4e3  ./.config.old
389d83f546b250304a9a01bb3072ff79f9d9e380c8a2106cadbf714a872afe33  ./.missing-syscalls.d
035dc77da819101cb9889b4e515023dddd2c953f00d2653b87c6196a6560903e  ./Module.symvers
b28054d7995233e6d003ceb9ed119a0b3354f5ccf77b8d687fc0353ae3c5bfb8  ./arch/x86/include/generated/asm/.syscalls_32.h.cmd
01cf821170e3e6e592e36a96e8628377151c762ac2ee3210c96004bfaef22f5f  ./arch/x86/include/generated/asm/.syscalls_64.h.cmd
111efa83187c58a74a9b0170fd496b497b0682d109a7c240c17e2ffcc734f4f4  ./arch/x86/include/generated/asm/.unistd_32_ia32.h.cmd
fcba4e8abf9e95472c31708555db844ac43c87260fb0ba706b6f519404bf9aba  ./arch/x86/include/generated/asm/.unistd_64_x32.h.cmd
3264438a54cbf7e62b05d38a93c5df8fe4202ac782a5d83ed202cba9eee71139  ./arch/x86/include/generated/asm/.xen-hypercalls.h.cmd
4bd7a45837da7de379b87242efe562ce06bf9d8ab8f636c205bb5ef384c8f759  ./arch/x86/include/generated/asm/clkdev.h
0d96461abd23bbf2da522822948455413a345f9ef8ac7a7f81c6126584b3c964  ./arch/x86/include/generated/asm/dma-contiguous.h
b1a54c24a12ce2c0f283661121974436cdb09ae91822497458072f5f97447c5d  ./arch/x86/include/generated/asm/early_ioremap.h
dd864107295503e102ea339e0fd4496204c697bdd5c1b1a35864dfefe504a990  ./arch/x86/include/generated/asm/mcs_spinlock.h
782ce66804d000472b3c601978fa9bd98dcf3b2750d608c684dc52dd1aa0eb7e  ./arch/x86/include/generated/asm/mm-arch-hooks.h
cd9913197f90cd06e55b19be1e02746655b5e52e388f13ec29032294c2f75897  ./arch/x86/include/generated/asm/syscalls_32.h
758ce35908e8cfeec956f57a206d8064a83a49298e47d47b7e9a7d37b5d96d59  ./arch/x86/include/generated/asm/syscalls_64.h
1147ca3a8443d9ccbdf9cd1f4b9b633f0b77f0559b83ec5e4fa594eadb2548be  ./arch/x86/include/generated/asm/unistd_32_ia32.h
ca5223fbf8f03613a6b000e20eb275d9b8081c8059bc540481a303ce722d42f3  ./arch/x86/include/generated/asm/unistd_64_x32.h
31703052c0d2ab8fe14b4e5dfcc45fcbd5feb5016b0a729b6ba92caa52b069e2  ./arch/x86/include/generated/asm/xen-hypercalls.h
c085ff1b6e9d06faa3fc6a55f69f9065c54098d206827deec7fe0a59d316fc99  ./arch/x86/include/generated/uapi/asm/.unistd_32.h.cmd
7929c16d349845cebb9e303e0ff15f67d924cac42940d0f7271584f1346635fc  ./arch/x86/include/generated/uapi/asm/.unistd_64.h.cmd
9aa492c5a75f5547f8d1dc454bef78189b8f262d1c4b00323a577907f138a63e  ./arch/x86/include/generated/uapi/asm/.unistd_x32.h.cmd
f568e151bbbb5d51fd531604a4a5ca9f17004142cd38ce019f0d5c661d32e36b  ./arch/x86/include/generated/uapi/asm/unistd_32.h
c45cf378498aa06b808bb9ccf5c3c4518e26501667f06c907a385671c60f14ae  ./arch/x86/include/generated/uapi/asm/unistd_64.h
a0088d8d86d7fd96798faa32aa427ed87743d3a0db76605b153d5124845161e2  ./arch/x86/include/generated/uapi/asm/unistd_x32.h
e757eb6420dffa6b24b7aa38ca57e6d6f0bfa7d6f3ea23bbc08789c7e31d15fa  ./arch/x86/kernel/.asm-offsets.s.cmd
f9e703e4f148d370d445c2f8c95f4a1b1ccde28c149cff2db5067c949a63d542  ./arch/x86/kernel/asm-offsets.s
7971fb3e0cc3a3564302b9a3e1ad188d2a00b653189968bbc155d42c70ce6fbf  ./arch/x86/purgatory/.entry64.o.cmd
8352d79fe81d2cf694880f428e283d79fd4b498cea5a425644da25a9641be26b  ./arch/x86/purgatory/.kexec-purgatory.c.cmd
37f3edbee777e955ba3b402098cb6c07500cf9dc7e1d44737f772ac222e6eb3e  ./arch/x86/purgatory/.purgatory.o.cmd
bb8b895cbd2611b69e2f46c2565b4c2e63a85afb56cff946a555f2d277ee99b2  ./arch/x86/purgatory/.purgatory.ro.cmd
bcc2365c9d3d027f1469806eb4f77b0f3ede6eb0855ea0fcd28aa65884046a54  ./arch/x86/purgatory/.setup-x86_64.o.cmd
872229f334fdcc8562e31b9f6581008c1571ac91f12889cd0ff413590585155a  ./arch/x86/purgatory/.sha256.o.cmd
6fb0cbef120aadee282f7bc3b5ea2f912980f16712281f8f7b65901005194422  ./arch/x86/purgatory/.stack.o.cmd
cd1b61063ae3cf45ee0c58b2c55039f3eac5f67a5154726d288b4708c4d43deb  ./arch/x86/purgatory/.string.o.cmd
e5826f0216fd590972bbc8162dd175f87f9f7140c8101505d8ca5849c850ec91  ./arch/x86/purgatory/entry64.o

（它继续像这样的另外 7000 多行，但你明白了）

安装

1. 打开终端并输入以下命令：

   cd /usr/bin
   sudo su
   echo '#!/bin/bash'> /usr/bin/sha256rec
   chmod +x /usr/bin/sha256rec
   touch /usr/bin/sha256rec
   nano /usr/bin/sha256rec
   

2. 在 nano 中，使用 Shif+Ctrl+v 进行粘贴。Ctrl-O 和 Enter 保存。Ctr-X 退出。在那里粘贴我的脚本：

（粘贴在#!/bin/bash 之后）

  #FUNCTIONS OR FUNCTYOU?
  function s_readonly { err=$(date +%s%N); cd "$1"; mkdir $err 2> /tmp/$err; rmdir $err 2>/dev/null; echo $(cat /tmp/$err|grep -i "Read-only file system"|wc -l);shred -n 0 -uz /tmp/$err; }
  function w_denied { echo $(err=$(date +%s%N); cd "$1"; mkdir $err 2> /tmp/$err; rmdir $err 2>/dev/null; cat /tmp/$err|grep -i "Permission denied"|wc -l;shred -n 0 -uz /tmp/$err); }
  function r_denied { echo $(err=$(date +%s%N); cd "$1" >/dev/null 2> /tmp/$err; find . >/dev/null 2>> /tmp/$err; cat /tmp/$err|grep -i "Permission denied"|wc -l;shred -n 0 -uz /tmp/$err); }
  function rando_name { rando=$(echo $(date +%s%N)|sha256sum|awk '{print $1}'); rando=${rando::$(shuf -i 30-77 -n 1)}; echo $rando;}
  function ms0 { ms0=$(($(date +%s%N)/1000000)); }; function mstot { echo $(($(($(date +%s%N)/1000000))-$ms0));}
  function s0 { s0=$(date +%s); }; function stot { echo $(($(date +%s)-$s0));}
  s0

  #CHECK IF A TARGET DIR WAS SPECIFIED (-t= or --target= switch)
  if [ ! -z "$1" ]; then arg1="$1"; arg1_3=${arg1::3}; arg1_9=${arg1::9};fi
  if [ "$arg1_3" = "-t=" -o "$arg1_9" = "--target=" ]; then 
    switch=$(echo $arg1|awk -F '=' '{print $1}')
    switch_chr=$((${#switch}+1))
    target=${arg1:$switch_chr}
    current=$(pwd)
    cd "$target"
    arg1="" #<- cancels the not path in the find line
  else
    current=$(pwd)
    target=$(pwd) 
  fi

  echo -e  "=======================================================================\
    \nsha256rec: \
          \n=======================================================================\
          \nCurrent Folder : $current \
    \nTarget Folder  : $target"

  #GETS DEFAULT_USER, ASSUME'S YOU'RE USER 1000, IF 1000 DOESN'T EXIST SEARCHES 999, THEN 1001, 1002
  default_user=$(awk -v val=1000 -F ":" '$3==val{print $1}' /etc/passwd)
  if [ -z "$default_user" ]; then default_user=$(awk -v val=999 -F ":" '$3==val{print $1}' /etc/passwd); fi
  if [ -z "$default_user" ]; then default_user=$(awk -v val=1001 -F ":" '$3==val{print $1}' /etc/passwd); fi
  if [ -z "$default_user" ]; then default_user=$(awk -v val=1002 -F ":" '$3==val{print $1}' /etc/passwd); fi

  if [ "$(users | wc -l)" = "1" ]; then USER=$(users|awk '{print $1}'); else USER=$default_user;fi #not perfect but meh...

  #running rando_name in this very specific spot between USER detection and Permission detection, some interfers somehow with detection functions... 
  #the rando function placed underneath the user detection is somehow turning c=$current from the dir path to whatever rando_name puts out.

  #FIGURE OUT WHERE TO PUT HASH LIST
  hash_file="000_sha256sum_recurs_${target##*/}_d_$(date +%d-%m-20%y)_t_$(date +%H.%M).txt"
  if [ $(s_readonly "$current") -gt 0 -o $(w_denied "$current") -gt 0 ]; then if [ "$(whoami)" != root ]; then dest="/home/$(whoami)";echo -e "Output File    : $dest/$hash_file\n\n";echo "Seems you're currently in either a Read-Only system or a root owned directory as a regular user. You can find the hash results in your home folder."; else dest="/home/$USER";echo -e "Output File    : $dest/$hash_file\n\n";echo "Seems you're currently a Read-Only system. You can find the hash results in $USER's home folder.";fi; else dest="$current";echo -e "Output File    : $dest/$hash_file\n\n";echo "Results will be saved here.";fi



  #CAN REGULAR USER ACCESS TARGET DIR? ARE ALL IT'S SUBDIRS READABLE?
  if [ $(r_denied "$target") -gt 0 ]; then sudo=sudo; echo "Some folder were not read-able as a regular user. User elevation will be required.";fi

  #PERFORM RECURSIVE HASHING
  command=$($sudo find . -type f -not -type l -not -path "$arg1"  -not -path "$2"  -not -path "$3" -not -path "$4"  -not -path "$5"  -not -path "$6" -not -path "$7"  -not -path "$8"  -not -path "$9" |grep -v "\./000_sha"|sort|awk "{print \"$sudo sha256sum \\\"\"\$0}"|awk '{print $0"\""}'|tr '\n' ';')
  eval $command > "$dest/$hash_file"

  sha256sum "$dest/$hash_file"
  echo "Operation Length: $(stot) Seconds."
  echo -e  "======================================================================="



  if [ "$target" != "$current" ]; then cd "$current";fi


  exit
  #||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
  #||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
  #||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
  #||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||

3. 当您退出 nano 时，请确保通过输入以下内容退出提升状态：

   exit
   

最后的想法

1. 这仅在您安装了 bash 时才有效。我使用了一些 synthax 进行子串操作，但它不适用于 sh、dash、ksh 或 zsh。您仍然可以使用任何其他 shell 作为日常驱动程序，但需要安装 bash。

2. 输出的列表可以与各种工具进行比较，例如：（在终端中）diff、sdiff（和图形）diffuse、kdiff、winmerge。

3. 我的文件根据路径对输出进行排序，以使其更易于人类阅读。我注意到 sort 命令在不同发行版中的工作方式不同。例如，在一个发行版中，大写字母优先于非大写字母，而在另一个发行版中则没有。这会影响输出文件的行顺序，并可能使文件难以比较。如果您总是在同一个发行版中使用该脚本，这应该不会出现任何问题，但如果哈希列表是在两个不同的环境中生成的，则可能会出现任何问题。这可以通过额外对哈希文件进行排序来轻松解决，以便行按哈希而不是路径排序：

    cat 000_sha256sum_oldhashlist|sort> ./old
    cat 000_sha256sum_newhashlist|sort> ./new
    sha256sum ./old ./new; diff ./old ./new
   

Answer 5

更新：自从我发布此回复以来已经有几年了，与此同时，我已经多次重写和改进了我在这里展示的脚本。我决定重新发布新脚本作为全新的答案。我强烈推荐它而不是这个。

介绍

我观察到 find 命令输出目录中找到的元素的顺序在不同分区上的相同目录中有所不同。如果您正在比较同一目录的哈希值，则不必担心，但是如果您正在获取哈希值以确保在复制过程中没有丢失或损坏的文件，则需要包含一个额外的行对目录的内容及其元素进行排序。例如，Matthew Bohnsack 的回答就相当优雅：

find ./path/to/directory/ -type f -print0  | xargs -0 sha1sum

但是，如果您使用它来比较复制的目录与其原始目录，您会将输出发送到一个 txt 文件，您将使用 Kompare 或 WinMerge 或简单地获取每个 lis 的哈希值与其他目录的输出列表进行比较. 问题是，由于查找工具输出内容的顺序可能因一个目录而异，Kompare 会发出许多不同的信号，因为哈希值的计算顺序不同。对于小目录来说没什么大不了的，但是如果您要处理 30000 个文件，那就很烦人了。因此，您执行了对输出进行排序的额外步骤，以便更轻松地比较两个目录之间的哈希列表。

find ./path/to/directory/ -type f -print0  | xargs -0 sha1sum > sha1sum_list_unsorted.txt
sort sha1sum_list_unsorted.txt > sha1sum_list_sorted.txt

这将对输出进行排序，以便在运行差异程序时具有相同散列的文件将位于同一行上（前提是没有文件丢失新目录）。

和到脚本...

这是我写的一个脚本。它与 find/xarg 答案所做的事情相同，但它会在获取 sha1sum 之前对文件进行排序（将它们保存在同一目录中）。脚本的第一行递归地查找目录中的所有文件。下一个按字母顺序对结果进行排序。下面两个，获取排序后的内容，并在排序列表中的文件上附加一个 sha1sum 和引号，制作一个大的 shell 脚本，计算每个文件的哈希值，一次一个，并将其输出到 content_sha1sum.txt。

find ./path/to/directory/ -type f -print0  | xargs -0 sha1sum

希望这可以帮助。