der*_*ert 13 tar cpio disk-image
我有六个 Linux 逻辑卷，它们一起支持一个虚拟机。VM 当前已关闭，因此很容易为它们拍摄一致的图像。
我想将所有六个图像打包到一个存档中。简单地说，我可以做这样的事情：
cp /dev/Zia/vm_lvraid_* /tmp/somedir
tar c /tmp/somedir | whatever
但这当然会创建一个额外的副本。我想避免额外的副本。
显而易见的方法：
tar c /dev/Zia/vm_lvraid_* | whatever
不起作用，因为 tar 将文件识别为特殊文件（在这种情况下为符号链接），并且基本上将其存储ln -s在存档中。或者，使用--dereference或 直接指向/dev/dm-X，它会将它们识别为特殊（设备文件）并基本上存储mknod在存档中。
我搜索了 tar 的命令行选项来覆盖此行为，但找不到任何选项。我也试过cpio，同样的问题，也找不到任何覆盖它的选项。我也试过7z（同上）。与pax. 我什至尝试过zip，这只是让自己感到困惑。
编辑：查看 GNU tar 和 GNU cpio 的源代码，它们似乎都无法做到这一点。至少，并非没有严重的技巧（无法禁用对设备文件的特殊处理）。因此，将不胜感激或替代实用程序的严重诡计的建议。
TLDR：是否有一些存档器可以将多个磁盘映像打包在一起（从原始设备获取）并流式传输输出，而无需制作额外的磁盘副本？我的偏好是以通用格式输出，例如 POSIX 或 GNU tar。
mik*_*erv 11
所以最近我想用tar. 一些调查向我表明，我做不到这有点荒谬。我确实想出了这个奇怪的split --filter="cat >file; tar -r ..."东西，但是，它非常慢。我读tar得越多，它似乎就越荒谬。
你看，tar只是一个连接的记录列表。组成文件不会以任何方式改变 - 它们在存档中是完整的。但是它们在 512 字节的块边界上被阻止，并且在每个文件之前都有一个header。就是这样。标题格式也非常非常简单。
所以，我写了我自己的tar. 我把它叫做... shitar。
z() (IFS=0; printf '%.s\\0' $(printf "%.$(($1-${#2}))d"))
chk() (IFS=${IFS#??}; set -f; set -- $(
printf "$(fmt)" "$n" "$@" '' "$un" "$gn"
); IFS=; a="$*"; printf %06o "$(($(
while printf %d+ "'${a:?}"; do a=${a#?}; done 2>/dev/null
)0))")
fmt() { printf '%s\\'"${1:-n}" %s "${1:+$(z 99 "$n")}%07d" \
%07o %07o %011o %011o "%-${1:-7}s" ' 0' "${1:+$(z 99)}ustar " %s \
"${1:+$(z 31 "$un")}%s"
}
那是肉和土豆，真的。它写入标头并计算 chksum - 相对而言，这是唯一困难的部分。它的ustar标题格式...也许。至少，它模拟了 GNUtar似乎认为的ustar标头格式，以至于它不会抱怨。还有更多，只是我还没有真正凝固它。在这里，我将向您展示：
for f in 1 2; do echo hey > file$f; done
{ tar -cf - file[123]; echo .; } | tr \\0 \\n | grep -b .
0:file1 #filename - first 100 bytes
100:0000644 #octal mode - next 8
108:0001750 #octal uid,
116:0001750 #gid - next 16
124:00000000004 #octal filesize - next 12
136:12401536267 #octal epoch mod time - next 12
148:012235 #chksum - more on this
155: 0 #file type - gnu is weird here - so is shitar
257:ustar #magic string - header type
265:mikeserv #owner
297:mikeserv #group - link name... others shitar doesnt do
512:hey #512-bytes - start of file
1024:file2 #512 more - start of header 2
1124:0000644
1132:0001750
1140:0001750
1148:00000000004
1160:12401536267
1172:012236
1179: 0
1281:ustar
1289:mikeserv
1321:mikeserv
1536:hey
10240:. #default blocking factor 20 * 512
那是tar。一切都用\0空值填充，所以我只是为了可读性而em变成了\newlines。并且shitar：
#the rest, kind of, calls z(), fmt(), chk() + gets $mdata and blocks w/ dd
for n in file[123]
do d=$n; un=$USER; gn=$(id --group --name)
set -- $(stat --printf "%a\n%u\n%g\n%s\n%Y" "$n")
printf "$(fmt 0)" "$n" "$@" "$(chk "$@")" "$un" "$gn"
printf "$(z $((512-298)) "$gn")"; cat "$d"
printf "$(x=$(($4%512));z $(($4>512?($x>0?$x:512):512-$4)))"
done |
{ dd iflag=fullblock conv=sync bs=10240 2>/dev/null; echo .; } |
tr \\0 \\n | grep -b .
0:file1 #it's the same. I shortened it.
100:0000644 #but the whole first file is here
108:0001750
116:0001750
124:00000000004
136:12401536267
148:012235 #including its checksum
155: 0
257:ustar
265:mikeserv
297:mikeserv
512:hey
1024:file2
...
1172:012236 #and file2s checksum
...
1536:hey
10240:.
我这么说是因为那不是shitar' 的目的 -tar已经做得很好了。我只是想展示它是如何工作的——这意味着我需要接触chksum. 如果不是因为那个，我只会dd离开tar文件的头部并完成它。这有时甚至可能有效，但是当存档中有多个成员时会变得混乱。尽管如此，chksum 还是很简单的。
首先，让它有 7 个空格 - （我认为这是一个奇怪的 gnu 东西，正如规范所说的 8，但无论如何 - 黑客就是黑客）。然后将标头中每个字节的八进制值相加。那是你的钱。所以你在做标题之前需要文件元数据，或者你没有 chksum。这主要是一个ustar档案。
好的。现在，它的意思是：
cd /tmp; mkdir -p mnt
for d in 1 2 3
do fallocate -l $((1024*1024*500)) disk$d
lp=$(sudo losetup -f --show disk$d)
sync
sudo mkfs.vfat -n disk$d "$lp"
sudo mount "$lp" mnt
echo disk$d file$d | sudo tee mnt/file$d
sudo umount mnt
sudo losetup -d "$lp"
done
这会生成三个 500M 的磁盘映像，对每个映像进行格式化和挂载，并向每个映像写入一个文件。
for n in disk[123]
do d=$(sudo losetup -f --show "$n")
un=$USER; gn=$(id --group --name)
set -- $(stat --printf "%a\n%u\n%g\n$(lsblk -bno SIZE "$d")\n%Y" "$n")
printf "$(fmt 0)" "$n" "$@" "$(chk "$@")" "$un" "$gn"
printf "$(z $((512-298)) "$gn")"
sudo cat "$d"
sudo losetup -d "$d"
done |
dd iflag=fullblock conv=sync bs=10240 2>/dev/null |
xz >disks.tar.xz
注意- 显然块设备将始终正确阻止。很方便。
那tar是磁盘设备文件的内容在流中并将输出通过管道传输到xz.
ls -l disk*
-rw-r--r-- 1 mikeserv mikeserv 524288000 Sep 3 01:01 disk1
-rw-r--r-- 1 mikeserv mikeserv 524288000 Sep 3 01:01 disk2
-rw-r--r-- 1 mikeserv mikeserv 524288000 Sep 3 01:01 disk3
-rw-r--r-- 1 mikeserv mikeserv 229796 Sep 3 01:05 disks.tar.xz
现在，关键时刻……
xz -d <./disks.tar.xz| tar -tvf -
-rw-r--r-- mikeserv/mikeserv 524288000 2014-09-03 01:01 disk1
-rw-r--r-- mikeserv/mikeserv 524288000 2014-09-03 01:01 disk2
-rw-r--r-- mikeserv/mikeserv 524288000 2014-09-03 01:01 disk3
万岁！萃取...
xz -d <./disks.tar.xz| tar -xf - --xform='s/[123]/1&/'
ls -l disk*
-rw-r--r-- 1 mikeserv mikeserv 524288000 Sep 3 01:01 disk1
-rw-r--r-- 1 mikeserv mikeserv 524288000 Sep 3 01:01 disk11
-rw-r--r-- 1 mikeserv mikeserv 524288000 Sep 3 01:01 disk12
-rw-r--r-- 1 mikeserv mikeserv 524288000 Sep 3 01:01 disk13
-rw-r--r-- 1 mikeserv mikeserv 524288000 Sep 3 01:01 disk2
-rw-r--r-- 1 mikeserv mikeserv 524288000 Sep 3 01:01 disk3
-rw-r--r-- 1 mikeserv mikeserv 229796 Sep 3 01:05 disks.tar.xz
比较...
cmp disk1 disk11 && echo yay || echo shite
yay
还有山...
sudo mount disk13 mnt
cat mnt/*
disk3 file3
因此，在这种情况下shitar，我想表现还可以。我宁愿不涉及它不会做得好的所有事情。但是，我会说 - 至少不要在文件名中换行。
考虑到我提供的替代方案，您也可以这样做 - 也许应该这样做 - 这与squashfs. 您不仅可以获得从流构建的单个存档 -而且它mount能够并内置到内核的vfs：
# Copy 10K from the device /dev/sda1 into the file input. Ordinarily
# Mksquashfs given a device, fifo, or named socket will place that special file
# within the Squashfs filesystem, this allows input from these special
# files to be captured and placed in the Squashfs filesystem.
input f 444 root root dd if=/dev/sda1 bs=1024 count=10
# Creating a block or character device examples
# Create a character device "chr_dev" with major:minor 100:1 and
# a block device "blk_dev" with major:minor 200:200, both with root
# uid/gid and a mode of rw-rw-rw.
chr_dev c 666 root root 100 1
blk_dev b 666 0 0 200 200
您还可以使用btrfs (send|receive)将子卷流式传输到stdin您喜欢的任何具有功能的压缩器中。当然，在您决定将其用作压缩容器之前，此子卷不需要存在。
不过，关于squashfs...
我不相信我在做这个正义。这是一个非常简单的例子：
cd /tmp; mkdir ./emptydir
mksquashfs ./emptydir /tmp/tmp.sfs -p \
'file f 644 mikeserv mikeserv echo "this is the contents of file"'
Parallel mksquashfs: Using 6 processors
Creating 4.0 filesystem on /tmp/tmp.sfs, block size 131072.
[==================================================================================|] 1/1 100%
Exportable Squashfs 4.0 filesystem, gzip compressed, data block size 131072
compressed data, compressed metadata, compressed fragments,...
###...
###AND SO ON
###...
echo '/tmp/tmp.sfs /tmp/imgmnt squashfs loop,defaults,user 0 0'|
sudo tee -a /etc/fstab >/dev/null
mount ./tmp.sfs
cd ./imgmnt
ls
total 1
-rw-r--r-- 1 mikeserv mikeserv 29 Aug 20 11:34 file
cat file
this is the contents of file
cd ..
umount ./imgmnt
这只是 的内联-p参数mksquash。您可以获取-pf包含任意数量的文件的源文件。格式很简单 - 您在新存档的文件系统中定义目标文件的名称/路径，给它一个模式和一个所有者，然后告诉它执行哪个进程并从中读取标准输出。您可以创建任意数量的文件 - 您可以使用 LZMA、GZIP、LZ4、XZ……嗯，还有更多……您喜欢的压缩格式。最终结果是一个存档，您可以将其放入其中cd。
更多关于格式的信息：
当然，这不仅仅是一个存档——它是一个压缩的、可安装的 Linux 文件系统映像。它的格式是 Linux 内核的格式——它是一个支持 vanilla 内核的文件系统。通过这种方式，它与 vanilla Linux 内核一样普遍。因此，如果您告诉我您正在运行tar未安装该程序的 vanilla Linux 系统，我会怀疑 - 但我可能会相信您。但是如果你告诉我你正在运行一个squashfs不支持文件系统的 vanilla Linux 系统，我不会相信你。
| 归档时间： |
|
| 查看次数： |
4027 次 |
| 最近记录： |