标签: storage

按日期删除大量文件的最佳方法

所以,我有一个文件夹,里面有很多文件,它们是第二个生成的,需要保存在我只能在 90 天后删除它们,所以你可能猜到,我会生成大量文件,然后在 90 天后我'能够删除那些超过 90 天的文件。但是,我被困在搜索这些文件的部分,因为我有很多,系统抱怨列表太大,因此我无法删除它们。

什么是最好的解决方案,所以我可以通过这个?文件名处于时间戳模式,所以我可以从它开始,但我想确保所有文件在一段时间后都被删除......

我试过这些方法

rm -rf *
find /path/to/files/ -type f -name '*.ts' -mtime +90 -exec rm {} \; 
Run Code Online (Sandbox Code Playgroud)

我还设法创建了一个按文件名删除的脚本,但使用这种方法我不能保证所有文件都被删除。

storage linux files

9
推荐指数
1
解决办法
4万
查看次数

如何在完整的硬盘驱动器映像中重新调整分区大小?

我使用以下方法拍摄了硬盘驱动器的完整图像:

dd if=/dev/sda of=/home/user/harddriveimg bs=4M
Run Code Online (Sandbox Code Playgroud)

在我看来,我应该能够在适当安装后重新调整其中的分区大小。

由于我对命令行不熟悉,我尝试了:

gparted /home/user/harddriveimg
Run Code Online (Sandbox Code Playgroud)

虽然这加载了分区表,但它无法找到分区本身,例如 harddriveimg0。

是否可以像这样修改图像文件而不将其写回某个磁盘,如果可以,如何修改?我会对仅使用终端命令的解决方案感到非常满意。

storage filesystems dd block-device gparted

8
推荐指数
1
解决办法
308
查看次数

如何使用备份刷新磁盘上的磁状态?

我有几个大磁盘,上面有备份/存档材料。他们是ext4。关于那些将被存储几年而不再次读取整个磁盘的那些,我一直在考虑刷新磁盘磁性状态的方法。在我一直在寻找答案的任何地方,驱动器的保质期似乎都是一个有争议的问题,但似乎在存储几年(比如 5 年左右)之后,以某种方式刷新数据是明智的(? )

我已经看到这个建议:

dd if=/dev/sda of=/dev/sda
Run Code Online (Sandbox Code Playgroud)

安全吗?有用吗?

我想做的是除 afsck或 a之外的另一件事dd if=/dev/sda of=/dev/null,这两者都可能会发现磁盘上现有的磁漏。

我想要做的是在磁盘上的磁荷低于可读水平之前刷新磁数据。我怎样才能做到这一点?

storage linux backup dd disk

8
推荐指数
1
解决办法
4232
查看次数

是否可以在 Linux 中更改 zfs raidz 池的分区的扇区大小?

我一直在通过稀疏文件的虚拟设备将 linux 上的 zfs raidz 池迁移到新磁盘。我在磁盘上使用了分区,因为磁盘的大小各不相同,每个 1.9T。要添加的最后一个磁盘是 4Tb 磁盘,我将它与其他磁盘分区,并使用 1.9T 分区添加到池中。它使用 GPT 分区表。当我尝试用 4T 磁盘上的 1.9T 分区替换最后一个文件时,我得到以下信息

zpool replace -f zfs_raid /zfs_jbod/zfs_raid/zfs.2 /dev/sdd1 
cannot replace /zfs_jbod/zfs_raid/zfs.2 with /dev/sdd1: devices have different sector alignment
Run Code Online (Sandbox Code Playgroud)

我如何将分区扇区大小更改为 512 像其他人一样,或者如果失败,是否可以将其他池设备更改为 4024 ?显然逻辑扇区大小都是 512

cat /sys/block/sdd/queue/hw_sector_size
Disk /dev/sdd: 4000.8 GB, 4000787030016 bytes, 7814037168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Run Code Online (Sandbox Code Playgroud)

由于我重新分区了包含我试图替换的基于第 4 个文件的原始设备的光盘,但它不起作用,我重新创建了设备文件,因此它目前正在重新同步该文件。

zpool 状态输出: …

storage zfs partition block-device

8
推荐指数
1
解决办法
5863
查看次数

保护数据免受位腐烂

我意识到我需要保护我的所有照片免遭比特腐烂(由于硬盘驱动器或网络传输错误而随机发生的文件损坏)。

我最近发现 par2 似乎是一个很棒的程序,可以创建冗余文件并提供检测和修复文件损坏的能力。

我不认为日志文件系统在这里是正确的解决方案,因为我希望保护与文件一起进入我的备份以及迁移到新的笔记本电脑时。

所以,我认为我需要的是一个可以作为 cronjob 运行的脚本,也许每小时一次。如果添加或更改文件(文件的编辑时间戳比冗余文件更新),它将查看所​​有需要保护的文件并更新冗余文件,如果任何文件已损坏(文件已更改但编辑),它将修复文件时间戳尚未更新)。

是否有任何脚本或程序可以做到这一点?或者是否有以另一种方式解决问题的程序?或者我应该自己写一个这样的脚本(我宁愿不写,我想要一些健壮的并且经过很多用户测试的东西)?

storage files redundancy

8
推荐指数
1
解决办法
3279
查看次数

压缩并删除存储空间有限的原始目录

在我的 3 TB 外置硬盘驱动器上,我有一个 2.7 TB 的目录,其中包含相对较小的文件。我想压缩这个 2.7 TB 目录并将其删除以仅保留压缩版本。问题是,我没有足够的存储首先zip,然后rm非压缩的目录。

有没有办法解决这个问题,或者我是否必须为操作获得更多存储空间?

storage zip compression rm

8
推荐指数
1
解决办法
1万
查看次数

KVM/QEMU/libvirt 镜像路径建议文件系统和挂载选项

作为简单的 KVM 服务器,我必须将rawqcow2图像存储在特殊路径上,例如:

/kvm-storage
Run Code Online (Sandbox Code Playgroud)

我想知道设置此路径以实现更好性能的文件系统和挂载选项的最佳实践是什么。

  • 文件系统最好是ext4/xfs还是?
  • 必须为该文件系统设置哪些挂载选项。

例如我使用ext4并设置largefile4noatime

我还将磁盘总线设置为virtio,将缓存总线设置none,将io 模式设置native

  • 这一切都将存储在标准 HDD 或 SSD 或 NVMe 存储上。(不是 NFS/ZFS/Cepth 等...)
  • 使用(或不使用)LLVM 或软件突袭或硬件突袭之类的技巧会很棒。
  • 如果我想让 RAID 更好地处理来宾机器,或者我选择不同的路径,如/kvm-storage-0/image.rawand/kvm-storage-1/image.raw并在 vm 中对其进行突袭?

storage kvm qemu qcow2

8
推荐指数
1
解决办法
1784
查看次数

为什么我在 Windows 上看不到 U 盘中的某些文件,而在 Linux 上却可以看到?

我的 U 盘有点问题。我可以在 Linux 机器 (Fedora 20) 上查看和操作 U 盘上的文件和文件夹,但是在 Windows 机器上使用 U 盘时,其中一些文件和文件夹无处可见。此外,根据 Windows,USB 记忆棒上存储了近 2.9 GB 的文件,但我可以使用的文件只有 500+ MB。我不知道为什么会发生这种情况,但这不是第一次。我该怎么做才能永久解决这个问题?

storage troubleshooting usb-drive

7
推荐指数
1
解决办法
9749
查看次数

如何将 LVM 容器还原到更大的物理分区?

该设置是一个加密的 LVM 容器/PV,其中包含一些 ext4 分区。我将这些移动到一台新机器上,但磁盘上有更多空间。所以,我创建了一个更大的加密 LVM 容器/PV。我有dd旧容器的转储(保存 LVM PV 的整个 GPT 分区,仍然加密),但实际磁盘不见了。

我怎样才能最好地恢复数据,并能够在我这样做时调整(放大)分区的大小 - 或者至少在更大的 PV 内创建新的分区?

由于要在引导期间输入的加密密码的数量,新磁盘上应该仍然只有一个 PV。我已经搜索了一下,但没有找到这种情况的答案。

storage partition lvm dm-crypt restore

7
推荐指数
1
解决办法
505
查看次数

卷管理:如何将空间从一个分区移动到另一个分区?

我正在设置一个 redhat ec2 实例,默认情况下,我使用的软件(称为qradar)在连接到实例的两个 500g ebs 存储设备上创建了以下卷:

$ lvs
  LV        VG        Attr       LSize    Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  storetmp  rootrhel  -wi-ao----   20.00g                                                    
  varlog    rootrhel  -wi-ao----  <20.00g                                                    
  store     storerhel -wi-ao---- <348.80g                                                    
  transient storerhel -wi-ao----  <87.20g 

$ df -h
Filesystem                       Size  Used Avail Use% Mounted on
/dev/xvda2                       500G  1.4G  499G   1% /
devtmpfs                          16G     0   16G   0% /dev
tmpfs                             16G     0   16G   0% /dev/shm
tmpfs                             16G   17M   16G   1% /run
tmpfs                             16G     0   16G   0% /sys/fs/cgroup
/dev/mapper/storerhel-store …
Run Code Online (Sandbox Code Playgroud)

storage linux rhel volume

7
推荐指数
1
解决办法
2568
查看次数