标签: disk

我想在某些Windows系统上使用WMI来轮询每个进程的网络使用情况.据我所知,Win32_PerfRawData_PerfProc_Process中有许多IO实例,但它们用于网络,磁盘和设备的组合IO.有没有办法打破这一点,所以我可以分开网络和磁盘IO？

我有一个小程序,可以在磁盘上读写文件.将其分解为最简单的级别,它从一个文件流中读取字节并将它们写入另一个文件流.它履行其职责很好,但它不是最快的事情.

我已经看到其他应用程序可以以惊人的速度撕破一千兆字节或更多的读/写.显然,他们的操作更接近金属,而不是一个小的.NET应用程序.

用于流入/流出磁盘的最有效的.NET API是什么？什么win32 API可用(并且值得p /调用)以便快速访问磁盘？

我尝试使用Win32_DiskDrive获取磁盘的最大总扇区，但它们都返回错误的值。我使用HxD，该程序返回准确的值。我尝试使用 fdisk 获取 Linux 中的总扇区，它也准确返回。

我注意到Win32_DiskDrive MSDN中有一条注释如下：

该属性的值是通过 BIOS 中断 13h 的扩展功能获得的。如果驱动器使用转换方案来支持高容量磁盘大小，则该值可能不准确。请咨询制造商以获取准确的驱动器规格。

但我没明白这是什么意思？以及如何解决这个问题？

更新1：

这是我的 python 脚本的片段代码。

必需：Python、PyWin32、WMI

import wmi

c = wmi.WMI()
for diskDrive in c.query("SELECT * FROM Win32_DiskDrive"):
    print diskDrive.Name, "\nTotal Sector: ", diskDrive.TotalSectors

更新2：

根据要求，这里是检测到 HxD 总扇区的 WMI 片段。

• WMI： 625137345（顶部）
• HxD： 625142448（底部）

更新3：

如果有兴趣，你也可以在自己的计算机上尝试一下，看看Win32_DiskDrive是否报告准确的结果。我在许多其他计算机（WinXP & 7）和其他存储设备（硬盘、闪存盘等）上尝试过此操作，但所有结果都不准确。

要尝试请安装Python、PyWin32、WMI

非常感谢

我最接近最终理解磁盘 btree 架构的是这个.

它很简单，很容易阅读和理解。但是我还是觉得很迷茫。似乎根本没有内存数据结构。我错过了什么吗？是什么让这成为一个 btree？是否只是“指向”其子节点键的 long 数组？这样有效率吗？大多数数据库和文件系统就是这样设计的吗？

是否有在内存中的磁盘 btree（或其他数据结构）上实现的方法？每个节点在哪里包含文件偏移量之类的？

今天我意识到版本控制下的文件夹中隐藏的 .svn 文件夹占用了大约 16 GB 的硬盘空间。我正在使用 SSD 驱动器，所以这是相当多的。我真的需要这些巨大的子文件夹吗？据我所知，它们用于管理，但为什么它们与版本控制下的文件夹大小大致相同？

谢谢！

在 Linux 中，我使用 blkid api 来获取有关磁盘分区的大部分信息。我找不到可以让我找出分区名称与其驱动器之间的映射的 API。

例如，磁盘/dev/sda被分区为/dev/sda1和/dev/sda2。给定两个分区名称，我如何知道它是否来自同一驱动器？通过查找公共前缀 (sda)，人们可以查看它们是否属于同一驱动器。但这是万无一失的吗？这在所有情况下都有效吗？如果这是卷的一部分怎么办？另外，驱动器名称/卷名称（“sda”）可以包含数字吗？

我假设应该有一种简单的方法来确定此映射。

我面临着在docker容器上拥有磁盘配额的要求.具体来说,我想限制不在基本图像层中但在差异中的数据量.谷歌搜索"docker disk quota"建议使用设备映射器或btrfs后端.虽然能够在两个后端(具有不同的语义)中具有配额,但两者都存在问题:

• btrfs不够稳定,不适合生产使用
• device mapper仅限制包括基本图像在内的完整容器大小,但不允许限制diff

解决这个问题的最佳方法是什么？

我正在使用 C++ 编写一个迷你数据库。在日志模块中，我用于fstream将数据附加到日志文件中，并且需要将数据立即写入磁盘。在http://www.cplusplus.com/doc/tutorial/files/中，我发现

当缓冲区被刷新时，其中包含的所有数据都将写入物理介质。

但在http://www.cplusplus.com/forum/general/7343/

我尝试过flush()调用，但这只是将程序的缓冲区刷新到文件系统的缓冲区中，并不能保证数据物理写入磁盘。

例如，我很困惑flush()或sync()调用是否保证数据已写入磁盘

std::fstream file;
file.open("...", std::ios::out | std::ios::app); // open a file
file << "..."; //append log
file.flush(); //or file.sync()
//file.flush() has returned
//system crashed(not only program crashed) or an interruption in the supply of electricity heppened 

那么当我重新启动计算机时，日志是否会丢失？如果日志丢失，有fstream什么办法可以强制将数据写入磁盘吗？

最近，我运行 macOS Catalina 的 Macbook Pro 的磁盘空间几乎被占满。我发现占用了我大部分空间的是/Users/Shared/Related Items下的文件夹，因此我通过移至垃圾箱并清空它来删除该文件夹。我还删除了许多其他文件。

我以为我只有 200 GB 可用磁盘空间。但根本不是！：

关于截图

磁盘实用程序屏幕截图

只有我的“其他”大小增加到 417GB！这太疯狂了。更重要的是，当我在OmniDiskSweeper或DiskInventoryX等软件中运行大小调整时，我只获得了 179.5GB！：

OmniDiskSweeper 屏幕截图

DiskInventoryX 中也是如此。在清洁之前，它的尺寸与 MacO 相同。

这里发生了什么？我试过：

• 在恢复模式下运行并在我的磁盘上运行急救。
• 我从未启用过时间机器。我运行了一些删除备份的命令，但似乎没有任何备份

当我删除某些文件时，“其他”区域会变得更大，并且我无法删除它。

我的应用程序完全是用 java 编写的（我们从 java8 迁移到 java11）并且在 High Sierra 下运行良好：
new RandomAccessFile(file_on_network_volume, "rws")获得访问权限并继续执行。

在Catalina下运行它失败了
java.io.FileNotFoundException: /Volumes/messages/xyz/FILE.xdt (Operation not permitted)

我知道任何尝试访问网络卷的应用程序都需要特殊权限，我在系统偏好设置中查看了它们，可以将它们删除以tccutil reset SystemPolicyNetworkVolumes [bundle_id]进行重复测试。

java 代码如何正确请求用户的访问权限，以便处理可以继续？

到目前为止我做了什么：

• 将代码更改为
  AccessController.doPrivileged((PrivilegedExceptionAction<RandomAccessFile>) () -> new RandomAccessFile(file, "rws"));
  导致使用 IntelliJ 运行的 JUnitTest 通过对话
  请求权限 IntelliJ IDEA 中的应用程序请求访问网络卷上的文件

• 在 Info.plist 中添加了与
  <key>NSNetworkVolumesUsageDescription</key> <string>@@bundle_name@@ benötigt Zugriff auf ein Netzwerkvolume.</string>
  显示给用户的对话框中的文本相对应的条目

但仍然缺少一些东西。应用程序未请求权限，因此操作失败。IntelliJ 做了一些我目前还没有弄清楚的正确的事情。