我试图理解为什么在写入 SSD 之前必须先擦除单元,以及它们如何随着时间的推移而变慢。
我正在 linux(Ubuntu 14.04)上使用 NVMe 卡。我发现在使用默认扇区大小 (512) 的 xfs 文件系统格式化时,Intel NVMe 卡的性能有所下降。或任何其他小于 4096 的扇区大小。
在实验中,我使用带有默认选项的 xfs 文件系统格式化了卡。我尝试在具有 64k 页大小的 arm64 平台上运行具有 64k 块大小的 fio。这是使用的命令
fio --rw=randread --bs=64k --ioengine=libaio --iodepth=8 --direct=1 --group_reporting --name=Write_64k_1 --numjobs=1 --runtime=120 --filename=new --size=20G
我只能得到以下值
运行状态组 0(所有作业): READ: io=20480MB, aggrb=281670KB/s , minb=281670KB/s, maxb=281670KB/s, mint=744454msec, maxt=74454msec 磁盘统计信息(读/写):nvmen1: ios=326821/8,merge=0/0,ticks=582640/0,in_queue=582370,util=99.93%
我尝试格式化如下:
mkfs.xfs -f -s size=4096 /dev/nvme0n1
Run Code Online (Sandbox Code Playgroud)
那么这些值是:
运行状态组 0(所有作业): READ: io=20480MB, aggrb=781149KB/s , minb=781149KB/s, maxb=781149KB/s, mint=266 847msec, maxt=26847msec Disk stats (read/write) : ios=326748/7, 合并=0/0, 滴答=200270/0, in_queue=200350, util=99.51%
我发现使用时没有性能下降
我刚刚订购了一台配备 1TB 三星 SSD 的新服务器。安装了 Ubuntu 14.04.5 LTS。
启动到新安装的系统后,我在 dmesg 和 /var/lib/syslog 中看到了这一点。的输出grep error /var/log/syslog:
May 12 03:47:34 lf5 kernel: [ 0.373789] HEST: Enabling Firmware First mode for corrected errors.
May 12 03:47:34 lf5 kernel: [ 10.382147] ata8.00: irq_stat 0x08000000, interface fatal error
May 12 03:47:34 lf5 kernel: [ 10.382152] res 40/00:e0:f8:69:70/00:00:74:00:00/40 Emask 0x52 (ATA bus error)
May 12 03:47:34 lf5 kernel: [ 10.712517] ata8.00: irq_stat 0x08000000, interface fatal error
May 12 03:47:34 lf5 kernel: [ 10.712521] res …Run Code Online (Sandbox Code Playgroud) 我已经使用自定义数据集(电池)训练了SSD Mobilenet模型。电池的示例图像在下面给出,并且还附带了我用来训练模型的配置文件。
当物体离摄像机更近(通过网络摄像头测试)时,它可以以0.95以上的概率准确地检测到物体,但是当我将物体移到更长的距离时,它不会被检测到。通过调试,发现该对象被检测到,但概率较低,为0.35。最小阈值设置为0.5。如果将阈值0.5更改为0.2,则将检测到对象,但是会有更多的错误检测。
参照此链接,SSD对于小物体的性能不佳,替代解决方案是使用FasterRCNN,但该模型的实时性非常慢。我也希望使用SSD从更长的距离检测电池。
请帮我以下
solid-state-drive object-detection tensorflow object-detection-api mobilenet
我需要创建一个 T 卷,T 已创建,但如果磁盘是 ssd,我还需要一个新的 U 卷,我该怎么做?知道我是否是 SSD 的批处理命令是什么?
[...]
set /a VOL_SIZE= %MINSIZE_MB% /2
set VOL_TYPE=simple
if %NDISK% GTR 1 set VOL_TYPE=stripe
echo create volume %VOL_TYPE% size=%VOL_SIZE% disk=%DISKLIST% >>%CMD_FILE%
echo Format fs=NTFS quick >>%CMD_FILE%
echo assign letter=T >>%CMD_FILE%
::if I'm not a SSD goto :noSSD
echo create volume %VOL_TYPE% disk=%DISKLIST% >>%CMD_FILE%
echo Format fs=NTFS quick >>%CMD_FILE%
echo assign letter=U >>%CMD_FILE%
:noSSD
[...]
Run Code Online (Sandbox Code Playgroud)
最良好的问候。
我正在测试SSD与MySql一起使用,我无法看到任何性能优势.这让我觉得我一定做错了.
这是设置:
为了测试,我移动了SSD上的mysql目录.
我导入了一个包含300万行的表.然后导入相同的表,其中数据和索引目录符号链接到15k驱动器.
通过mysqldump的转储将数据加载到表中,15k驱动器显示出比SSD更快的插入速率:
然后我通过'SELECT*FROM table INTO OUTFILE'/tmp/table.txt'来测试SELECT速度:
SELECTS几乎完全相同,并且SSD上的写入实际上更慢,这似乎根本不对.关于我接下来要研究什么的任何想法?
额外注意:我使用标准更改调整了SSD:noatime和noob-scheduler
基本上,我使用默认设置安装了Microsoft Visual Studio和Team Foundation Server.它的速度非常快,这可能意味着它正在从我的SSD读取/写入.我实际上想让它从我的标准硬盘驱动器上运行,以避免太快烧掉我的SSD ......怎么会这样呢?
我应该注意我的SSD是我的C:驱动器,我的标准硬盘是我的H :(数据)驱动器.TFS/SqlServer/VS2010都安装在标准的Program Files位置(位于我的SSD上).
我正在尝试调试我的硬件上的SSD未被正确的设备驱动程序检测到的情况.应该拥有SSD的设备驱动程序是一个软件RAID驱动程序(megasr),它将在镜像模式下自动配置2个SSD.我很确定megasr驱动程序没有检测/拥有SSD,但我不确定哪个驱动程序实际检测到它们.
在Linux中是否有办法确定哪个设备驱动程序拥有/ dev目录中的特定磁盘.
所以我想确定哪个驱动程序拥有设备/ dev/sda,例如.
操作系统是RHEL 6.x.
非常感谢.
我目前正在编写一个处理非常大(> 10GB)文件的python脚本.由于将整个文件加载到内存中不是一种选择,我现在正在逐行阅读和处理它:
for line in f:
....
Run Code Online (Sandbox Code Playgroud)
一旦脚本完成,它将经常运行,所以我开始考虑这种读取对我的磁盘寿命有什么影响.
脚本是否会逐行读取或者是否存在某种由OS驱动的缓冲?如果没有,我应该自己实现某种中间缓冲区吗?击中通常实际上有害的磁盘?我记得读过一些关于BitTorrent快速磨损磁盘的东西正是因为这种按位读/写而不是使用更大块的数据.
我在我的测试环境中同时使用HDD和SSD,因此两个系统的答案都很有趣.
好的,我正在学习解决方案架构师助理的云大师课程,但我无法理解 IOP 突发是什么。以下是课程笔记:
Run Code Online (Sandbox Code Playgroud)EBS Volume Types General Purpose SSD (GP2) General purpose, balances both price and performance. Ratio of 3 IOPS per GB with up to 10,000 IOPS and the ability to burst up to 3000 IOPS for extended periods of time for volumes under 1Gib.
经过一些研究后,我将 IOPS 理解为输入/输出操作。我认为这意味着读取和写入磁盘。我不明白的是,每 Gig 3IOPS 意味着什么。这是否意味着驱动器上的每 GB 空间都可以对磁盘进行读/写 3 次?这似乎不对。另一部分我不明白的是“能力爆发”是什么意思?我的猜测是,这意味着在读/写操作过程中可以一次读/写多少数据,但我只是猜测。
linux ×2
batch-file ×1
disk ×1
ext4 ×1
filesystems ×1
hdd ×1
memory ×1
mobilenet ×1
mysql ×1
optimization ×1
pci-e ×1
performance ×1
python ×1
scsi ×1
storage ×1
tensorflow ×1
tfs ×1
tfs2010 ×1
ubuntu ×1
xfs ×1