我们将有一台机器在工作,在最佳性能下,每小时应该能够推送50(“写磁头”)x 75GB的数据。这是约 1100MB/s 写入速度的峰值性能。为了从机器上得到它,它需要两条 10GBi 线。我的问题是什么样的服务器+技术可以处理/存储这样的数据流?
目前对于数据存储,我们使用 ZFS,尽管写入速度从来都不是问题。(我们甚至还没有接近这些速度)ZFS(Linux 上的 zfs)会是一个选择吗?我们还需要存储大量数据,“IT 指南”建议总共存储 50-75 TB 之间的数据。因此,除非我们想提供我们的第一个孩子,否则它可能不能全部是 SSD。
基于优秀回复的一些补充:
我想设置一个仅匿名的 ftp 服务器(能够上传文件)。这是我的配置文件:
listen=YES
anonymous_enable=YES
anon_root=/var/www/ftp
local_enable=YES
write_enable=YESr.
anon_upload_enable=YES
anon_mkdir_write_enable=YES
xferlog_enable=YES
connect_from_port_20=YES
chroot_local_user=YES
dirmessage_enable=YES
use_localtime=YES
secure_chroot_dir=/var/run/vsftpd/empty
rsa_cert_file=/etc/ssl/private/vsftpd.pem
pam_service_name=vsftpd
Run Code Online (Sandbox Code Playgroud)
但是当我尝试连接它时:
kan@kan:~$ ftp yxxxng.bej
Connected to yxxx.
220 (vsFTPd 2.3.5)
Name (yxxxg.bej:kan): anonymous
331 Please specify the password.
Password:
500 OOPS: vsftpd: refusing to run with writable root inside chroot()
Login failed
Can anyone help ?
Run Code Online (Sandbox Code Playgroud) 出于某种原因,我无法在我的系统上写信给其他用户。
[root@hostname ~]# write
write: you have write permission turned off.
[root@hostname ~]# mesg y
[root@hostname ~]# mesg
is y
[root@hostname ~]# write
write: you have write permission turned off.
Run Code Online (Sandbox Code Playgroud)
还需要启用/纠正什么才能使其工作?
我在 Linux 上使用 ZFS 并且遇到一个相当奇怪的症状,当我向系统添加更多磁盘时,每个驱动器的写入速度会降低,从而有效地抵消了额外的主轴以提高顺序写入性能。
磁盘通过 SAS 磁盘架上的 HBA (LSI 9300-8E) 连接到主机
在下面进行测试时,我在 IO Zone iozone -i 0 -s 10000000 -r 1024 -t 10 上运行了以下命令
以下是我的测试结果:
在我的第一次测试中,我创建了一个带有 12 个磁盘的镜像,它显示每个磁盘的预期写入性能约为每秒 100 MB/s。
zpool create -o ashift=12 -f PoolA 镜像 S1_D0 S2_D0 镜像 S1_D1 S2_D1 镜像
S1_D2 S2_D2 镜像 S1_D3 S2_D3 镜像 S1_D4 S2_D4 镜像 S1_D5 S2_D5
容量操作带宽
池分配空闲读写读写
---------- ----- ----- ----- ----- ----- -----
池A 3.60G 10.9T 0 5.06K 0 638M
镜子 612M 1.81T 0 863 0 106M
S1_D0 - … 我正在执行一些 IO 密集型数据库导入,现在运行了几天,并且 IO 性能随着时间的推移而大幅下降。DB 数据文件(日志文件)位于 ext4 格式的逻辑卷上,该逻辑卷使用默认选项挂载(未在 fstab 中指定特殊内容)。由于我刚刚了解到ext4默认启用写屏障: 问:有没有办法在线禁用写屏障(即文件系统正在使用中),因为我无法中断导入并且不想再次重新启动它。我知道
如何防止写入和删除~/site/backups/ProFTPD 配置中的目录?
到目前为止:我想我已经想出了如何禁用任何类型的删除:
<Directory ~/site/backups>
<Limit DELE>
DenyAll
</Limit>
<Limit RMD>
DenyAll
</Limit>
</Directory>
Run Code Online (Sandbox Code Playgroud)
如果有更好的防弹方法来禁用删除以及一些关于如何防止编辑/写入的示例。
编辑:
请注意,我不能简单地使用权限,因为我使用所有者和组以高级方式计算配额。此外,允许通过面板进行编辑和删除,该面板以用户身份运行。但是,我不希望他们能够通过 FTP 执行此操作。
我有一个带有 6 个 SSD 的服务器和一个支持 RAID 10 和 RAID 50 的 RAID 控制器卡,计划将其用作我们的构建服务器。它将拉入 NPM 包和许多小代码文件,编译和上传人工制品。
我们目前有一台服务器正在执行此操作,并且它正在运行 IO 瓶颈(它使用当前在 RAID1 配置中的非 SSD 驱动器)。
对于性能而言,RAID 50 和 RAID 10 中哪种 RAID 配置最适合?
从用例来看,IO 将主要是小文件的写入(随机写入)。磁盘空间和正常运行时间不是主要问题,因为我们有故障转移并且重建服务器很简单。所以我不关心在关闭阵列等之前有多少驱动器故障,唯一的考虑是性能。
RAID0 已被官僚机构排除在外。
我想真正的问题是奇偶校验的计算是否比总是写入同一个镜像磁盘花费的时间更长?