从我所读到的,HDFS很快,因为它放松了一些POSIX技术,但这是如何工作的？或者至少是哪些？我没有找到答案,因为在Google上,我发现有人将提问者重定向到一个大型网站!
根据Hadoop - The Definitive Guide(建议拿到这本书)
创建文件后,它在文件系统命名空间中可见,如预期的那样:
文件系统的一致性模型描述了文件读写的数据可见性.HDFS对性能的一些POSIX要求进行了折衷,因此某些操作的行为可能与您预期的不同.
但是,即使刷新了流,也不能保证写入文件的任何内容都可见.因此该文件的长度为零:
一旦编写了超过块的数据,第一个块将对新读者可见.对于后续块也是如此:它始终是正在写入的当前块,其他读取器不可见.
HDFS提供了一种方法,用于通过FSDataOutputStream上的sync()方法强制所有缓冲区同步到数据节点.从sync()成功返回后,HDFS保证写入文件中该点的数据保持并且对所有新读者可见:
另一件事是
有三种类型的权限:读取权限(r),写入权限(w)和执行权限(x).读取权限是读取文件或列出目录内容所必需的.写入文件或目录需要写入权限,以创建或删除其中的文件或目录.由于您无法在HDFS上执行文件(与POSIX不同),因此将忽略文件的执行权限,对于目录,需要访问其子项.
| 归档时间： |
|
| 查看次数： |
1972 次 |
| 最近记录： |