小编Kar*_*elV的帖子

设置cloudera hadoop的权限

我在大约20个节点的集群上安装了coudera hadoop 4.使用cloudera管理器它非常顺利,但是当我想使用hadoop fs -mkdir input我创建一个输入目录时,我得到以下错误:mkdir: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x看起来像一个经典的错误权限案例,但我不知道从哪里开始修复此问题.如果我知道如何处理它,我发现这个文件我认为可以解决我的问题.对于初学者我不知道我是否正在使用v2的MapReduce v1(我在我的cloudera管理器中看不到任何纱线服务所以我的猜测是v1(?)).其次,由于整个安装是自动的,我不知道安装什么和在哪里.

有人能指点我一些简单的步骤来解决我的问题吗?我真的在寻找最简单的解决方案,我根本不关心安全性,因为它只是一个测试.如果我可以为所有用户提供所有可能的权限.

permissions hadoop cloudera

10
推荐指数
1
解决办法
1万
查看次数

Java 检查点

我希望我的问题不太模糊,但我正在寻找有关 Java 检查点的更多信息。我必须生成一个大搜索树,我希望能够在程序中断后(例如突然重新启动后等)恢复计算。因此我需要检查点。我发现关于这方面的文档很少,而且我的印象是很多开发在 90 年代中期就停止了。到目前为止,我已经找到了一个名为Padmig的库,但我希望有替代方案吗?任何人都可以通过一些有关 java 检查点的信息为我指明正确的方向吗?

java checkpoint

6
推荐指数
1
解决办法
4562
查看次数

在 lat, lng 对周围获得准确的笛卡尔投影

我有 WGS84 中的 lat、lng 修复列表,我想在这些列表上进行计算,例如点、多边形之间的距离测量等...为此,我计划使用匀称但后来,我需要将其转换为笛卡尔空间,这只是局部准确。

我的问题是我的位置修复可能来自世界各地,所以如果我使用针对我所在地区优化的固定投影,我会在世界其他地方引入错误。是否可以根据当前位置列表的平均位置来定义我自己的以位置对为中心的笛卡尔投影?我需要计算的位置修复总是彼此接近,但不同的位置修复列表可以分布在世界各地。

例如:假设我得到 5 个修复,我需要对其进行计算。然后,我想定义一个在这些定位点附近准确的投影,因为这些定位点之间的距离始终在几公里之内。当我获得接下来的 5 个修复时,它们可能位于世界的完全不同的地方,我想定义一个针对这些位置修复优化的投影。

我将如何解决这个问题?似乎使用 pyproj(如果我理解得很好,则使用 proj.4)是一个好主意,但我无法理解初始化投影所需的字符串,如下所示。有人能帮我吗?

local_proj = pyproj.Proj(r'+proj=tmerc +lat_0=51.178425 +lon_0=3.561298 +ellps=GRS80 +units=meters')
Run Code Online (Sandbox Code Playgroud)

proj python-2.7 shapely

1
推荐指数
1
解决办法
1956
查看次数

标签 统计

checkpoint ×1

cloudera ×1

hadoop ×1

java ×1

permissions ×1

proj ×1

python-2.7 ×1

shapely ×1