小编Roh*_*war的帖子

我正在努力学习"如何在Hadoop中实现Kerberos？" 我曾经使用过此文档不见了 https://issues.apache.org/jira/browse/HADOOP-4487 我还通过基本Kerberos的东西不见了(https://www.youtube.com/watch?v=KD2Q-2ToloE)

在从这些资源中学习之后,我得出了一个结论,我通过图表来表示.场景: - 用户登录到他的计算机通过Kerberos身份验证进行身份验证并提交地图缩减工作(请阅读图表的说明,它几乎不需要5分钟的时间)我想解释图表并提出与几个相关的问题步骤(粗体) 黄色背景中的数字表示整个流程(数字1到19)DT(带红色背景)表示委托令牌BAT(带绿色背景)表示块访问令牌JT(带有棕色背景)表示作业令牌

步骤1,2,3和4表示: - 请求TGT(票证授予票证)请求名称节点的服务票证. 问题1)KDC应该在哪里？它可以在我的名称节点或作业跟踪器所在的机器上吗？

步骤5,6,7,8和9表示: - 显示名称节点的服务票证,获得确认.名称节点将发出委托令牌(红色)用户将告知令牌更新程序(在这种情况下,它是作业跟踪器)

问题2)用户将此授权令牌与作业一起提交给Job Tracker.授权令牌是否会与任务跟踪器共享？

步骤10,11,12,13和14表示: - 询问服务票据以获取作业跟踪器,从KDC获取服务票证将此票证显示给Job Tracker并从JobTracker获取ACK将作业+委派令牌提交给JobTracker.

步骤15,16和17表示: - 生成块访问令牌并分布在所有数据节点上.将blockID和Block Access Token发送到Job Tracker,Job Tracker会将其传递给TaskTracker

问题3)谁将从名称节点请求BlockAccessToken和Block ID？JobTracker或TaskTracker

对不起,我错误地错过了18号.Step19表示: - 作业跟踪器生成作业令牌(棕色)并将其传递给TaskTrackers.

问题4)我可以得出结论,每个用户将有一个代表队令牌,它将分布在整个集群中,每个作业会有一个作业令牌吗？因此,用户将只有一个委托令牌和许多作业令牌(等于他提交的作业数量).

请告诉我,如果我错过了某些内容,或者在我的解释中某些方面我错了.

我有Nvidia显卡(GeForce GT 640)ON MY MOTHERBOARD.我在我的盒子上安装了OpenCL.当我使用"clGetPlatformInfo(parameters)"查询平台时,我看到以下输出: - #Available platforms: 1. #1 CL_PLATFORM_NAME: NVIDIA CUDA #1 CL_PLATFORM_PROFILE: FULL_PROFILE #1 CL_PLATFORM_VERSION: OpenCL 1.1 CUDA 4.2.1 #1 CL_PLATFORM_VENDOR: NVIDIA Corporation

我应该从上面的输出推断出什么？据我了解,CUDA和OpenCL是两个不同的平台.输出表示总可用平台为:1,平台名称为CUDA,版本为OpenCL和CUDA.我完全糊涂了.

我对InputSampler的理解是它从记录阅读器获取数据并采样密钥,然后在HDFS中创建一个分区文件.

我对此采样器的查询很少:1)此采样任务是否为地图任务？2)我的数据在HDFS上(分布在我的集群的节点上).此采样器是否会在具有要采样数据的节点上运行？3)这会消耗我的地图插槽吗？4)样本是否与我的MR工作的地图任务同时运行？我想通过减少插槽数来知道是否会影响映射器消耗的时间？