小编Pra*_*ati的帖子

Hadoop中org.apache.hadoop.mapreduce.Mapper.run()函数的用途是什么?

org.apache.hadoop.mapreduce.Mapper.run()Hadoop 中该功能的用途是什么?在setup()调用之前调用map(),在clean()调用之后调用map().run()说的文件

专家用户可以覆盖此方法,以更全面地控制Mapper的执行.

我正在寻找这个功能的实际目的.

hadoop function map

8
推荐指数
1
解决办法
4376
查看次数

如何轻松"git pull"所有分支?

git pull --help

将来自远程存储库的更改合并到当前分支中.

我拉git存储库以获取代码的离线视图,并希望获得不同分支的更新代码.如何在不手动拉动每个分支的情况下轻松拉动所有分支的代码?

--all - 获取所有遥控器.

- 所有人都没有帮助.

synchronization branch git-pull

8
推荐指数
3
解决办法
8680
查看次数

Google Pregel论文中半聚类公式的意义何在?

Google Pregel论文中提到了半聚类算法.使用以下公式计算半聚类的得分

在此输入图像描述

哪里

Ic是所有内部边缘
的权重之和Bc是所有边界边缘的权重之和
Vc是半群集中的顶点数量,
fb是边界边缘分数因子(用户定义在0和1之间)

该算法非常简单,但我无法理解上述公式是如何到达的.请注意,分母是Vc顶点数之间可能的边数.

有人可以解释一下吗?

algorithm graph-theory cluster-analysis clique

8
推荐指数
1
解决办法
838
查看次数

如何在特定Nodeport上公开Kubernetes服务?

我创建了一个具有以下yaml定义的pod.

apiVersion: v1
kind: Pod
metadata:
  name: myapp-pod
  labels:
    app: myapp
spec:
  containers:
  - name: myapp-container
    image: praveensripati/docker-demo:1.2
    ports:
    - containerPort: 3000
Run Code Online (Sandbox Code Playgroud)

现在我公开了pod,它创建了一个服务.

kubectl expose pod myapp-pod --type=NodePort
Run Code Online (Sandbox Code Playgroud)

容器上的端口3000暴露在节点上的端口31728上.我可以使用端口31728上的curl访问该页面.

kubectl get service myapp-pod
NAME        TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
myapp-pod   NodePort   10.107.254.254   <none>        3000:31728/TCP   5s
Run Code Online (Sandbox Code Playgroud)

这次我想公开服务而不是随机端口,而是在端口80上.所以我使用--port指定端口号为80.服务细节有点奇怪.它表示容器上的端口80暴露在节点上的端口31316上.此外,我能够使用随机端口(本例中为31316)而不是端口80使用curl访问页面.

kubectl expose pod myapp-pod --type=NodePort --target-port=3000 --port=80

kubectl get service myapp-pod
NAME        TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
myapp-pod   NodePort   10.105.123.73   <none>        80:31316/TCP   12s
Run Code Online (Sandbox Code Playgroud)

我无法在特定端口上公开服务,也不能在随机端口上公开服务.我尝试了几种组合并阅读了k8s文档,但没有成功.

如何在特定端口而不是随机端口上公开服务?

service kubernetes

8
推荐指数
5
解决办法
8080
查看次数

如何在Map/Reduce函数中提取数据?

根据Hadoop:The Definitive Guide.

新API支持"推"和"拉"式迭代.在这两个API中,键值记录对被推送到映射器,但此外,新API允许映射器从map()方法中提取记录.减速机也是如此."拉"样式如何有用的一个例子是批量处理记录,而不是逐个处理.

有没有人在Map/Reduce函数中提取数据?我对API或示例感兴趣.

hadoop mapreduce pull

7
推荐指数
1
解决办法
3309
查看次数

主从与分布式计算

HBase有一个主从模型,而Cassandra有一个点对点模型.我知道在主从模型中,主服务器是SPOF(单点故障),并且在对等模型中没有这样的东西.

每种型号还有其他优缺点吗?特别是我正在寻找主对手在对等模型上的任何优势.

p2p hbase distributed-computing master-slave cassandra

7
推荐指数
1
解决办法
3615
查看次数

如何找到Iterable对象的大小?

我正在写一份MR Job.但我遇到了与Iterable对象相关的问题.我需要找到它的大小.我把它浇铸为List对象,但这是错误的.(名单可强制转换为可迭代,但不能做的逆转.)还有另外一种方法,通过使用该对象的迭代和递增每个值的计数器IE浏览器.但这不是最佳解决方案.任何人都可以提出更好的方法吗?

请帮我.提前致谢.

java iterator

7
推荐指数
2
解决办法
3万
查看次数

Oozie MR发射器有什么意义?

我用Sqoop,Hive和Pig动作创建了一个简单的Oozie工作流程.对于每一个动作,Oozie发射一个MR发射器,然后发射动作(Sqoop/Hive/Pig).因此,工作流程中的3个操作总共有6个MR作业.

为什么Oozie启动MR启动器来启动操作而不是直接启动操作?

hadoop mapreduce oozie

7
推荐指数
1
解决办法
1053
查看次数

'kubectl apply'和'kubectl create'之间的区别

我使用以下yaml 创建kubectl create -f pod.xmlkubectl apply -f pod.xml使用了pod,但没有发现任何区别,两个命令都创建了pod。该K8S文件,提到了命令性和声明的命令。但是,创建和应用的行为仍然相同。

apiVersion: v1
kind: Pod
metadata:
  name: myapp-pod
  labels:
    app: myapp
spec:
  containers:
  - name: myapp-container
    image: busybox
    command: ['sh', '-c', 'echo Hello Kubernetes! && sleep 3600']
Run Code Online (Sandbox Code Playgroud)

有什么不同?另外,kubectl apply声明式和kubectl create命令式又如何?他们两个都使用一个或多个带有对象详细信息的yaml文件。

declarative imperative kubernetes

6
推荐指数
2
解决办法
3297
查看次数

如何通过 Rest API 获取正在运行的 pod 状态

知道如何通过 Kubernetes REST API 为具有已知名称的 POD 获取 POD 状态吗?我可以通过 kubectl 来完成,只需输入“kubectl get pods --all-namespaces”,因为输出将 STATUS 列为单独的列,但不确定使用哪个 REST API 来获取正在运行的 pod 的状态。谢谢

kubernetes

6
推荐指数
1
解决办法
657
查看次数