小编Son*_*Sun的帖子

wordCount mapReduce如何在apo tez的hadoop纱线集群上运行?

正如tez的github页面所说,tez非常简单,其核心只有两个组成部分:

  1. 数据处理管道引擎,和

  2. 数据处理应用程序的主人,可以将上述任意数据处理"任务"组合到任务-DAG中

那么我的第一个问题是,tez-examples.jar中存在的现有mapreduce作业如wordcount如何转换为task-DAG?哪里?或者他们不......?

而我的第二个也是更重要的问题是这个部分:

tez中的每个"任务"都有以下内容:

  1. 输入以消耗键/值对.
  2. 处理器来处理它们.
  3. 输出以收集已处理的键/值对.

谁负责在tez任务之间拆分输入数据?它是用户提供的代码还是Yarn(资源管理器)甚至是tez本身?

输出阶段的问题是相同的.提前致谢

hadoop mapreduce hadoop-yarn apache-tez

7
推荐指数
1
解决办法
587
查看次数

通过嵌入式汇编语言递增变量

我试图了解如何在 C 中嵌入汇编语言(在 x86_64 架构上使用 gcc)。我编写这个程序是为了增加单个变量的值。但我得到的输出是垃圾值。和想法为什么?

#include <stdio.h>

int main(void) {
    int x;
    x = 4;

    asm("incl %0": "=r"(x): "r0"(x));

    printf("%d", x);
    return 0;
}
Run Code Online (Sandbox Code Playgroud)

谢谢

更新该程序在 gcc 4.8.3 上给出了预期结果,但在 gcc 4.6.3 上没有给出预期结果。我粘贴非工作代码的汇编输出:

    .file   "abc.c"
.section    .rodata
.LC0:
.string "%d"
.text
.globl  main
.type   main, @function
 main:
.LFB0:
.cfi_startproc
pushq   %rbp
.cfi_def_cfa_offset 16
.cfi_offset 6, -16
movq    %rsp, %rbp
.cfi_def_cfa_register 6
pushq   %rbx
subq    $24, %rsp
movl    $4, -20(%rbp)
movl    -20(%rbp), %eax

incl %edx

movl    %edx, %ebx
.cfi_offset 3, …
Run Code Online (Sandbox Code Playgroud)

c x86 assembly gcc

5
推荐指数
1
解决办法
1381
查看次数

我可以为maven拥有多个本地存储库吗?

在maven设置中,有一个实体引用本地存储库:

<localRepository>~/.m2/repository</localRepository>
Run Code Online (Sandbox Code Playgroud)

当我添加另一个,像这样:

<localRepository>~/another/place</localRepository>
Run Code Online (Sandbox Code Playgroud)

它会引发Duplicated tag错误.

我可以拥有多个本地存储库,也可以将另一个目录添加到本地存储库中?

maven

5
推荐指数
1
解决办法
8229
查看次数

是否可以从JCuda向定义为Union的GPU内存发送数据?

我在GPU端(cuda)中定义了这样的新数据类型:

typedef union {
    int i;
    double d;
    long l;
    char s[16];
} data_unit;

data_unit *d_array;
Run Code Online (Sandbox Code Playgroud)

在Java中,我们拥有定义的并集中可用数组之一的数组。通常,如果我们有一个int类型的数组,则可以在Java(JCuda)中执行以下操作:

import static jcuda.driver.JCudaDriver.*;


int data_size;
CUdeviceptr d_array;
int[] h_array = new int[data_size];

cuMemAlloc(d_array, data_size * Sizeof.INT);
cuMemcpyHtoD(d_array, Pointer.to(h_array), data_size * Sizeof.INT);
Run Code Online (Sandbox Code Playgroud)

但是,如果设备上的数组类型是我们的联合,该怎么办呢?(假设h_array仍然是int类型)

int data_size;
CUdeviceptr d_array;
int[] h_array = new int[data_size];

cuMemAlloc(d_array, data_size * Sizeof.?);
// Here we should have some type of alignment (?)
cuMemcpyHtoD(d_array, Pointer.to(h_array), data_size * Sizeof.?);
Run Code Online (Sandbox Code Playgroud)

java cuda unions jcuda

2
推荐指数
1
解决办法
53
查看次数

在Rust中,Java的最终结果是什么?

final对于方法,属性等,Java的Rust等价物是什么......

java keyword rust

-1
推荐指数
1
解决办法
389
查看次数

标签 统计

java ×2

apache-tez ×1

assembly ×1

c ×1

cuda ×1

gcc ×1

hadoop ×1

hadoop-yarn ×1

jcuda ×1

keyword ×1

mapreduce ×1

maven ×1

rust ×1

unions ×1

x86 ×1