标签: distributed

基本上我需要双向客户端 - 服务器通信(Java),其中客户端调用服务器上的方法,但如果服务器中发生某些事件,还需要获得"回调".这些方法本身具有相当复杂的输入和输出参数,并且稍后将认证包括在系统中会很好.哪种方法符合我的要求？我已经使用RMI构建了一个原型,但我读到当c/s在不同的网络中时,存在许多问题,尤其是"回调".另外,我想避免JAX相关技术,因为我的参数中的复杂数据结构.

java distributed client-server communication

Wor*_*ase

lucky-day

5
推荐指数

1
解决办法

371
查看次数

分布式基础架构中的OSGi

我们正在开发基于OSGi的基础设施来处理基于流的数据流.具体的处理任务由各个OSGi组件执行.我们现在需要在不同的机器上分发这些组件的可能性,这意味着我们需要OSGi组件/容器之间的某种通信机制.

在我的研究中,我遇到了不同的潜在解决方案:R-OSGi,用于分布式OSGi的Apache CXF,Eclipse通信框架.

ECF似乎特别有趣,因为它支持不同的传输格式,并为服务发现等内容提供支持.

我的核心问题:

在Felix中设置ECF基础设施是否有详细的教程/演练？(根据我的研究,我发现最近添加了Felix支持)
除了上面列出的三个我可能错过的解决方案之外还有其他方案吗？
是否有理由采用Apache CXF而不是ECF？

distributed osgi dosgi

qqi*_*ihq

lucky-day

5
推荐指数

1
解决办法

457
查看次数

Matlab中的并行处理

我创建了两个函数:生成数据和处理数据.数据处理非常耗时,因此我想在并行线程中处理它们.但是我遇到了一些问题.首先,这是我的计划:

result = zeros(1, 10);

matlabpool open local 2
spmd
    for a = 1:5
        data = generate_data();
        display(sprintf('Received data on CPU%d: %d', labindex, data));
        result(end + 1) = process_data(data);
    end
    display(sprintf('All done on CPU%d', labindex));
end
matlabpool close

Run Code Online (Sandbox Code Playgroud)

并记录它返回的内容:

Starting matlabpool using the 'local' profile ... connected to 2 workers.
Lab 1: 
  Received data on CPU1: 100
Lab 2: 
  Received data on CPU2: 100
Lab 1: 
  Received data on CPU1: 101
  Received data on CPU1: 102
  Received data on CPU1: …

Run Code Online (Sandbox Code Playgroud)

parallel-processing matlab distributed

vee*_*oor

2013 01-22

5
推荐指数

1
解决办法

412
查看次数

如何根据我的mapper输出大小动态设置reducer的数量？

我知道通过将mapred.min.split.size设置为dfs.block.size,可以根据我的dfs分割大小设置mapper的数量.

类似如何根据我的mapper输出大小设置减速器的数量？

PS:我知道以下选项可以用来操纵减速机的数量.mapred.tasktracker.reduce.tasks.maximum mapred.reduce.tasks

distributed hadoop mapreduce

Mak*_*bex

lucky-day

5
推荐指数

1
解决办法

1832
查看次数

纱线AppMaster请求容器无法正常工作

我正在运行一个带有8个vCores和8Gb总内存的本地Yarn Cluster.

工作流程如下:

YarnClient提交一个应用程序请求,用于在容器中启动AppMaster.
AppMaster启动,创建amRMClient和nmClient,将自己注册到RM,然后通过amRMClient.addContainerRequest为工作线程创建4个容器请求

即使有足够的资源,也没有分配容器(永远不会调用回调函数onContainersAllocated).我尝试检查nodemanager和resourcemanager的日志,但我没有看到任何与容器请求相关的行.我密切关注apache文档,无法理解我做错了什么.

这里是AppMaster代码的参考:

@Override
public void run() {
    Map<String, String> envs = System.getenv();

    String containerIdString = envs.get(ApplicationConstants.Environment.CONTAINER_ID.toString());
    if (containerIdString == null) {
        // container id should always be set in the env by the framework
        throw new IllegalArgumentException("ContainerId not set in the environment");
    }
    ContainerId containerId = ConverterUtils.toContainerId(containerIdString);
    ApplicationAttemptId appAttemptID = containerId.getApplicationAttemptId();

    LOG.info("Starting AppMaster Client...");

    YarnAMRMCallbackHandler amHandler = new YarnAMRMCallbackHandler(allocatedYarnContainers);

    // TODO: get heart-beet interval from config instead of 100 default value
    amClient = AMRMClientAsync.createAMRMClientAsync(1000, this); …

Run Code Online (Sandbox Code Playgroud)

java distributed hadoop hadoop-yarn

And*_*scu

2015 04-18

5
推荐指数

1
解决办法

933
查看次数