标签: distributed

我需要为我的系统实现分布式数据库.这样我的应用程序就可以将数据库看作一个数据库了.但实际的数据库分布在两个或三个服务器上.

如何配置？

我们目前正在使用Hazelcast 3.1.5.我有一个简单的分布式锁定机制,可以跨多个JVM节点提供线程安全性.代码非常简单.

 private static HazelcastInstance hInst = getHazelcastInstance();

 private IMap<String, Integer> mapOfLocks = null;
  ...
  ...

   mapOfLocks = hInst.getMap("mapOfLocks");
        if (mapOfLocks.get(name) == null) {
            mapOfLocks.put(name,1);
            mapOfLocks.lock(name);
        }
        else {
            mapOfLocks.put(name,mapOfLocks.get(name)+1);
        }
         ...
         <STUFF HAPPENS HERE>
         mapOfLocks.unlock(name);
         ..
    }

早些时候,我曾经直接调用HazelcastInstance.getLock()并且事情似乎有效,尽管我们从未在涉及多个JVM时看到任何不合适的地方.最近,我被要求在块中调查数据库死锁,经过数周的调查和日志分析,我能够确定这是由多个线程能够获取针对相同密钥的锁定引起的.在第一个线程可以提交代码之前,第二个线程设法获得另一个锁,此时第二个线程被第一个线程的数据库锁阻塞.

是否存在针对Hazelcast实现分布式锁的未解决的错误,我应该对我的配置采取哪些不同的做法？而且,我的配置已禁用多播并启用了tcp-ip

https://ringpop.readthedocs.org/en/latest/

据我了解，可以在某些库例程中实现分片，并且应用程序仅与库链接。如果该库是RPC客户端，则可以从服务器端实时查询分片。因此，即使有一个新分区，它对应用程序也是透明的。

Ringpop是基于SWIM成员身份协议的应用程序层分片策略。我想知道应用程序层的主要优势是什么？

在系统层中分片又是另一面呢？

谢谢！

我通过发出“./bin/confluent start”命令启动了融合套件。然后我使用 kafka connect 将 kafka 数据汇入 mysql。

通过执行以下命令，我可以在独立模式下很好地运行 kafka connect：

./bin/connect-standalone ./etc/schema-registry/connect-avro-standalone.properties ./etc/kafka-connect-jdbc/adstats-jdbc-sink.properties

然后我关闭上面的命令并通过命令切换到分布式模式：

./bin/connect-distributed ./etc/schema-registry/connect-avro-distributed.properties ./etc/kafka-connect-jdbc/adstats-jdbc-sink.properties

它报告了以下异常：

[2018-08-09 14:51:56,951] 错误无法启动连接 (org.apache.kafka.connect.cli.ConnectDistributed:108) org.apache.kafka.connect.errors.ConnectException: 无法启动 REST 服务器org.apache.kafka.connect.runtime.rest.RestServer.start(RestServer.java:214) 在 org.apache.kafka.connect.runtime.Connect.start(Connect.java:53) 在 org.apache.kafka。 connect.cli.ConnectDistributed.main(ConnectDistributed.java:106) 由：java.net.BindException：地址已在 sun.nio.ch.Net.bind0(Native Method) at sun.nio.ch.Net 使用。绑定（Net.java:433）在 sun.nio.ch.Net.bind（Net.java:425）

怎么了？如何切换到使用 kafka connect 分布式模式？谢谢！

我正在学习如何在Julia中进行并行计算。我在@sync @distributed3x嵌套for循环开始时使用它来并行化事物（请参阅底部的代码）。从那一行，println(errCmp[row, col])我可以看到数组的所有元素都errCmp被打印出来了。例如

From worker 3:    2.351134946074191e9
From worker 4:    2.3500830193505473e9
From worker 5:    2.3502416529551845e9
From worker 2:    2.3509105625656652e9
From worker 3:    2.3508352842971106e9
From worker 4:    2.3497049296121807e9
From worker 5:    2.35048428351797e9
From worker 2:    2.350742582031195e9
From worker 3:    2.350616273660934e9
From worker 4:    2.349709546599313e9

但是，当函数返回时，errCmp是我在乞讨时预分配的零数组。

我是否错过了收集所有物品的最后期限？

function optimizeDragCalc(df::DataFrame)
    paramGrid = [cd*AoM for cd = range(1e-3, stop = 0.01, length = 50), AoM = range(2e-4, stop = 0.0015, length = 50)]
    errCmp …

现在我正在使用 训练模型torch.distributed，但我不确定如何设置随机种子。例如，这是我当前的代码：

def main():
    np.random.seed(args.seed)
    torch.manual_seed(args.seed)
    torch.cuda.manual_seed(args.seed)

    cudnn.enabled = True
    cudnn.benchmark = True
    cudnn.deterministic = True 

    mp.spawn(main_worker, nprocs=args.ngpus, args=(args,))

我应该移动

    np.random.seed(args.seed)
    torch.manual_seed(args.seed)
    torch.cuda.manual_seed(args.seed)

    cudnn.enabled = True
    cudnn.benchmark = True
    cudnn.deterministic = True 

进入函数main_worker()以确保每个进程都有正确的种子和 cudnn 设置？顺便说一句，我已经尝试过这个，这种行为会让训练速度慢2倍，这真的让我很困惑。

非常感谢您的帮助！

我正在考虑构建一个使用raid(磁盘)算法的程序.如果一台电脑死了.接下来将介入.在它的位置.它需要从1到1000台计算机扩展.

我需要一些建议.

我需要学习什么算法的名称？

有一次我认为可以在git之上构建它.

我正在为我国的一家医院做系统,作为我学位的最后一年项目,我的主管特别要求我使用php和mysql.我没有任何分布式系统和PHP编程的经验,任何人都可以帮助我建立我的基础并改进我的知识,说明一些网站,书籍来参考克服这个问题.

问候,rangana.

我已成功将Hazelcast用作Hibernate的L2分布式缓存。看起来查询缓存没有分配。不可能将分布式缓存用于“休眠查询缓存”吗？还是我缺少确保“查询缓存”也已分发的配置？使用Hazelcast 3.2.6和Grails 2.2.3。

假设我有 3 个以分布式模式运行的 OrientDB 主机，位于以下地址：

• 192.168.10.4
• 192.168.10.5
• 192.168.10.6

使用 Java 客户端，获取对数据库的引用的典型方法是执行以下操作：

 this.graphFactory = new OrientGraphFactory(
            "remote:[host]/[database]",
            "username",
            "password")
            .setupPool([...], [...]);

在连接字符串参数中，如何指示有多个主机？我的第一直觉是在单独的 IP 上手动设置 TCP 负载平衡器（即 HAProxy），并让它在我的 3 台主机之间分发。

有没有办法告诉 API 有多个 IP 可供选择，还是应该在我的实例前设置负载均衡器？

似乎tf.train.replica_device_setter不允许指定使用的gpu.

我想做的是如下:

 with tf.device(
   tf.train.replica_device_setter(
   worker_device='/job:worker:task:%d/gpu:%d' % (deviceindex, gpuindex)):
     <build-some-tf-graph>

我正在尝试模拟一个去中心化系统，但在给定现实生活参数的情况下进行模拟时遇到困难。

真实世界：

• 每个模块都有自己的计算机，并且通过网络进行通信
• 可能有数十万个模块
• 他们将相互沟通以执行特定的操作

模拟：

• 每个模块都被视为自己的线程，因为它们是异步工作的
• 无法真正生成超过 1,000 个线程
• 线程与模块的比例为1比1

每个模块生成一个线程是正确的方法吗？从理论上讲，这似乎是正确的方法，但在实践中，它会遇到大约 1,000 个线程的限制。

这次有人应该放心,我正在努力使用分布式的cahe运行我的代码.我已经在hdfs上的文件,但当我运行此代码时:

import java.awt.image.BufferedImage;
import java.awt.image.DataBufferByte;
import java.awt.image.Raster;
import java.io.BufferedReader;
import java.io.ByteArrayInputStream;
import java.io.DataInputStream;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URISyntaxException;
import java.util.logging.Level;
import java.util.logging.Logger;
import javax.imageio.ImageIO;
import org.apache.hadoop.filecache.*;
import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapred.*;
import java.lang.String;
import java.lang.Runtime;
import java.net.URI;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;

public class blur2 {
public static class BlurMapper extends MapReduceBase implements Mapper<Text, BytesWritable, LongWritable, BytesWritable>
{
    OutputCollector<LongWritable, BytesWritable> goutput;

    int IMAGE_HEIGHT = 240;
    int IMAGE_WIDTH = 320;
    public BytesWritable …