标签: distributed

我正在尝试决定使用哪个并行调试器.到目前为止,我发现没有很多开源的,所以我的选择是:

• http://www.allinea.com/products/ddt/
• http://www.roguewave.com/products/totalview-family/totalview.aspx

你推荐哪一个？还有什么值得的吗？

我想做的是:

1)在服务器上创建一个主actor,可以在10台不同的机器上动态创建10个远程actor

2)主人将任务分配给10个远程演员

3)当每个远程演员完成他们的工作时,他们将结果发送给主演员

4)主人关闭整个系统

我的问题是:

1)我不知道如何配置主演员,下面是我的服务器部分代码:

class MasterAppliation extends Bootable{
    val hostname = InetAddress.getLocalHost.getHostName
    val config = ConfigFactory.parseString(
          s"""
            akka{
            actor{
                provider = "akka.remote.RemoteActorRefProvider"
                deployment {
                    /remotemaster {
                        router = "round-robin"
                        nr-of-instances = 10
                        target {
                            nodes = ["akka.tcp://remotesys@host1:2552", "akka.tcp://remotesys@host2:2552", ....... akka.tcp://remotesys@host10:2552"]
                        }
                }
            }
            remote{
                enabled-transports = ["akka.remote.netty.tcp"]
                netty.tcp{
                hostname = "$hostname"
                port = 2552
                }
            }     
          }""")

    val system = ActorSystem("master", ConfigFactory.load(config))        
    val master = system.actorOf(Props(new master), name = "master") 
    def dosomething = master ! Begin()
    def …

我正在开发一个将部署到AWS的套接字服务器,到目前为止,我们已经按照与Erlang in Practice中的示例项目类似的结构设置了基本的OTP应用程序,但我们希望避免使用全局消息路由器,因为这不会很好地扩展.

通过分布式应用程序的OTP设计指南以及" 了解你一些Erlang"中的相应章节(Distribunomicon和分布式OTP),看来内置的分布式应用程序机制适用于已知主机名和IP的内部部署解决方案.群集配置是提前确定的,而在我们预期的设置中,应用程序需要动态地上下扩展,并且节点的IP地址将是随机的.

对不起,这是一个冗长的构建,我的问题是,是否有部署到云的分布式Erlang应用程序的设计指南,需要处理所有动态扩展？

谢谢,

最近我一直在阅读HDFS(Hadoop)和GFS(谷歌),并发现自己想知道是否有任何类似的Windows和/或.NET本机实现.我开发的许多应用程序都包含支持用户生成内容的功能,目前,这意味着依赖某种类型的存储服务,如Mosso或S3,或者在我的服务器场中使用某种类型的NAS.我对一个允许我在本地模仿Mosso或S3风格的设置感兴趣,这样我的文件就会自动存储在多台机器上并具有高可用性.

除了Windows的内置DFS(需要Active Directory,它没有在我的服务器场上运行)之外,还有什么能满足C#的需求吗？

我使用solr 1.4.1构建分布式搜索引擎,但我不想只使用一个索引文件 - 我想在我的java代码中动态创建新的核心"索引"目录.

我发现以下rest api使用EXISTING核心目录(http://wiki.apache.org/solr/CoreAdmin)创建新核心.

http://localhost:8983/solr/admin/cores?action=CREATE&name=coreX&instanceDir=path_to_instance_directory&config=config_file_name.xml&schema=schem_file_name.xml&dataDir=data

有没有办法在没有核心目录的情况下创建新核心？有solr这样的功能吗？通过休息或在solrj-api？谢谢.

我有一组有限的资源,我希望在多个进程之间共享,而不是在多个服务器上运行.我想我需要的东西可以称为分布式信号量.

我找到了一个可以调整的旧Perl实现(基于memcached).我还没有完全调查过它.

是否有库/组件/软件已经这样做了？也许算法？故障转移怎么样？

我目前正在构建一个系统,其中S3将被Internet上的许多计算机用作持久性哈希集(S3 URL是从数据中推断出来的).如果两个节点存储相同的数据,那么它将使用相同的密钥存储,因此不会存储两次.当一个对象被删除时,我需要知道其他一些节点是否也在使用该数据.在那种情况下,我不会删除它.

现在我通过添加一个存储节点列表作为写入S3的数据的一部分来实现它.因此,当节点存储数据时,会发生以下情况:

1. 从S3读取对象.
2. 反序列化对象.
3. 将新节点的id添加到存储节点列表中.
4. 序列化新对象(要存储的数据和节点列表).
5. 将序列化数据写入S3.

这创建了一种幂等引用计数的形式.由于通过Internet的请求可能非常不可靠,我不想只计算存储节点的数量.这就是我存储列表而不是计数器的原因(如果节点发送相同的请求> 1次).

只要两个节点不同时写入,此方法就可以工作.S3(据我所知)并没有提供任何方法来锁定对象,以便所有这5个步骤都成为原子.

你会如何解决这个并发问题？我正在考虑实现某种形式的乐观并发.我该如何为S3做到这一点？我应该使用完全不同的方法吗？

我已经阅读了很多关于使用css均匀分布元素的内容,但我发现的每个解决方案都要求您知道并定义要分发的元素的宽度和/或数量.

我有一个具有固定宽度的容器 - 在这里可以是任何数量的自动宽度的li元素,需要从左到右均匀地分布在父元素上.

这是我的标记 - 除了可以有任意数量的标签,其中包含任何长度的文本.

<ul class="tabs">
     <li class="tab active" id="tab-1"><span class="tab-title">Tab 1</span></li>
     <li class="tab " id="tab-2"><span class="tab-title">Tab 2</span></li>
     <li class="tab " id="tab-3"><span class="tab-title">Tab 3</span></li>
     <li class="tab " id="tab-4"><span class="tab-title">Tab 4</span></li>
</ul>

因此,当元素和宽度的数量是动态的时,使用css进行均匀分布 - 可以这样做吗？

看起来像这样一个显而易见的事情 - 该死的CSS!

以下问题旨在认真而不是轻浮.我缺乏分布式系统的经验,但我确实理解Basic Paxos如何工作以及为什么领导者选择是有用的.不幸的是,我的理解还不够深入,无法理解下面的问题.

在关于交易提交的共识,第8页(链接PDF的第11页)中,我们有以下声明.

选择独特的领导者等同于解决共识问题.

如果这个陈述是真的,并且Paxos的目的是达成共识,为什么Paxos本身并不常用于领导者选举？

此外,同一篇论文赞同领导者选举算法描述的稳定领袖选举论文.

如果这两个问题是等价的,并且同一篇论文支持不同的领导者选举算法,为什么不使用其他算法来解决一般共识问题而不是Paxos？

假设数据在数据库和分布式缓存中存储相同（即不需要连接），分布式缓存比直接访问数据库快得多是否仍然相关？据我所理解：

• 应用程序访问分布式缓存的延迟 = 网络时间 + 缓存访问（在内存中）时间 + 反序列化（从二进制到对象）时间
• 应用访问数据库的延迟=网络时间+数据库查询时间（文件访问或数据库缓存）+水化时间（将数据库结果读入对象）

所以这里的区别在于缓存访问时间和数据库查询时间（假设反序列化在强大的服务器上很快）。但是与网络时间相比，我认为缓存访问时间和数据库查询时间应该小得多，因此时间应该大致相同？

我知道我在这里有很多假设，但如果有人能帮助解释我是否理解正确，那就太好了（如果有统计数据，那就更好了）