标签: distributed-computing

有谁知道计算机集群如何用于日常应用,例如视频游戏？

我想构建一个可以在群集上运行应用程序的计算机群集,这些应用程序不是专门为计算机群集设计的,但仍然可以看到性能提升.一个用途是用于视频游戏,但我也想利用增加的计算能力来运行大型虚拟机网络.

在Java中开发时,并行系统或分布式系统是否更适合网站爬虫和Web索引器？有哪些框架？

作为一名研究人员,我很想听听人们的想法Multi-Agent Systems,当然,如果你遇到了整个想法.你是否认为那里有更多的东西,而不仅仅是炒作和另一个流行语？你能看到商业或日常计算的任何潜在用途吗？或者您认为我们已经可以实现MAS提供的所有功能,但使用简单优雅的解决方案？

我们正在开发相当大的中间件软件,每次我们需要在VS2008中重新构建整个解决方案(在一台机器上进行四核并行构建)时需要10-20分钟.我听说像Incredibuild这样的昂贵的VS扩展使用了你网络中的其他机器(我们有大约10台机器).你曾经使用或听过这些工具吗？他们是否让构建过程变得更快更聪明,值得花钱？(例如,重用可以在不同机器上缓存的对象文件)

提前致谢

我被告知我必须放弃大型分布式系统中的事务保证,因为CAP定理说我不能拥有它.

我认为这是错误的,原因如下:

• 互联网路由非常可靠.
• CAP定理仅适用于两组活机无法通信的网络分区.
• 几乎所有真正的网络分区都包含灾难性故障或其中一个分区非常小而另一个非常大并且小分区可以关闭的情况.
• 机器故障本身不构成网络分区.

因此,我可以假设,出于实际目的,我可以有事务行为,但我试图保证小分区检测到它们已断开连接并关闭或以某种降级模式运行,直到修复连接为止.

更正？评论？火焰？

• 对于CAP定理的概述,请参阅本文章由朱利安·布朗在这里
• 维基百科上的 CAP定理

我对 “不共享”分布式系统的理解是，集群中的每个节点都有其自己的磁盘可持久保存。如果是这种情况，我不确定为什么拥有这样的体系结构将是有益的，因为不仅需要在应用程序级别进行复制/负载平衡/群集，而且还需要在磁盘上进行复制-级别，以便群集中的所有磁盘节点也可以互相看到。

因此，我想问：在什么情况下“不共享”是“共享所有内容”的更好选择，除了这两个之外还有其他选择吗？提前致谢。

我被问到这样的问题,计算32个整数的未排序数组的最小值所需的最短时间是多少,因为你有8个核心,每个比较需要1分钟.假设每个核心独立运行,我的解决方案是6分钟.将数组分成8个部分,每个部分有4个整数,8个核心同时计算每个部分的局部最小值,需要3分钟,(每个部分3个比较).然后4个核心计算这8个局部分钟的局部最小值,1分钟.然后2个核心计算4个局部分钟,1分钟,然后1个核心计算剩余2分钟,1分钟内的全局分钟.因此,总量是6分钟.然而,这似乎并不是面试官所寻求的答案.那么你们怎么想呢？谢谢

看起来像Go正在获得牵引力,并且有很多有趣的项目使用它.

但是,我经常听到一个观点,即Go主要关注的是单机,与Erlang OTP不同,它对构建分布式系统没有很好的支持.

那么,Go可用于构建可靠的分布式系统的框架和方法是什么？

重要的是 - 这样的框架应该经过战斗测试并在重负载的生产中使用,而不仅仅是在GitHub上流行.

在设计分布式存储和分析架构时,在与数据节点相同的机器上运行分析引擎是否是一种常见的使用模式？具体来说,直接在Cassandra/HDFS节点上运行Spark/Storm是否有意义？

我知道HDFS上的MapReduce具有这种使用模式,因为根据Hortonworks,YARN最小化了数据运动.我不知道这些其他系统是否就是这种情况.我想这是因为它们似乎彼此可插拔,但我似乎无法在网上找到任何关于此的信息.

我是这个主题的新手,所以任何资源或答案都将非常感激.

谢谢

免责声明:我是etcd项目和ZooKeeper项目的新手.

我最近对分布式开源产品感兴趣.我发现它们似乎需要配置(协调？)系统,例如ZooKeeper for Presto DB,Hive和Etcd for kubernetes,我认为了解etcd和ZooKeeper的角色是了解分布式系统的第一步.

但现在,我觉得迷路了...我还不明白etcd和ZooKeeper的优点和独特之处是什么.他们为我寻找分布均匀的键值存储或文件系统.这是我对产品的印象.我知道这些印象并不反映产品的特征.但我不知道我应该知道的剩余功能是什么.

ZooKeeper:根据ZooKeeper的概述页面,它保证了以下内容.

• 顺序一致性 - 客户端的更新将按发送顺序应用.
• 原子性 - 更新成功或失败.没有部分结果.
• 单系统映像 - 无论服务器连接到哪个服务器,客户端都将看到相同的服务视图.
• 可靠性 - 一旦应用了更新,它将从那时起持续到客户端覆盖更新.
• 及时性 - 系统的客户视图保证在特定时间范围内是最新的.

顺序一致性和原子性是大多数文件系统不支持的独特功能,但其他文件系统中常见.

Etcd:根据etcd的自述文件.它专注于

• 简单:可卷曲的面向用户的API(HTTP + JSON)
• 安全:可选的SSL客户端证书认证
• 快速:每个实例基准1000次写入/秒
• 可靠:使用Raft正确分布

其中大多数似乎与Amazon S3相同(S3不支持这种快速访问.)

我知道这些产品非常好,因为大多数分布式开源产品都依赖于它们.但分布式开源产品选择它们的关键,独特功能是什么？