标签: distributed

我在使用 PHP 的 SoapClient 分布式 WSDL 文件（方案/其他定义在实际 WSDL 之外声明）时遇到问题。

这是我收到的错误消息：

SOAP-ERROR: Parsing WSDL:  'getSomeInfo' already defined.

经过一番谷歌搜索后，这似乎是 PHP 内部的一个错误，因为其他人发现了完全相同的问题：http://bugs.php.net/bug.php ?id=45282

有任何错误修复吗？有什么解决方案可以解决这个错误吗？

我认为发布代码片段是没有意义的，因为仅使用 WSDL 调用 SoapClient ctor 是唯一失败的。

Akka actor能否将其发出的消息存储在本地持久发件箱中，直到其远程接收者 actor 准备好在其自己的持久收件箱中接收它们？换句话说，我可以使用 Akka 来执行类似于电子邮件的存储转发式消息传递吗？

我在线阅读了一篇有趣的帖子,Google员工讨论了Google不会从Erlang的监管模式中受益,因为他们已经在他们的基础架构中构建了一个等效的监管模型:

(完全披露:我在谷歌工作,也喜欢erlang)Erlang拥有出色的健壮性和并发性.它没有的是类型安全,它以高效的方式处理文本很糟糕.因此,如果您不关心这些事情中的任何一个并且只关心健壮性和并发性,那么Erlang就是伟大的.这里有关于Erlang的内部讨论,但结果是.我们已经基本上在我们的基础设施中重复了Erlangs监管模式,只有我们为所有语言都做了这样,而且Erlang没有为我们提供任何性能优势.

资料来源:http://erlang.org/pipermail/erlang-questions/2013-August/075135.html

尽管在网上搜索,我找不到关于他们的监督模式的任何信息(我最有​​可能使用错误的搜索条件进行搜索).

问题:

1. Google监管模式的架构是什么？
2. 对于谷歌发布的许多创新,后来开发出了提供相同功能的开源软件(例如Google BigTable - > HBase,MapReduce - > Hadoop等).Netflix的参展商是否履行了上述报价中提到的Google监管基础设施的所有角色？

我想将mongodb实现为分布式数据库,但我找不到好的教程.每当我在mongodb中搜索分布式数据库时,它都会给我分片的链接,所以我很困惑,如果它们都是相同的东西？

我正在尝试定期检查 Kafka 中某个主题的队列大小。虽然，我什至不知道如何检查该指标甚至一次。我对 Kafka 完全陌生，所以我不确定该怎么做。我认为这将涉及创建生产者或消费者来与队列进行交互，但我遇到了障碍。

我正在研究什么基本上是一个高度可用的分布式消息传递系统。系统通过 HTTP 或 TCP 从某处接收消息，对其执行各种转换，然后将其发送到一个或多个目的地（也使用 TCP/HTTP）。

系统要求发送到给定目的地的所有消息都是有序的，因为有些消息建立在先前消息的内容之上。这限制了我们按顺序处理消息，每条消息大约需要 750 毫秒。因此，例如，如果有人每 250 毫秒向我们发送一条消息，我们将被迫将消息排在彼此后面。这最终会在高负载下在消息处理中引入无法容忍的延迟，因为每条消息在轮到它之前可能必须等待数百条其他消息被处理。

为了解决这个问题，我希望能够在不违反我们按顺序发送它们的要求的情况下并行化我们的消息处理。

我们可以轻松地横向扩展我们的处理。缺失的部分是一种确保即使消息被乱序处理的方法，它们也会被“重新排序”并按照接收顺序发送到目的地。我正在努力寻找实现这一目标的最佳方式。

Apache Camel 有一个叫做 Resequencer 的东西可以做到这一点，它包括一个很好的图表（我没有足够的代表直接嵌入）。这正是我想要的：接收无序消息并将它们按顺序排列的东西。

但是，我不希望它是用 Java 编写的，我需要该解决方案具有高可用性（即能够抵抗典型的系统故障，如崩溃或系统重新启动），我认为 Apache Camel 无法提供。

我们的应用程序是用 Node.js 编写的，使用 Redis 和 Postgresql 进行数据持久化。我们将Kue库用于我们的消息队列。尽管 Kue 提供优先排队，但功能集对于上述用例来说太有限了，所以我认为我们需要一种替代技术来与 Kue 协同工作来重新排序我们的消息。

我试图在网上研究这个话题，但我找不到预期的那么多信息。看起来像分布式架构模式的类型，会有大量的文章和实现，但我没有看到那么多。搜索诸如“消息重新排序”、“乱序处理”、“并行消息处理”等内容，可以找到大多数只是放宽基于分区或主题或诸如此类的“有序”要求的解决方案。或者，他们谈论在单台机器上的并行化。我需要一个解决方案：

• 可以以任何顺序同时处理多条消息。
• 将始终按照消息到达系统的顺序发送消息，无论它们以何种顺序进行处理。
• 可从 Node.js 使用
• 可以在 HA 环境中运行（即它的多个实例同时运行在同一个消息队列上，没有不一致的情况。）

我们目前的计划，对我来说很有意义，但我在网上找不到任何描述，是使用 Redis 来维护一组进行中和准备发送的消息，按到达时间排序。粗略地说，它是这样工作的：

1. 当收到一条消息时，该消息被放入进行中的集合中。
2. 当消息处理完成时，该消息被放入准备发送集。
3. 只要在进行中和准备发送集的前面都有相同的消息，就可以发送该消息并且它会按顺序进行。

我会编写一个小型 Node 库，它使用原子 Redis 事务通过优先级队列式 API 实现此行为。但这只是我自己想出来的，所以我想知道：是否有其他技术（理想情况下使用我们已经在使用的 Node/Redis 堆栈）可以解决重新排序乱序消息的问题? 或者是否有其他术语可以用作我可以用作研究关键字的此问题？谢谢你的帮助！

在 Raft 论文中，他们提到所有客户端交互都发生在领导节点上。我不明白的是，领导者一直在变化。因此，假设我的集群位于负载均衡器之后。如何通知负载均衡器领导者已更改？或者，如果我是对的，负载均衡器是否可以向任何节点（跟随者或领导者）发送客户端请求，并且跟随者节点有责任将请求发送给领导者？

我正在寻找分布式计时器服务。多个远程客户端服务应该能够在指定的时间间隔后注册回调（通过 REST api）。间隔的长度可以是 1 分钟。我可以忍受大约 1 分钟的误差。此类回调的数量目前可以达到 100,000，但我以后需要扩大规模。我一直在寻找类似的调度程序，Quartz但我不确定它们是否适合这个问题。使用Quartz，我可能不得不将回调请求保存在数据库中，并每分钟轮询 100,000 行的过期请求。我不确定这会扩大规模。是否有任何开箱即用的解决方案？否则，我该如何建造一个？

我试图在服务器上安装sparkorflow,因为我的老板告诉我,因为他认为这很容易使用.但我也在tensorflow网站上学习了默认的分布式张量流.任何专家都能告诉我这两种分配方式的区别吗？spark会自动分配参数服务器还是工人？

提前致谢.

如果我有一个distributed.Client实例，我可以用它来关闭远程集群吗？即杀死所有工人并关闭调度程序？

如果使用Client实例无法做到这一点，除了手动杀死每个远程进程之外，还有其他方法吗？