标签: distributed

到目前为止,我已采取以下步骤:

1. 克隆了一个远程Git仓库
2. 将主分支分支到实验室
3. 在实验分支中编辑/测试/提交的代码

现在,我还没准备好将实验合并到主人.但是我想将它推回到远程仓库,因为那是我与几位同事共享的存储库.我想让他们看看我在实验部门做了些什么.我通常只是通过SSH访问远程仓库.

如何在不影响远程仓库主分支的情况下在远程仓库上共享本地分支？

我最近一直在看Zookeeper,并想知道当前是否有人使用它以及它们是专门用于存储的.

最常见的用例是配置信息,但是您存储的数据类型和数据量是多少？

我们需要具有发布/订阅功能的分布式架构消息系统/服务总线.有没有人对我们可以用于.net应用程序的框架有什么建议？

我正在学习卡夫卡,在这里阅读介绍部分

https://kafka.apache.org/documentation.html#introduction

特别是有关消费者的部分.在引言的倒数第二段中,它读到了

卡夫卡做得更好.通过在主题中具有并行性概念 - 分区 - ,Kafka能够在消费者流程池中提供订购保证和负载平衡.这是通过将主题中的分区分配给使用者组中的使用者来实现的,以便每个分区仅由该组中的一个使用者使用.通过这样做,我们确保使用者是该分区的唯一读者并按顺序使用数据.由于有许多分区,这仍然可以平衡许多消费者实例的负载.但请注意,除分区之外不能有更多的消费者实例.

我的困惑源于最后一句话,因为在该段落的正上方,作者描绘了两个消费者群体和一个4分区主题,消费者实例多于分区!

没有比分区更多的消费者实例也没有意义,因为那时分区将非常小,并且似乎为每个消费者实例创建新分区的开销会使Kafka陷入困境.我知道分区用于容错并减少任何一台服务器上的负载,但上述句子在分布式系统的环境中没有意义,该分布式系统应该能够一次处理数千个消费者.

如果在那里完成所有工作,我的Web服务器将很快超载.我要站在它后面的第二台服务器来处理数据.

EJB相对于RMI有什么优势,反之亦然？

那么Web服务(SOAP,REST)呢？

我目前正在使用memcached和我的java应用程序,总的来说它工作得很好.

对我来说最重要的memcached的功能是:

• 它很快,因为读取和写入都在内存中而不会触及磁盘
• 它只是一个键/值存储(因为这是我所有的应用程序需求)
• 它是分布式的
• 它通过让每个对象只在一台服务器上运行来有效地使用内存
• 它不假设对象来自数据库(因为我的对象不是数据库对象)

但是,有一件事我想做,memcached无法做到.我想定期(可能每天一次)将缓存内容保存到磁盘.我希望能够从保存的磁盘映像中恢复缓存.

磁盘保存不需要非常复杂.如果在保存期间添加了新的键/值,我不在乎它是否包含在保存中.如果在保存发生时修改了现有的键/值,则保存的值应该是旧值或新值,但我不关心哪一个.

任何人都可以推荐另一种缓存解决方案(免费或商业),它具有对我很重要的所有(或很大一部分)memcached功能,并且还允许从磁盘保存和恢复整个缓存？

我有一个改善分布式编程世界的梦想:)

特别是,我觉得缺乏必要的工具来调试,监控,理解和可视化分布式系统的行为(哎呀,我必须编写自己的记录器和可视化器来满足我的要求),而且我正在写一对这些工具在我的空闲时间.

社区,你在这方面缺少什么工具？请描述每个答案,并大致了解该工具应该做什么.其他人可以指出这些工具的存在,或者有人可能会受到启发并编写它们.

在具有TCP可靠性的UDP广播的答案之一中,用户提到了Spread消息传递API.我还遇到了一个叫做ØMQ的人.我对MPI也很熟悉.

所以,我的主要问题是:为什么我会选择一个而不是另一个呢？更具体地说,当有成熟的MPI实现时,为什么我会选择使用Spread或ØMQ？

我需要一种简单的方法来监视分布在许多HP-UX服务器上的多个文本日志文件.它们是来自多个分布式遗留系统的文本和XML日志文件的混合.目前我们只是ssh到服务器并使用tail -f和grep,但是当你有许多日志要跟踪时,这不会扩展.

由于日志采用不同的格式,文件只是文件夹(当达到一定大小时自动旋转),我需要远程收集它们并以不同的方式解析每个文件.

我最初的想法是创建一个简单的守护进程,我可以在每个服务器上运行每个文件类型的自定义文件阅读器,将其解析为可以通过套接字通过网络导出的通用格式.在本地运行的另一个查看器程序将连接到这些套接字,并在一些简单的选项卡式GUI中显示已解析的日志或聚合到控制台.

如果我以这种方式实现它,我应该尝试转换为什么日志格式？

还有其他更简单的方法吗？我是否应该尝试将日志文件转换为log4j格式以与Chainsaw一起使用,或者是否有更好的日志查看器可以连接到远程套接字？我可以按照另一个日志问题的建议使用BareTail吗？这不是一个大规模分布式系统,并且不能将所有应用程序的当前日志记录实现更改为使用UDP广播或将消息放在JMS队列上.

什么时候使用像CRDT而不是paxos或筏这样的东西是个好主意？