标签: cluster-computing

我们有一种情况，允许用户上传内容，然后单独进行一些更改，然后根据这些更改提交表单。

这在单服务器、非故障转移环境中工作得很好，但是我们需要某种解决方案来在支持故障转移的服务器之间共享文件。

过去有人遇到过这个吗？您能够开发出什么样的解决方案？显然，持久化到数据库是一种选择，但我们宁愿避免这种情况。

这是我的 pbs 文件：

#!/bin/bash 
#PBS -N myJob 
#PBS -j oe
#PBS -k o 
#PBS -V
#PBS -l nodes=hpg6-15:ppn=12
cd ${PBS_O_WORKDIR}

./mycommand

在 qsub 文档页面上，似乎如果我放置该行 PBS -k o，我应该能够检查我的主目录中名为 myJob.oJOBID 的文件中的实时输出。但是，当我在运行时检查输出时tail -f，它在文件中没有显示任何内容。只有当我终止作业时，文件才会显示输出。我应该检查什么才能使流实时刷新到输出文件吗？catmore

在我的基于 Spring MVC + Hibernate 的 Web 应用程序中，我使用 Ehcache 作为 Hibernate 二级缓存。它在单个服务器上运行得很好。但是我需要将我的应用程序迁移到集群环境。只是想知道如何使 Ehcache 作为 Hibernate 的二级缓存在集群环境中工作？提前致谢。

我的目标是模拟一个可以测试我的应用程序和工具的集群环境。

我需要至少运行 3 个Docker 节点（不是容器），并且可以通过 ssh 访问它们。

我已经尝试过以下方法：

1 -从Ubuntu MinimalCD安装多个VM

结果：最终需要维护大量文件，重复该过程确实有害且令人不快。

2-下载里面有docker的Vagrant box （这里有一些）。

结果：我无法通过 ssh 访问它们，并且无法真正启动多个盒子（好吧，我可以，但它仍然不是最佳的）。

3-多次尝试运行“ Kitematic ”，但没有成功。

您如何测试 Docker 集群工具？我唯一的“简单”解决方案是从某个提供商运行多个实例并按小时付费，但是当我离线并且我只是不想付费时，这实际上并不那么容易。

我不需要运行多个“容器”，而是运行多个“主机”，然后我可以将它们连接到一个集群中来模拟分布式数据中心。

我正在开发一个 Spring Boot 应用程序。

由于 Spring Boot 为应用程序创建了 .jar 文件。我想将这个特定的应用程序集群到不同的服务器上。假设我构建了一个 jar 文件并运行了一个项目，那么它应该从多个定义的服务器以集群模式运行，并且应该能够满足最终用户的需求。

我的 jar 将仅驻留在一台服务器上，但它将聚集在多个服务器上。当最终用户从我的 Spring Boot 应用程序调用 Web 服务时，他永远不知道它是从哪里调用的。

集群背后的原因是假设将来任何服务器出现故障，最终用户仍然可以从另一台服务器访问 Web 服务。但我不知道如何使其聚集。

任何人都可以给我对此的见解吗？

我查看了服务器规范，它清楚地说明了这一点：

备注：serverspec 测试套件旨在针对单台机器（或 docker 容器）运行。换句话说，您不应尝试发出单个 rspec 命令来针对多台计算机或容器进行收获和运行测试。您需要为每一个发出一个 rspec 命令。

所以我可以对每个服务器进行测试，这对于某些情况很有用。但问题是这样的：我的微服务架构有一个自动发现服务，所以有些服务查询后就知道了。有没有什么项目可以表达这个？我知道我可以使用 ruby​​（或者 python，如果我选择 testinfra或其他）

与 Consul 和 serverspec 或类似的东西集成会很棒，2014 年人们一直在寻找这个，有人知道有任何项目可以解决这个问题吗？

是否有进程安全的持久（基于磁盘）Python FIFO 队列？

有人可以提供一个简单的示例，其中包含一个将字符串写入队列的脚本，以及另一个从队列中一次读取一个字符串的脚本吗？请注意，每个进程都可以从命令行启动多次。即多个作者和多个读者。

背景：我有几个脚本，每个脚本每隔一段时间就会产生一些输出。我想了解他们创建的输出，并使用另一个脚本来处理他们产生的信息。不幸的是，我无法使用 Python 的多处理或线程模块，因为脚本可以在同一文件系统上的不同计算机上运行。即每个脚本都是从命令行启动的。

我所需要的只是每个队列元素都是一个字符串，并且队列是进程安全的。

编辑：我找到了queuelib pqueque的模块，但它们不提供进程安全性。我正在考虑用atomicfile调用替换queuelib的文件处理。但我担心调试它的时间太长，因为我时间不够，而且在编写应该是进程安全的软件时总是有一些细节需要注意。

注1：我使用的是Python 2.7。

注意2：我知道这个问题，但是我的要求非常适中，我正在寻找一个简单的解决方案，而该问题提供的答案涉及复杂的库，没有关于如何使用队列的示例。

编辑（2019）：对于登陆这里的任何人，我发现SQLite 数据库提供原子访问，它有一个 python API，并且它是无服务器的。因此，我相信用它来实现我的问题中的队列是可能的（并且很容易）。

我的网络中有六台台式机，我想构建两个 Kubernetes 集群。每台机器都安装了 Ubuntu 16.04 LTS。最初，所有机器都是一个集群的一部分。但是，我删除了三台机器来设置另一个集群，并在每台机器上执行以下命令：

RESET COMMAND:
sudo kubeadm reset -f && 
 sudo systemctl stop kubelet && 
 sudo systemctl stop docker && 
 sudo rm -rf /var/lib/cni/ && 
 sudo rm -rf /var/lib/kubelet/* && 
 sudo rm -rf /etc/cni/ && 
 sudo ifconfig cni0 down && 
 sudo ifconfig flannel.1 down && 
 sudo ifconfig docker0 down && 
 sudo ip link delete cni0 && 
 sudo ip link delete flannel.1

在此之后，我重新启动了每台机器，并通过设置主节点继续设置新集群：

INSTALL COMMAND:
sudo kubeadm init phase certs all && 
 sudo kubeadm init phase kubeconfig all …

有一些关于分布式系统的资源，比如mongo db 文档，它推荐集群中的奇数节点。

拥有奇数个节点有什么好处？

我在矢量化循环时遇到了麻烦。我正在寻找重写下面的代码，使其矢量化。我已经运行了 Complete Banerjee 的测试，我发现所有依赖项都被破坏了，但我不知道从哪里开始。编译器是gcc。体系结构是 x86，数组是整数数组。

for (int i = 0; i < 100; i++) { 
     x[20 + i] = y[i] * z[i];
     p[i] = x[21 + i] + q[i];
}