我正在开发一个用于执行物理模拟的科学应用程序.使用的算法是O(n3),因此对于大量数据,处理需要很长时间.该应用程序在大约17分钟内运行模拟,我必须运行大约25,000次模拟.这大约是一年的处理时间.
好消息是模拟完全相互独立,因此我可以轻松地更改程序以在多台计算机之间分配工作.
我可以看到有多种解决方案来实现这一点:
选项号2相对容易实现,所以我不太关注如何实现它的建议(可以通过编写等待给定端口的参数的程序,处理值并返回结果来完成作为序列化文件).这将是网格计算的一个很好的例子.
但是,我想知道最后一个选项的可能性,传统的集群.在linux网格中运行Java程序有多难?是否将所有单独的计算机视为具有多个核心的单台计算机,从而轻松调整程序?是否有任何关于资源的好指针可以让我开始?或者我让这个过于复杂,我最好用2号选项?
编辑:作为额外的信息,我感兴趣的是如何实现这篇文章中描述的内容来自Wired Magazine:Scientific用Playstation 3 linux集群取代了一台超级计算机.确切地说,第二个听起来像是要走的路......但是很酷的因素.
编辑2:计算非常受CPU限制.基本上在大矩阵上有很多操作,例如反向和乘法.我试图为这些操作寻找更好的算法,但到目前为止,我发现我需要的操作是0(n3)(在通常可用的库中).数据集很大(对于此类操作),但它是基于输入参数在客户端上创建的.
我现在看到我对Linux下的计算机集群如何工作有误解.我假设它会以这样一种方式工作:它看起来你所有计算机中的所有处理器都可用,就好像你有一台具有多个核心的计算机一样,但似乎并非如此.似乎所有这些超级计算机都通过让节点执行由某个中央实体分发的任务来工作,并且有几个不同的库和软件包允许轻松地执行此分发.
因此,问题确实变成了,因为没有第3项这样的东西:创建集群Java应用程序的最佳方法是什么?
我有一个16个(ubuntu 12.04服务器)节点的hadoop集群(1个主节点和15个从节点).它们通过专用网络连接,主设备也有公共IP(它属于两个网络).当我运行小任务时,即输入量小,处理时间短,一切正常.但是,当我运行更大的任务时,即使用7-8 GB的输入数据时,我的从属节点会一个接一个地开始死亡.
从web ui(http://master:50070/dfsnodelist.jsp?whatNodes=LIVE)我看到最后一次联系开始增加,从我的集群提供者的web ui,我看到节点崩溃了.这是节点的屏幕截图(我无法向上滚动):

另一台机器显示此错误,运行hadoop dfs,而没有正在运行的作业:
BUG: soft lockup - CPU#7 stuck for 27s! [java:4072]
和
BUG: soft lockup - CPU#5 stuck for 41s! [java:3309]
ata2.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x6 frozen
ata2.00: cmd a0/00:00:00:08:00/00:00:00:00:00/a0 tag 0 pio 16392 in
res 40/00:02:00:08:00/00:00:00:00:00/a0 Emask 0x4 (timeout)
ata2.00: status: { DRDY }
Run Code Online (Sandbox Code Playgroud)
这是另一个截图(其中我没有任何意义):

这是崩溃的datanode的日志(IP 192.168.0.9):
2014-02-01 15:17:34,874 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Receiving blk_-2375077065158517857_1818 src: /192.168.0.7:53632 dest: /192.168.0.9:50010
2014-02-01 15:20:14,187 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in receiveBlock for blk_-2375077065158517857_1818 …Run Code Online (Sandbox Code Playgroud) 我在2节点集群中使用hazel cast以下是我的配置:
<hz:hazelcast id="hazelcast_instance">
<hz:config>
<hz:instance-name>hazelcastinstance</hz:instance-name>
<hz:group name="cluster" password="asdfg" />
<hz:properties>
<hz:property name="hazelcast.health.monitoring.level">SILENT</hz:property>
</hz:properties>
<hz:network port="5710" port-auto-increment="false">
<hz:join>
<hz:multicast enabled="false" multicast-group="224.2.2.5"
multicast-port="54327" />
<hz:tcp-ip enabled="true">
<hz:members>${cluster.hzmembers}</hz:members>
</hz:tcp-ip>
</hz:join>
<hz:interfaces enabled="false">
<hz:interface>192.168.1.*</hz:interface>
</hz:interfaces>
</hz:network>
<hz:map name="cluster.map" max-size="100" max-idle-seconds="55"
time-to-live-seconds="55" eviction-policy="LRU" eviction-percentage="50"/>
</hz:config>
</hz:hazelcast>
Run Code Online (Sandbox Code Playgroud)
我只是使用地图来检查分区,这样我就可以在集群中只运行一个批处理实例:
hz.getPartitionService().getPartition("cluster.map").getOwner().localMember()
Run Code Online (Sandbox Code Playgroud)
但是在日志中我一次又一次地看到消息
[cluster] memory.used=1.8G, memory.free=583.9M, memory.total=2.4G, memory.max=2.4G, memory.used/total=76.07%, memory.used/max=76.07%, load.process=-1.00%, load.system=-1.00%, load.systemAverage=13.00%, thread.count=147, thread.peakCount=158, event.q.size=0, executor.q.async.size=0, executor.q.client.size=0, executor.q.operation.size=0, executor.q.query.size=0, executor.q.scheduled.size=0,
Run Code Online (Sandbox Code Playgroud)
不确定是什么填满了hazelcast集群内存.
任何设备将受到高度赞赏.
我正在使用Hazelcasr版本3.1.7
parallelstream() 提供跨单个机器核心的流的操作的无缝并行化.
如何扩展此逻辑以便将parallelstream()这些操作分发到群集的所有计算机?
理想情况下:
- 我使用框架创建一个机器集群?
- 启动myCollection.parallelstream().filter(something).collect()将作业分发到群集中所有计算机的所有核心,并将结果返回到引导群集的计算机.
java parallel-processing cluster-computing java-8 java-stream
我正在开发Spring Boot应用程序。
我想知道如何将负载平衡器放置在应用程序的前面,以便在一些服务器上分配负载。
我在Google上搜索后发现,有一些Netflix API,例如Eureka,Hystrix,Ribbon和Archaius,将有助于完成劳德平衡工作。
但是找不到这些术语如何帮助同时分配请求和平衡负载,从而为所有访问特定服务的用户提供高可靠性和可用性。
我将尽管所有这些,但无法找到启动的入口点。其实我不是从哪里开始。
cluster-computing netflix spring-boot netflix-feign netflix-eureka
希望这不是一个dublicate,也不仅仅是我们集群配置的问题......
我使用qsub以下命令将作业数组提交到集群:
qsub -q QUEUE -N JOBNAME -t 1:10 -e ${ERRFILE}_$SGE_TASK_ID /path/to/script.sh
Run Code Online (Sandbox Code Playgroud)
哪里
ERRFILE=/home/USER/somedir/errors.
Run Code Online (Sandbox Code Playgroud)
我们的想法是指定一个错误文件(也类似于输出文件),该文件还包含作业数组中的任务ID.
到目前为止,我已经了解了这一行
#$ -e ${ERRFILE}_$SGE_TASK_ID
Run Code Online (Sandbox Code Playgroud)
在script.sh中,不起作用,因为它是一个注释而不是由bash评估.我的第一行不起作用,因为$SGE_TASK_ID仅在作业提交后设置.
我在这里读到逃避评估$SGE_TASK_ID(在那个链接中它是PBS' $PBS_JOBID,但类似的问题)应该有效,但当我试过
qsub -q QUEUE -N JOBNAME -t 1:10 -e ${ERRFILE}_\$SGE_TASK_ID /path/to/script.sh
Run Code Online (Sandbox Code Playgroud)
它没有按预期工作.
我错过了一些明显的东西吗 是否可以$SGE_TASK_ID在错误文件的名称中使用(错误文件的自动命名会这样做,但是我想指定目录,如果可能的话也指定名称)?
一些补充说明:
-cwd选项qsub,但这不是我希望我的错误文件存储的地方.#!/bin/bash(我还指定使用带有-S /bin/bashqsub选项的bash ).我希望任何暗示正确的方向.谢谢!
我刚刚开始使用dask,我仍然在根本上混淆了如何使用多个线程或使用集群执行简单的pandas任务.
让我们pandas.merge()用daskdataframes.
import dask.dataframe as dd
df1 = dd.read_csv("file1.csv")
df2 = dd.read_csv("file2.csv")
df3 = dd.merge(df1, df2)
Run Code Online (Sandbox Code Playgroud)
现在,假设我要在我的笔记本电脑上运行这个,有4个内核.如何为此任务分配4个线程?
看来正确的方法是:
dask.set_options(get=dask.threaded.get)
df3 = dd.merge(df1, df2).compute()
Run Code Online (Sandbox Code Playgroud)
这将使用尽可能多的线程(即,存在多个具有笔记本电脑共享内存的内核,4)?如何设置线程数?
假设我在一个拥有100个核心的工厂.如何以与将作业提交到群集相同的方式提交此内容qsub?(类似于通过MPI在集群上运行任务?)
dask.set_options(get=dask.threaded.get)
df3 = dd.merge(df1, df2).compute
Run Code Online (Sandbox Code Playgroud) 我们在不同的 VM 上有 2 个 ActiveMQ 节点(例如主机:amq1、amq2)。它们作为主/从集群链接。
我们想使用故障转移协议连接到这个集群。如何才能做到这一点?春季启动配置:
@Configuration
@EnableWebSocketMessageBroker
public class WebsocketConfiguration extends AbstractWebSocketMessageBrokerConfigurer {
@Override
public void configureMessageBroker(MessageBrokerRegistry config) {
config.enableStompBrokerRelay("/topic")
.setRelayHost(activeMQProperties.getRelayHost())
.setRelayPort(activeMQProperties.getRelayPort());
}
}
Run Code Online (Sandbox Code Playgroud)
不幸的是,这里我们只能设置一台主机和一个端口。我们怎么能设置这样的东西:
failover:(stomp://amq1:61613,stomp://amq2:61613)
Run Code Online (Sandbox Code Playgroud)
更新:目前使用的是 Spring Boot 2.3.5
activemq-classic stomp message-queue cluster-computing spring-boot
我正在连接到数据集群,并按照以下步骤操作:
(我显然已经正确设置了.ssh / config文件)
打开隧道
SSH进入集群
尝试将端口绑定到服务器,以便我可以通过以下命令使用Jupyter笔记本: ssh -N -L 22127:localhost:22127 [cluster_name]
通过以下方式在集群上运行ipython命令: ipython notebook --ip=127.0.0.1 --port=22127 --no-browser
最后,在第3步中,我总是收到“错误的本地转发错误”。请注意,我旁边的人在.ssh / config文件上具有完全相同的命令和配置,并且可以连接并运行Jupyter服务器
谢谢
Kubernetes 允许为 POD指定 CPU限制和/或请求。
CPU 资源的限制和请求以 CPU 为单位进行衡量。在 Kubernetes 中,一个 cpu 相当于:
1 AWS vCPU
1 GCP Core
1 Azure vCore
1 IBM vCPU
1 Hyperthread on a bare-metal Intel processor with Hyperthreading
Run Code Online (Sandbox Code Playgroud)
不幸的是,当使用异构集群(例如使用不同处理器)时,cpu 限制/请求取决于分配 POD 的节点;特别是对于实时应用。
如果我们假设:
有没有办法启动 POD,以便 cpu 限制/请求取决于 Kubernetes 调度程序(或节点标签)选择的节点?
获得的行为应该是(或等价于):
java ×3
spring-boot ×2
bash ×1
caching ×1
cpu ×1
dask ×1
hadoop ×1
hazelcast ×1
java-8 ×1
java-stream ×1
jupyter ×1
kubernetes ×1
linux ×1
netflix ×1
networking ×1
pandas ×1
playstation ×1
python ×1
qsub ×1
request ×1
ssh ×1
stomp ×1
ubuntu ×1