标签: cluster-computing

Condor,Sun Grid Engine,还是其他什么?

我正在努力研究是否应该在工作中尝试Condor或Sun Grid Engine(或者可能是其他东西).

我们经常有很多未使用的WinXp工作站.希望我们可以使用局域网唤醒,运行所有工作,然后自动关闭.我们主要运行Matlab,Java或Python模拟monte-carlo或参数探索.

由于我对Condor的了解有限,听起来使用vm Universe可能是一种处理快照的便捷方式,而无需修改现有代码.

对于这种工作,SGE还是其他比秃鹰更好的东西?

cluster-computing sungridengine condor

5
推荐指数
1
解决办法
3747
查看次数

在群集上运行OpenId Provider时,消息签名无效

介绍

我们有一个OpenID Provider,我们使用DotNetOpenAuth组件创建.当我们在单个节点上运行提供程序时,一切都运行良好,但当我们将提供程序移动到负载平衡群集,其中多个服务器正在处理每个会话的请求时,我们遇到消息签名问题,因为DotNetOpenAuth组件似乎使用了一些独特的东西从每个群集节点创建签名.

例外

DotNetOpenAuth.Messaging.Bindings.InvalidSignatureException: Message signature was incorrect.
  at DotNetOpenAuth.OpenId.ChannelElements.SigningBindingElement.ProcessIncomingMessage(IProtocolMessage message) in c:\BuildAgent\work\7ab20c0d948e028f\src\DotNetOpenAuth\OpenId\ChannelElements\SigningBindingElement.cs:line 139
  at DotNetOpenAuth.Messaging.Channel.ProcessIncomingMessage(IProtocolMessage message) in c:\BuildAgent\work\7ab20c0d948e028f\src\DotNetOpenAuth\Messaging\Channel.cs:line 940
  at DotNetOpenAuth.OpenId.ChannelElements.OpenIdChannel.ProcessIncomingMessage(IProtocolMessage message) in c:\BuildAgent\work\7ab20c0d948e028f\src\DotNetOpenAuth\OpenId\ChannelElements\OpenIdChannel.cs:line 172
  at DotNetOpenAuth.Messaging.Channel.ReadFromRequest(HttpRequestInfo httpRequest) in c:\BuildAgent\work\7ab20c0d948e028f\src\DotNetOpenAuth\Messaging\Channel.cs:line 378
  at DotNetOpenAuth.OpenId.RelyingParty.OpenIdRelyingParty.GetResponse(HttpRequestInfo httpRequestInfo) in c:\BuildAgent\work\7ab20c0d948e028f\src\DotNetOpenAuth\OpenId\RelyingParty\OpenIdRelyingParty.cs:line 493
Run Code Online (Sandbox Code Playgroud)

建立

我们让机器配置设置在所有集群节点上使用相同的机器密钥,并且我们已经设置了与SQL Server的进程外会话.

题

我们如何配置DotNetOpenAuth用于对其消息进行签名的密钥,以便客户端在同一会话期间信任来自群集中所有服务器的响应?

cluster-computing dotnetopenauth

5
推荐指数
1
解决办法
1026
查看次数

如何在服务器上完成qsub作业时自动运行bash脚本?

我想在发送到服务器的所有作业完成后运行脚本.

例如,我发送

ssh server "for i in config*; do qsub ./run 1 $i; done"
Run Code Online (Sandbox Code Playgroud)

然后我找回已启动的工作列表.我希望在服务器上自动启动另一个脚本,以便在完成所有这些作业后处理这些作业的输出.

我将不胜感激任何有助于我避免以下优雅解决方案的建议:

如果我将上述调用中的1000个作业ID中的每一个保存在一个单独的文件中,我可以根据当前正在运行的作业列表检查每个文件的内容,即从调用输出到:

ssh qstat
Run Code Online (Sandbox Code Playgroud)

我只需每半小时检查一次,但我想有更好的方法.

ssh bash cluster-computing qsub pbs

5
推荐指数
2
解决办法
9693
查看次数

用于分布式内存集群的OpenMP或MPI或OpenMPI?

我想在100节点分布式内存集群中并行化C串行代码.该集群由25个刀片组成,每个4个核心由infiniband组成.在我刚使用PBS在不同节点之间传播程序的几个串行运行之前.现在我想知道:

  1. 在这种情况下,OpenMP或MPI或OpenMPI的最佳替代方案是什么(目前我不想尝试混合方法,因为我开始学习)?
  2. 我在哪里可以找到示例/教程?
  3. 对于带有主for循环的简单串行代码,OpenMP/MPI/OpemMPI总能比PBS之类的排队方法表现更好吗?

c cluster-computing mpi openmp openmpi

5
推荐指数
1
解决办法
5487
查看次数

管理分布式群集?

假设有人建立了一个cassandra集群.你有一个10 [TB]数据库,它在10个节点之间均匀分布,一切运行顺畅等.

假设您有100台计算机可供使用,每台计算机都尝试从cassandra集群中读取(不同的)数据.此外,您有许多不断需要运行的作业,每个作业都在不同的时间(显然,每个作业都需要在不同的机器上运行).

你如何管理所有这些任务/工作?你如何在机器之间分配任务?你如何跟踪过程中的工作/机器?

是否有任何开源工具(最好是有Python客户端)可以帮助在Linux环境中进行操作?

python distributed-computing cluster-computing cassandra

5
推荐指数
1
解决办法
2731
查看次数

群集环境中的Java Batch作业

我们有一个包含2个JBOSS节点的集群.我们有一个批处理作业,它将所有用户详细信息从活动目录加载到数据库.这项工作每天都在运行.它之前在非集群环境中运行,因此我们将其设计为单例.现在我们有一个集群环境,我不知道什么是实现相同结果的最佳方法.我希望批处理作业每天只运行一次.我们使用spring和hibernate,然后看了Spring批处理.我无法对我的问题得到任何简明的答案.

如果你在集群环境中实现批处理,请问有谁可以告诉我吗?在这种情况下,最好的解决方案是什么?

java jboss cluster-computing batch-processing spring-batch

5
推荐指数
1
解决办法
5212
查看次数

在hadoop多节点集群设置中,从作业日志到$ {hadoop.tmp.dir}创建符号链接失败

当我在3节点集群hadoop中运行简单的wordcount示例时,我得到以下错误.我检查了必要文件夹的所有写/读权限.此错误不会停止mapreduce作业,但所有工作负载都会转移到群集中的一台计算机上,而其他两台计算机在任务到达时会产生相同的错误.

12/09/13 09:38:37 INFO mapred.JobClient: Task Id : attempt_201209121718_0006_m_000008_0,Status : FAILED
java.lang.Throwable: Child Error
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)
Caused by: java.io.IOException: Creation of symlink from /hadoop/libexec/../logs/userlogs/job_201209121718_0006/attempt_201209121718_0006_m_000008_0 to /hadoop/hadoop-datastore
/mapred/local/userlogs/job_201209121718_0006/attempt_201209121718_0006_m_000008_0 failed.
    at org.apache.hadoop.mapred.TaskLog.createTaskAttemptLogDir(TaskLog.java:110)
    at org.apache.hadoop.mapred.DefaultTaskController.createLogDir(DefaultTaskController.java:71)
    at org.apache.hadoop.mapred.TaskRunner.prepareLogFiles(TaskRunner.java:316)
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:228)

12/09/13 09:38:37 WARN mapred.JobClient: Error reading task outputhttp://peter:50060/tasklog?plaintext=true&attemptid=attempt_201209121718_0006_m_000008_0&filter=stdout
12/09/13 09:38:37 WARN mapred.JobClient: Error reading task outputhttp://peter:50060/tasklog?plaintext=true&attemptid=attempt_201209121718_0006_m_000008_0&filter=stderr
Run Code Online (Sandbox Code Playgroud)

那个错误是什么?

hadoop mapreduce cluster-computing

5
推荐指数
1
解决办法
695
查看次数

协调集群中服务器之间的单个定期任务的执行

(在清楚描述情况时,我将尽量使这个问题简短。如果缺少任何内容,请发表评论。)

情况

  • 我正在同一数据中心中运行具有三台服务器的集群
  • 为了简化部署,每个服务器运行完全相同的应用程序代码

目标

  • 要由一台服务器每分钟运行一个任务(称为任务X)。

在这些条件下

  • 群集保持分布式并且高度可用
  • 每个服务器保持运行相同的应用程序代码。换句话说,没有诸如“将代码A部署到主服务器并将代码B部署到所有辅助服务器之类的事情。

我不希望区分服务器类型的原因是为了保持高可用性(避免所谓的主服务器宕机),冗余(分布式负载),并避免在需要部署其他服务器的地方创建复杂的部署过程应用程序到不同类型的服务器。

为什么这么难?如果我要添加每5分钟执行一次此任务的代码,则每个服务器都将执行该代码,因为每个服务器都运行相同的应用程序代码。因此,他们需要能够协调每个滴答期间哪个服务器将运行相同的服务器。

我可以使用诸如Apache Kafka或的分布式消息传递机制Redis。如果使用这种机制来协调任务,那么这种“算法”将如何工作?

我向其他人提出了这个问题,他的回答是使用任务队列。但是,这似乎并不能解决问题,因为问题仍然存在:哪个服务器要将任务添加到任务队列中?如果所有服务器都将任务添加到队列中,则将导致重复条目。此外,哪个服务器将执行队列中的下一个任务?所有这些都需要通过集群内的协调来确定,而不必区分不同类型的服务器。

high-availability distribution cluster-computing task-queue

5
推荐指数
1
解决办法
503
查看次数

Quartz Clustering - 在服务器启动时触发重复

在集群设置(使用JDBC数据存储)中使用Quartz 2.1.6和Spring 3.1时,我们遇到了一个问题.目前背景:

  • 作业和CRON触发器在spring配置文件中定义(见下文)
  • 在SchedulerFactoryBean中,overwriteExistingJobs属性设置为true,因此我们不会在每次部署时将新的作业定义添加到数据库中.
  • 但是,在群集中的每次部署之后,似乎每个节点都会重新创建触发器数据.例如,如果我们有2个指向1个作业和4个节点的触发器,则在集群部署之后,DB具有1个作业定义和4x2触发器.每次重新部署都会增加4x2触发器.

这种行为是否正常?如果是:我们如何告诉Quartz不要在每次部署时重新创建触发器数据?(或覆盖该数据,与Jobs一样)

<bean name="myJob" class="org.springframework.scheduling.quartz.JobDetailFactoryBean">
    <property name="jobClass" value="com.etc.MyJob" />
</bean>
<bean class="org.springframework.scheduling.quartz.SchedulerFactoryBean"
    p:waitForJobsToCompleteOnShutdown="false" lazy-init="false">

    <property name="dataSource" ref="myDataSource" />
    <property name="transactionManager" ref="transactionManager" />
    <property name="overwriteExistingJobs" value="true" />
    <property name="autoStartup" value="true" />
    <property name="jobFactory">
                <bean class="org.springframework.scheduling.quartz.SpringBeanJobFactory"/>
            </property>
    <property name="triggers">
        <list>
            <bean class="org.springframework.scheduling.quartz.CronTriggerFactoryBean" p:cronExpression="0 0 0 * * ?"                   p:misfireInstruction="2">
                <property name="jobDetail" ref="myJob" />
            </bean>
            <bean class="org.springframework.scheduling.quartz.CronTriggerFactoryBean "
                p:cronExpression="0 0 20 * * ?"
                p:misfireInstruction="2">
                <property name="jobDetail" ref="myJob" />
            </bean>
        </list>
    </property>
    <property name="quartzProperties">
        <props>
            <prop key="org.quartz.scheduler.instanceName">fsbu_scheduler</prop>
            <prop …
Run Code Online (Sandbox Code Playgroud)

spring cluster-computing quartz-scheduler crontrigger

5
推荐指数
1
解决办法
7644
查看次数

没有数据矩阵,nbclust无法正常工作

我试图使用nbclust函数并收到错误:“ t(jeu)%*%jeu中的错误:需要数字/复杂矩阵/矢量参数”,这就是我运行该函数的方式:

NbClust(input_data, diss = dissimilarity_matrix,
                        distance = NULL,
                        min.nc=2, max.nc=5, method = "ward.D2", 
                        index = "all")
Run Code Online (Sandbox Code Playgroud)

该错误可能是因为我的数据不是数字的,但相异矩阵却是。其他所有聚类算法都不需要数据矩阵,有没有办法使用没有数据的函数?

r cluster-analysis hierarchical-clustering cluster-computing

5
推荐指数
1
解决办法
1528
查看次数