我正在努力研究是否应该在工作中尝试Condor或Sun Grid Engine(或者可能是其他东西).
我们经常有很多未使用的WinXp工作站.希望我们可以使用局域网唤醒,运行所有工作,然后自动关闭.我们主要运行Matlab,Java或Python模拟monte-carlo或参数探索.
由于我对Condor的了解有限,听起来使用vm Universe可能是一种处理快照的便捷方式,而无需修改现有代码.
对于这种工作,SGE还是其他比秃鹰更好的东西?
介绍
我们有一个OpenID Provider,我们使用DotNetOpenAuth组件创建.当我们在单个节点上运行提供程序时,一切都运行良好,但当我们将提供程序移动到负载平衡群集,其中多个服务器正在处理每个会话的请求时,我们遇到消息签名问题,因为DotNetOpenAuth组件似乎使用了一些独特的东西从每个群集节点创建签名.
例外
DotNetOpenAuth.Messaging.Bindings.InvalidSignatureException: Message signature was incorrect.
at DotNetOpenAuth.OpenId.ChannelElements.SigningBindingElement.ProcessIncomingMessage(IProtocolMessage message) in c:\BuildAgent\work\7ab20c0d948e028f\src\DotNetOpenAuth\OpenId\ChannelElements\SigningBindingElement.cs:line 139
at DotNetOpenAuth.Messaging.Channel.ProcessIncomingMessage(IProtocolMessage message) in c:\BuildAgent\work\7ab20c0d948e028f\src\DotNetOpenAuth\Messaging\Channel.cs:line 940
at DotNetOpenAuth.OpenId.ChannelElements.OpenIdChannel.ProcessIncomingMessage(IProtocolMessage message) in c:\BuildAgent\work\7ab20c0d948e028f\src\DotNetOpenAuth\OpenId\ChannelElements\OpenIdChannel.cs:line 172
at DotNetOpenAuth.Messaging.Channel.ReadFromRequest(HttpRequestInfo httpRequest) in c:\BuildAgent\work\7ab20c0d948e028f\src\DotNetOpenAuth\Messaging\Channel.cs:line 378
at DotNetOpenAuth.OpenId.RelyingParty.OpenIdRelyingParty.GetResponse(HttpRequestInfo httpRequestInfo) in c:\BuildAgent\work\7ab20c0d948e028f\src\DotNetOpenAuth\OpenId\RelyingParty\OpenIdRelyingParty.cs:line 493
Run Code Online (Sandbox Code Playgroud)
建立
我们让机器配置设置在所有集群节点上使用相同的机器密钥,并且我们已经设置了与SQL Server的进程外会话.
题
我们如何配置DotNetOpenAuth用于对其消息进行签名的密钥,以便客户端在同一会话期间信任来自群集中所有服务器的响应?
我想在发送到服务器的所有作业完成后运行脚本.
例如,我发送
ssh server "for i in config*; do qsub ./run 1 $i; done"
Run Code Online (Sandbox Code Playgroud)
然后我找回已启动的工作列表.我希望在服务器上自动启动另一个脚本,以便在完成所有这些作业后处理这些作业的输出.
我将不胜感激任何有助于我避免以下优雅解决方案的建议:
如果我将上述调用中的1000个作业ID中的每一个保存在一个单独的文件中,我可以根据当前正在运行的作业列表检查每个文件的内容,即从调用输出到:
ssh qstat
Run Code Online (Sandbox Code Playgroud)
我只需每半小时检查一次,但我想有更好的方法.
我想在100节点分布式内存集群中并行化C串行代码.该集群由25个刀片组成,每个4个核心由infiniband组成.在我刚使用PBS在不同节点之间传播程序的几个串行运行之前.现在我想知道:
假设有人建立了一个cassandra集群.你有一个10 [TB]数据库,它在10个节点之间均匀分布,一切运行顺畅等.
假设您有100台计算机可供使用,每台计算机都尝试从cassandra集群中读取(不同的)数据.此外,您有许多不断需要运行的作业,每个作业都在不同的时间(显然,每个作业都需要在不同的机器上运行).
你如何管理所有这些任务/工作?你如何在机器之间分配任务?你如何跟踪过程中的工作/机器?
是否有任何开源工具(最好是有Python客户端)可以帮助在Linux环境中进行操作?
我们有一个包含2个JBOSS节点的集群.我们有一个批处理作业,它将所有用户详细信息从活动目录加载到数据库.这项工作每天都在运行.它之前在非集群环境中运行,因此我们将其设计为单例.现在我们有一个集群环境,我不知道什么是实现相同结果的最佳方法.我希望批处理作业每天只运行一次.我们使用spring和hibernate,然后看了Spring批处理.我无法对我的问题得到任何简明的答案.
如果你在集群环境中实现批处理,请问有谁可以告诉我吗?在这种情况下,最好的解决方案是什么?
当我在3节点集群hadoop中运行简单的wordcount示例时,我得到以下错误.我检查了必要文件夹的所有写/读权限.此错误不会停止mapreduce作业,但所有工作负载都会转移到群集中的一台计算机上,而其他两台计算机在任务到达时会产生相同的错误.
12/09/13 09:38:37 INFO mapred.JobClient: Task Id : attempt_201209121718_0006_m_000008_0,Status : FAILED
java.lang.Throwable: Child Error
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)
Caused by: java.io.IOException: Creation of symlink from /hadoop/libexec/../logs/userlogs/job_201209121718_0006/attempt_201209121718_0006_m_000008_0 to /hadoop/hadoop-datastore
/mapred/local/userlogs/job_201209121718_0006/attempt_201209121718_0006_m_000008_0 failed.
at org.apache.hadoop.mapred.TaskLog.createTaskAttemptLogDir(TaskLog.java:110)
at org.apache.hadoop.mapred.DefaultTaskController.createLogDir(DefaultTaskController.java:71)
at org.apache.hadoop.mapred.TaskRunner.prepareLogFiles(TaskRunner.java:316)
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:228)
12/09/13 09:38:37 WARN mapred.JobClient: Error reading task outputhttp://peter:50060/tasklog?plaintext=true&attemptid=attempt_201209121718_0006_m_000008_0&filter=stdout
12/09/13 09:38:37 WARN mapred.JobClient: Error reading task outputhttp://peter:50060/tasklog?plaintext=true&attemptid=attempt_201209121718_0006_m_000008_0&filter=stderr
Run Code Online (Sandbox Code Playgroud)
那个错误是什么?
(在清楚描述情况时,我将尽量使这个问题简短。如果缺少任何内容,请发表评论。)
情况
目标
在这些条件下
我不希望区分服务器类型的原因是为了保持高可用性(避免所谓的主服务器宕机),冗余(分布式负载),并避免在需要部署其他服务器的地方创建复杂的部署过程应用程序到不同类型的服务器。
为什么这么难?如果我要添加每5分钟执行一次此任务的代码,则每个服务器都将执行该代码,因为每个服务器都运行相同的应用程序代码。因此,他们需要能够协调每个滴答期间哪个服务器将运行相同的服务器。
我可以使用诸如Apache Kafka或的分布式消息传递机制Redis。如果使用这种机制来协调任务,那么这种“算法”将如何工作?
我向其他人提出了这个问题,他的回答是使用任务队列。但是,这似乎并不能解决问题,因为问题仍然存在:哪个服务器要将任务添加到任务队列中?如果所有服务器都将任务添加到队列中,则将导致重复条目。此外,哪个服务器将执行队列中的下一个任务?所有这些都需要通过集群内的协调来确定,而不必区分不同类型的服务器。
在集群设置(使用JDBC数据存储)中使用Quartz 2.1.6和Spring 3.1时,我们遇到了一个问题.目前背景:
这种行为是否正常?如果是:我们如何告诉Quartz不要在每次部署时重新创建触发器数据?(或覆盖该数据,与Jobs一样)
<bean name="myJob" class="org.springframework.scheduling.quartz.JobDetailFactoryBean">
<property name="jobClass" value="com.etc.MyJob" />
</bean>
<bean class="org.springframework.scheduling.quartz.SchedulerFactoryBean"
p:waitForJobsToCompleteOnShutdown="false" lazy-init="false">
<property name="dataSource" ref="myDataSource" />
<property name="transactionManager" ref="transactionManager" />
<property name="overwriteExistingJobs" value="true" />
<property name="autoStartup" value="true" />
<property name="jobFactory">
<bean class="org.springframework.scheduling.quartz.SpringBeanJobFactory"/>
</property>
<property name="triggers">
<list>
<bean class="org.springframework.scheduling.quartz.CronTriggerFactoryBean" p:cronExpression="0 0 0 * * ?" p:misfireInstruction="2">
<property name="jobDetail" ref="myJob" />
</bean>
<bean class="org.springframework.scheduling.quartz.CronTriggerFactoryBean "
p:cronExpression="0 0 20 * * ?"
p:misfireInstruction="2">
<property name="jobDetail" ref="myJob" />
</bean>
</list>
</property>
<property name="quartzProperties">
<props>
<prop key="org.quartz.scheduler.instanceName">fsbu_scheduler</prop>
<prop …Run Code Online (Sandbox Code Playgroud) 我试图使用nbclust函数并收到错误:“ t(jeu)%*%jeu中的错误:需要数字/复杂矩阵/矢量参数”,这就是我运行该函数的方式:
NbClust(input_data, diss = dissimilarity_matrix,
distance = NULL,
min.nc=2, max.nc=5, method = "ward.D2",
index = "all")
Run Code Online (Sandbox Code Playgroud)
该错误可能是因为我的数据不是数字的,但相异矩阵却是。其他所有聚类算法都不需要数据矩阵,有没有办法使用没有数据的函数?
r cluster-analysis hierarchical-clustering cluster-computing