如果在Mongo中仅使用两个节点设置副本集,则需要添加仲裁器以确保对新主节点的投票总是占多数.仲裁者本身永远不会成为主人,只是在其他方面进行选举时提供投票.
将客户端(在我的Java中)连接到MongoDB集群时,我们应该在连接配置中指定集群的所有节点:
List addrs = new ArrayList();
addrs.add( new ServerAddress( "localhost" , 27017 ) );
addrs.add( new ServerAddress( "localhost" , 27018 ) );
Mongo mongo = new Mongo(addrs);
Run Code Online (Sandbox Code Playgroud)
仲裁器是否应包含在连接配置中?我猜不会像他们一样:
没有数据的副本,永远不会成为主要节点(甚至是可读的次要节点)
(摘自这里)
...但我只想仔细检查!
我是集群处理的新手,可以使用一些建议来更好地准备数据和/或从parallel包中调用函数.我已通过parallels包装小插图阅读,因此对于发生了什么有一个模糊的想法.
我要并行化的函数调用2-D插值工具akima::interp.我的输入由3个矩阵(或矢量 - 全部相同R)组成:一个包含x坐标,一个包含y坐标,一个包含一组采样点的"z"或数据值. interp使用它来在常规网格上产生插值数据,这样我就可以绘制字段.一旦我设置了这3个项目,我将它们切成"块"并将它们提供clusterApply给interp大块执行块.
我正在使用Windows7,i7 CPU(8核)机器.这Rprof是输入数据集的摘要输出,输入数据集为1e6点(如果您愿意,则为1000x1000),并映射到1000x1000输出网格.
所以我的问题是:1)似乎"反序列化"占用了大部分时间.这个操作是什么,怎么可以减少?2)一般情况下,由于每个工作人员都加载了默认.Rdata文件,如果我首先保存所有输入数据.Rdata以便不需要传递给工作人员,是否有任何速度增加?3)其他任何我根本不知道我应该采取不同的做法?
注意:这些sin, atan2, cos, +, max, min功能发生在clusterApply我打电话之前.
Rgames> summaryRprof('bigprof.txt')
$by.self
self.time self.pct total.time total.pct
"unserialize" 329.04 99.11 329.04 99.11
"socketConnection" 1.74 0.52 1.74 0.52
"serialize" 0.96 0.29 0.96 0.29
"sin" 0.06 0.02 0.06 0.02
"atan2" 0.04 0.01 0.06 0.02
"cos" 0.04 0.01 0.04 0.01
"+" 0.02 0.01 0.02 0.01
"max" …Run Code Online (Sandbox Code Playgroud) 我正在尝试创建一个带有集群的交互式地图,当用户选中一个框时需要显示该集合,并在再次取消选中该框时将其删除.到目前为止一切运行良好,集群工作和一切,但我注意到一个奇怪的行为,我无法解释和修复:每次我取消选中该框并再次检查它,群集中显示的数字会增加该区域中的标记量(因此,当我执行"clearMarkers"时,它不会以某种方式重置为零)
以下是相关功能的代码:
//Display or remove PREDICTED accident's markers.
function toDisplayPredictedAccidents ()
{
//If the checkbox is checked : Display all the PREDICTED accident's markers.
if(checkBoxPredicted.checked == true)
{
for (i = 0; i < predictedAccidentArray.length; i++)
{
marker = new google.maps.Marker
({
position: new google.maps.LatLng(predictedAccidentArray[i][1], predictedAccidentArray[i][2]),
icon : iconPredicted
});
markersPredicted.push(marker); //Put the created marker in an array.
//Create the pop-up when we click on the marker.
google.maps.event.addListener(marker, 'click', (function(marker, i)
{
return function()
{
infowindow.setContent(predictedAccidentArray[i][0]);
infowindow.open(map, marker);
}
})(marker, …Run Code Online (Sandbox Code Playgroud) 我们正在开发一个包含一些基本聊天/消息传递功能的应用程序.Web应用程序部署在Wildfly 8.x上,并使用标准的JavaEE 7库(而不是像Spring这样的其他应用程序框架)我们正在利用Websockets来实现这一目标,因为我们需要推送到浏览器的功能提供.但是,我们正在以群集/ HA配置部署此Web应用程序.如果UserA连接到NodeA并传入一条发往连接到NodeB的UserB的消息,我们如何传输此消息?
在单节点配置中,简单的答案是维护静态Map或List具有所有Websockets和会话,并根据消息目标路由到适当的Websocket.但是,有多个节点显然无法工作,因为静态Map/ List是每个JVM.
我们将如何实现这一目标?是否可以使用JMS并让每个Websocket充当JMS侦听器?这对资源利用率或可扩展性和性能有何影响?
我们对如何解决这个问题感到有点失落,并且非常感谢你能给出的任何建议.
我正在研究由node.js + express + socket.io提供支持的1-1聊天室应用程序.我正在关注文章:Socket.IO - 房间和命名空间
在文章中,他们演示了如何启动io.adapter使用模块socket.io-redis:
var io = require('socket.io')(3000);
var redis = require('socket.io-redis');
io.adapter(redis({ host: 'localhost', port: 6379 }));
Run Code Online (Sandbox Code Playgroud)
pubClient和subClient.我应该提供吗?有什么不同?谢谢.
我正试图从SQS转移到RabbitMQ以获取消息服务.我正在寻求建立一个稳定的高可用性排队服务.现在我要去集群了.
当前实现,我有三台带有RabbitMQ的EC2机器,管理插件安装在AMI中,然后我明确地去了每台机器并添加
sudo rabbitmqctl join_cluster rabbit@<hostnameOfParentMachine>
Run Code Online (Sandbox Code Playgroud)
将HA属性设置为all并且同步有效.并且负载均衡器位于顶部,并分配了DNS.到目前为止这件事情有效.
预期实施:创建自动扩展群集环境,其中上/下的计算机必须动态加入/删除群集.实现这一目标的最佳方法是什么?请帮忙.
cluster-computing amazon-ec2 rabbitmq amazon-web-services docker
我一直在尝试为小型集群设置扭矩调度程序.我按照步骤从http://docs.adaptivecomputing.com/torque/archive/3-0-2/1.2configuring_torque_on_server.php设置了调度程序.
但是,当我尝试
qterm -t quick
Run Code Online (Sandbox Code Playgroud)
我收到以下错误
$ sudo qterm -t quick
Unable to communicate with Terra(192.168.1.25)
Cannot connect to specified server host 'Terra'.
qterm: could not connect to server '' (111) Connection refused
Run Code Online (Sandbox Code Playgroud)
但服务器启动就好了.但是,当我尝试运行在多个节点上运行的命令时,例如
qsub -l nodes=2:ppn=4 /home/user/scripts/someScript
Run Code Online (Sandbox Code Playgroud)
它打印出一些像
7.Terra
Run Code Online (Sandbox Code Playgroud)
其中Terra是头节点的名称,但也是群集中的节点.这不是问题.问题是它没有运行.它也没有任何产出:/
扭矩服务器日志:https://ptpb.pw/EaKo
terra节点日志:https: //ptpb.pw/9w5M
和Marte日志:https: //ptpb.pw/o4PT
我可以使用pbs脚本运行它,但只能使用一个节点....
#!/bin/bash
#PBS -l pmem=1gb,nodes=1:ppn=4
#PBS -m abe
cd Documents/
wc -l largeTest.csv
Run Code Online (Sandbox Code Playgroud)
这是qstat提交工作后的输出
Job ID Name User Time Use S
Queue
------------------------- …Run Code Online (Sandbox Code Playgroud) 我想知道是否可以暂时停止工作虚拟机实例,以便当我不进行集群开发时它们不会在夜间运行。到目前为止,我所知道的“停止”实例运行的唯一方法是删除我不想做的集群本身。任何建议都非常感谢。
集群是按照本指南中概述的步骤创建的。
我一直在阅读有关 NodeJS 上的多处理以获得最好的理解并尝试使用我的代码在繁重的环境中获得良好的性能。
虽然我了解利用资源处理负载的不同方式的基本目的和概念,但随着我深入研究,一些问题出现了,似乎我无法在文档中找到特定的答案。
单线程中的 NodeJS:
NodeJS 运行一个我们称之为事件循环的单线程,尽管在后台操作系统和 Libuv 正在处理 I/O 异步任务的默认工作池。
尽管工作人员可能使用不同的核心,但我们应该为事件循环使用单个核心。我想它们最终是由操作系统调度程序排序的。
NodeJS 作为多线程:
使用“worker_threads”库时,在同一个单进程中,每个线程运行不同的v8/Libuv实例。因此,它们共享相同的上下文并在具有“消息端口”和 API 其余部分的线程之间进行通信。
每个工作线程运行其事件循环线程。线程应该在 CPU 内核之间明智地平衡,从而提高性能。我想它们最终是由操作系统调度程序排序的。
问题 1:当工作人员使用 I/O 默认工作人员池时,是否以某种方式共享与其他工作人员池相同的线程?或者每个工人都有自己的默认工人池?
多处理中的NodeJS:
使用“集群”库时,我们将工作拆分到不同的进程中。每个进程都设置在不同的核心上以平衡负载......好吧,主事件循环最终设置在不同的核心中,因此它不会与另一个重事件循环共享核心。这样做听起来很聪明。
在这里,我将与一些 IPC 策略进行交流。
问题 2:这个 NodeJS 进程的默认工作池?他们在哪里?在第一种情况下如预期的那样在其余核心之间保持平衡?然后我猜它们可能与集群的其他工作池位于相同的核心上。说我们正在平衡主线程(事件循环)而不是“进程”不是更好吗?
说了这么多,主要问题是:
问题三:clustering好还是worker_threads好?如果两者都在同一代码中使用,那么两个库如何才能获得最佳性能?或者他们只是可以简单地发生冲突?或者最终是控制权的操作系统?
我正在使用 R 编程语言。我正在尝试在具有不平衡类(即二元响应变量比率 95% 到 5%)的非常大的数据集(超过 1 亿行)上拟合随机森林模型。为此,我编写了 R 代码:
下面,我包含了这些步骤的 R 代码:
第 1 步:为问题创建数据
# Step 1: Randomly create data and make initial training/test set:
library(dplyr)
library(ranger)
original_data = rbind( data_1 = data.frame( class = 1, height = rnorm(10000, 180,10), weight = rnorm(10000, 90,10), salary = rnorm(10000,50000,10000)), data_2 = data.frame(class = 0, height = rnorm(100, 160,10), weight = rnorm(100, …Run Code Online (Sandbox Code Playgroud) parallel-processing loops r machine-learning cluster-computing