想听听人们关于他们使用java集群的经验(即实现HA解决方案).又名.terracotta,JGroups等.它不一定是网络应用程序.编写自定义独立服务器的经验也很棒.
更新:我将更具体一点 - >对Web App集群不感兴趣(除非它可以拉出并独立运行).我知道它有效.但我们需要的不仅仅是会话聚类.在易于编程,支持的拓扑(即单个数据中心与WAN上),支持的节点数量方面检查解决方案.面临的问题,变通方法.目前,我正在为Terracotta和JGroups做一些POC(概念证明)工作,看看它是否值得为我们的应用程序付出努力(这是独立的,在Web容器之外).
通过数万个请求/秒,我希望看到60,000 - > +90,000个请求/秒.
我的设置包括以下内容:
用户--->网络应用 - >消息队列 - >解析器 - >数据库?
我应该提一下,解析器当前可以使用COPY解析/填充大约18750条记录/秒,所以我们在这方面受到限制,直到我们开始添加更多解析器 - 这对我来说不是一个大问题.
我有一个系统,需要能够尽可能快地批量上传尽可能多的记录.同一个系统(或者根据你如何处理它可能会有所不同)应该能够响应分析类型查询,例如:
wonq = "select sum(amount) from actions where player = '@player' and " +
"(type = 'award' or type = 'return') and hand = hand_num"
lostq = "select sum(amount) from actions where player = 'player' and " +
"type != 'award' and type != 'return' and hand = hand_num"
..... 10-15000次(PER USER),因为他们被锁定到另一张桌子.毋庸置疑,我们暂时将这些结果分页为10页/页.
我看了下面的内容:(假设这些都在同一台服务器上)
mysql(运行rdbms的运行) - 能够进入15-20万个请求/秒范围; 在当前条件下,如果我们试图扩展这一点,我们需要一个单独的主机/数据库每次我们需要扩展 - 这是不可行的
couchdb(面向文档的数据库) - 没有突破700个请求/秒; 我真的希望这会拯救我们的屁股 - 不是机会! …
我目前参与的项目中,我们/应用程序需要能够发现具有在LAN上运行的相同应用程序名称的应用程序的其他实例(以下称为节点).
先决条件:所有节点都知道自己的IP地址和TCP端口号所有节点都有一个名称所有节点都可以访问局域网
我需要的:
所有节点都需要知道每个其他节点的IP地址和TCP端口.如果节点出现故障,我将不得不以编程方式通知此情况.如果出现新节点,我将不得不以编程方式通知此情况.它的基本原理是不需要主服务器或其他应用程序,它必须是我可以集成到当前应用程序中的API.此外,它必须是开源的,并且最好是许可的MIT或ApacheV2.
就这样!
该应用程序是基于JVM的,因此任何API都可以.我一直在看ZooKeeper,但它似乎是我们需要的小功能的一个很大的依赖.
并且,如果你不知道任何API,但是有一些很好的链接可以分享如何通过自己编写来实现这一点(白皮书,博客,书籍等等),我会非常乐意接受这样的事情.
所以问题是,我该怎么做?
你能帮我理解Linux HA吗?
linux high-availability reliability cluster-computing heartbeat
我想创建一个总是由唯一键访问的大表(大约450亿行).
在DB之外,保存它的最佳结构是Dictionary或HashSet,但当然由于数据的大小,不可能在数据库之外执行此操作.
SQL Server是否提供针对键值访问进行了优化的结构?我知道群集密钥非常快,但它仍然是一个索引,因此会有一些额外的磁盘读取与遍历索引页面相关联.我想从SQL Server获得的是一个"本机"结构,它将数据存储为键值对,然后可以根据键访问值.
换句话说,我的问题是如何在SQL Server中存储450亿行并有效地访问它们而不具有索引,群集或非群集,因为读取索引非叶页可能会导致大量IO,并且因为每个值都可以通过唯一键访问,应该可以具有一种结构,其中键的散列解析为值的物理位置.要获得1个值,我们需要进行1次读取(除非存在哈希冲突).
(Oracle中的等价物是Hash Cluster)
谢谢你的帮助.
我熟悉matlabpool和parfor使用,但我仍然需要加快计算速度.
我的1GB网络中有一台功能更强大的电脑.两台计算机都有R2010b,并且具有相同的代码和路径.
使用两台计算机进行并行计算的最简单方法是什么?
我今天使用的代码示例:
--- main.m ---
matlabpool('open', 3);
% ...
x = randn(1e5,1);
y = nan(size(x));
parfor k = 1 : length(x)
y(k) = myfunc(x(k));
end
Run Code Online (Sandbox Code Playgroud)
--- myfunc.m ---
function y = myfunc(x)
y = x; % some computation
return
Run Code Online (Sandbox Code Playgroud) 我有一个包含多个实例的Quartz设置,我想在任何执行的地方中断作业.正如文档中所述,Scheduler.interrupt()方法不是群集感知的,所以我正在寻找一些克服这种限制的常见做法.
如何从我的Ubuntu运行3个cassandra节点(实际上是一个集群)?我不想创建3个VMWare/VirtualBox实例,而是配置每个cassandra节点以侦听不同的端口.这可能是一个cassandra安装?
我想到的解决方案是安装3个本地cassandra并独立配置每个cassandra.yaml但实际上我更愿意通过我安装的cassandra配置文件来实现.
显然,我需要这样的配置仅用于测试目的.
我正在开发预定服务。
该应用程序是使用 JDK 1.6、Spring Framework 2.5.6 和 Quartz 1.8.4 开发来调度作业的。
我有两个带有 WebLogic Server 10.3.5 的集群服务器。
有时似乎石英的调度变得疯狂。分析它发生的条件,集群服务器之间似乎有一个大于一秒的时钟“不同步”。然而,这种不同步并不总是由于服务器的系统时间,有时看起来即使机器的时钟同步,JVM也会引入一点“延迟”。
有没有人遇到过同样的问题?有办法解决吗?
提前致谢
我想知道数据库集群和数据库分区之间有什么不同?据我所知,有两种类型称为属性或记录聚类,有时称为分区,有时称为分段(我知道分区=碎片但是什么是聚类).数据库中的群集和分区有什么不同吗?非常感谢艾哈姆