当应用程序分布在多个JVMS上时,我的一吨类将在每个JVM上具有多个实例。为此,我必须生成一个唯一ID,我必须使用单例模式类。在独立环境中运行正常。如何在分布式环境中制作Singleton模式,以便我们只能使用一个实例?
编辑:对于我的应用程序,我需要创建像
如果名称类似于Pavan Kumar,则用户ID应为pavankumar;如果在系统中已经存在该用户ID,则该用户ID应类似于pavankumar1,pavankumar2等。
如果在不同的服务器上遇到多个具有相同名称的用户的请求,则可能会导致ID重复。为此,我想在分布式环境中使用单例。
java singleton cluster-computing distributed-objects java-ee
我在ec2上有6个节点的cassandra集群,很多时候我发现集群中的所有节点都已启动并运行,但是当我从客户端执行描述集群时,它会显示一些节点无法访问.
我可以登录个人机器
可以使用cassandra客户端连接到cassandra节点
可以使用JMX连接到各个节点.
如果在Java中序列化对象并将其(通过套接字)发送到集群中的节点,您是否自动获得线程安全性?
假设您有一个集群,每个节点都有几个核心.服务器有一个Java对象,它希望将其发送到每个要处理的集群上的每个核心.它序列化该对象并将其发送给每个接收器.
通过序列化,该对象是否会自动"深度复制"并且您是否自动获得该对象的线程安全性?您不会在群集上的各个节点之间获得任何并发问题,因为它们无法访问内存中的相同位置...但节点上的核心之间又如何呢?
我试图在tomcat上的liferay中启用会话复制而没有太多运气.我已经编写了一个小测试,以查看是否正在复制会话,并且它在我在webapps/examples下放置的单独JSP文件中运行良好,但是当我在liferay-porlet中输入相同的代码时,只有JSESSION是正确的.
HttpSession httpSession = request.getSession();
String testTime = (String) httpSession.getAttribute("testTime");
String before = testTime;
testTime = Long.toString(System.currentTimeMillis());
httpSession.setAttribute("testTime", testTime);
String sessionid = httpSession.getId();
System.out.println("JSESSIONID: "+sessionid);
System.out.println("TEST TIME WAS: "+before);
System.out.println("TEST TIME IS: "+testTime);
Run Code Online (Sandbox Code Playgroud)
任何人都知道为什么它不能在liferay-portlet中工作?我已将distributable添加到portlet/WEB-INF/web.xml
编辑1:版本
liferay 6.1.1
Tomcat 7.0.47
Run Code Online (Sandbox Code Playgroud)
编辑2:我尝试了另一个测试.
HttpSession httpSession = request.getSession();
String testTime = (String) httpSession.getAttribute("testTime");
String before = testTime;
if(testTime == null) {
testTime = Long.toString(System.currentTimeMillis());
httpSession.setAttribute("testTime", testTime);
}
String sessionid = httpSession.getId();
System.out.println("JSESSIONID: "+sessionid);
System.out.println("TEST TIME WAS: "+before);
System.out.println("TEST TIME IS: "+testTime);
Run Code Online (Sandbox Code Playgroud)
这次我只设置变量null.它在liferay之外的JSP中可以正常工作,但在liferay中它就像这样.
我的理解是:
种子节点维护集群中的所有节点列表.假设我们必须向集群添加新节点,我们必须在种子服务器的种子列表中输入新节点名称,然后新节点将成为环的一部分.
我假设我们不必在对等节点中提及有关种子服务器的任何事情.
如果我的理解不正确,请纠正我
我读了一些"种子节点"中的失败不会导致任何问题.让我们说如果种子节点崩溃了如何保持环信息?
我想聚类一个数据集(600000个观测值),对于每个集群,我想获得主要组件.我的载体由一个电子邮件和30个定性变量组成.每个定量变量有4个类:0,1,2和3.
所以我要做的第一件事是加载库FactoMineR并加载我的数据:
library(FactoMineR)
mydata = read.csv("/home/tom/Desktop/ACM/acm.csv")
Run Code Online (Sandbox Code Playgroud)
然后我将我的变量设置为定性(虽然我不包括变量'email'):
for(n in 1:length(mydata)){mydata[[n]] <- factor(mydata[[n]])}
Run Code Online (Sandbox Code Playgroud)
我正在从我的向量中删除电子邮件:
mydata2 = mydata[2:31]
Run Code Online (Sandbox Code Playgroud)
我正在这个新数据集中运行MCA:
mca.res <- MCA(mydata2)
Run Code Online (Sandbox Code Playgroud)
我现在想要使用hcpc函数对我的数据集进行聚类:
res.hcpc <- HCPC(mca.res)
Run Code Online (Sandbox Code Playgroud)
但是我收到以下错误消息:
Error: cannot allocate vector of size 1296.0 Gb
Run Code Online (Sandbox Code Playgroud)
你觉得我应该怎么做?我的数据集太大了吗?我用的是hcpc功能吗?
我正在努力向SGE提交工作.它过去一直以同样的方式为我工作.相反,所有工作都停留在qw状态.
"qstat -g c"输出:
> CLUSTER QUEUE CQLOAD USED AVAIL TOTAL
> all.q 0.38 0 160 1920
> gpu6.q -NA- 0 0 4
> par6.q 0.38 750 135 1800
> seq6.q 0.41 103 170 416
> smp3.q 1.01 0 0 96
Run Code Online (Sandbox Code Playgroud)
"qstat"输出看起来总是如此.
谷歌搜索只给了我一些根本访问权限的提示,这是我没有的.有人建议吗?
谢谢.
编辑:作业通过"qsub -q seq6.q scriptname"或smp3.q或par6.q提交.
就我所见,"qstat -j jobid"并没有什么特别之处:
job_number: 2821318
exec_file: job_scripts/2821318
submission_time: Wed Mar 4 12:07:15 2015
owner: username
uid: 31519
group: dch
gid: 1150
sge_o_home: /home/hudson/pg/username
sge_o_log_name: username
sge_o_path: /gpfs/hamilton6/apps/intel_comp_2014/composer_xe_2013_sp1.2.144/bin/intel64:/usr/local/bin:/bin:/usr/bin:/usr/lpp/mmfs/bin:/usr/local/Cluster-Apps/sge/6.1u6/bin/lx24-amd64:/panfs/panasas1.hpc.dur.ac.uk/apps/nag/fll6a21dpl/scripts
sge_o_shell: /bin/tcsh
sge_o_workdir: /panfs/panasas1.hpc.dur.ac.uk/username/path
sge_o_host: …Run Code Online (Sandbox Code Playgroud) 在我的nginx中,我设置了上游和设置粘性会话:
upstream tomcat {
ip_hash;
server localhost:XXXX;
server localhost:XXXY;
server localhost:XXYY;
}
Run Code Online (Sandbox Code Playgroud)
我<distributable/>在我的web.xml中添加了标签(在所有的tomcats中)
在我的tomcat/conf/server.xml文件中添加了这个:
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"
channelSendOptions="6">
<Channel className="org.apache.catalina.tribes.group.GroupChannel">
<Membership className="org.apache.catalina.tribes.membership.McastService"
address="228.0.0.4"
port="45564"
frequency="500"
dropTime="3000"/>
<Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
address="auto"
port="5000"
selectorTimeout="100"
maxThreads="6"/>
<Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
<Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
</Sender>
<Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
<Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
<Interceptor className="org.apache.catalina.tribes.group.interceptors.ThroughputInterceptor"/>
</Channel>
<Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
filter=".*\.gif|.*\.js|.*\.jpeg|.*\.jpg|.*\.png|.*\.htm|.*\.html|.*\.css|.*\.txt"/>
<Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"
tempDir="/tmp/war-temp/"
deployDir="/tmp/war-deploy/"
watchDir="/tmp/war-listen/"
watchEnabled="false"/>
<ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
</Cluster>
Run Code Online (Sandbox Code Playgroud)
在我的tomcat/conf/context.xml中添加了这个:
<Manager className="org.apache.catalina.ha.session.BackupManager"
expireSessionsOnShutdown="false"
notifyListenersOnReplication="true"
mapSendOptions="6"/>
Run Code Online (Sandbox Code Playgroud)
但现在我可以登录我的应用程序了.如果所有3个或任何2个实例都启动并且我登录,我会看到JSESSIONID e..g xyz234.tomcat1
现在,如果我关闭tomcat1,它将带我回到登录页面,因为tomcat1已关闭.我再次登录,它创建了与tomcat2相关的会话,同时,我再次启动tomcat1,我的应用程序将带我回到登录页面.所以,我面临两个问题:
注意:我使用的是JSF2应用程序,因此不确定它是否与它有任何关系.
tomcat session-replication load-balancing nginx cluster-computing
我正在使用Apache Curator框架来创建由ZK管理的集群.
当群集中的某个节点突然失去与ZK的连接时,它会尝试每5秒重新连接一次.我正在使用RetryForever具有指定时间的策略.
虽然sessionTimeout/connectionTimeout没有完全消失,但我们仍在尝试重新连接.
但即使我们在这段时间内提出了ZK并获得了与它的连接,我们仍然在日志中收到奇怪的消息:
11月30日星期四20:47:51.574 GMT 2017 | 信息| org.apache.zookeeper.ClientCnxn $ SendThread | 建立到zk_1.default/138.122.177.23:2181的套接字连接,启动会话|客户端详细信息{sessionTag:{}} | 本地主机 - startStop -1- SendThread(zk_1.default:2181)
11月30日星期四20:47:51.592 GMT 2017 | 信息| org.apache.zookeeper.ClientCnxn $ SendThread | 无法从服务器sessionid 0x1600ea13dcd0000读取其他数据,可能服务器已关闭套接字,关闭套接字连接并尝试重新连接|客户端详细信息{sessionTag:{}} | 本地主机 - startStop -1- SendThread(zk_1.default:2181)
为什么我们仍然收到这些消息,无法完全连接到新出现的ZK节点?
PS:
1)一点点后来我发现,这个错误意味着ZK已用完maxClientCnxns(以ZK)参数最大连接数,但我还没有找到如何使用馆长...只有在测试中,它的配置...
2)在ZK服务器端,我看到以下错误:
2017-12-04 15:48:29,972 [myid:] - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory @ 192] - 接受来自/192.168.107.4:37130 2017-12-的套接字连接04 15:48:29,974 [myid:] - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:ZooKeeperServer @ 915] - 拒绝客户端/138.122.177.23:37130的会话请求,因为它看到了zxid 0xd我们的最后zxid是0x0客户端必须尝试另一台服务器
我一直在尝试使用Docker Swarm并研究其他解决方案,例如Kubernetes,但我无法弄清楚什么对我的用例最好,我可以使用专家的帮助,所以非常欢迎您的意见.
我对我想要构建的云有一些要求,它(显然)应尽可能便宜,简单和可靠:
请记住,我没有运行很多服务(只有10-20),但我确实需要生产质量和高可用性.
此外,我更喜欢运行通常不在容器中运行的东西,无论如何在容器生态系统中具有更大的灵活性,并在主机自动失败时重新启动它们.
我已经考虑过的事情:
cluster-computing production-environment docker kubernetes docker-swarm
cassandra ×2
java ×2
acm ×1
amazon-ec2 ×1
apache ×1
bigdata ×1
cloud ×1
concurrency ×1
docker ×1
docker-swarm ×1
java-ee ×1
jmx ×1
kubernetes ×1
liferay ×1
nginx ×1
nosql ×1
queue ×1
r ×1
reachability ×1
singleton ×1
solr ×1
tomcat ×1