标签: cluster-computing

如何在分布式环境中处理Singleton类

当应用程序分布在多个JVMS上时,我的一吨类将在每个JVM上具有多个实例。为此,我必须生成一个唯一ID,我必须使用单例模式类。在独立环境中运行正常。如何在分布式环境中制作Singleton模式,以便我们只能使用一个实例?

编辑:对于我的应用程序,我需要创建像

如果名称类似于Pavan Kumar,则用户ID应为pavankumar;如果在系统中已经存在该用户ID,则该用户ID应类似于pavankumar1,pavankumar2等。

如果在不同的服务器上遇到多个具有相同名称的用户的请求,则可能会导致ID重复。为此,我想在分布式环境中使用单例。

java singleton cluster-computing distributed-objects java-ee

5
推荐指数
1
解决办法
7251
查看次数

即使所有节点都已启动并运行,群集中的某些cassandra节点也无法访问

我在ec2上有6个节点的cassandra集群,很多时候我发现集群中的所有节点都已启动并运行,但是当我从客户端执行描述集群时,它会显示一些节点无法访问.

  1. 我可以登录个人机器

  2. 可以使用cassandra客户端连接到cassandra节点

  3. 可以使用JMX连接到各个节点.

jmx cluster-computing amazon-ec2 cassandra reachability

5
推荐指数
1
解决办法
1185
查看次数

在java中序列化:自动线程安全?

如果在Java中序列化对象并将其(通过套接字)发送到集群中的节点,您是否自动获得线程安全性?

假设您有一个集群,每个节点都有几个核心.服务器有一个Java对象,它希望将其发送到每个要处理的集群上的每个核心.它序列化该对象并将其发送给每个接收器.

通过序列化,该对象是否会自动"深度复制"并且您是否自动获得该对象的线程安全性?您不会在群集上的各个节点之间获得任何并发问题,因为它们无法访问内存中的相同位置...但节点上的核心之间又如何呢?

java concurrency serialization cluster-computing

5
推荐指数
1
解决办法
2970
查看次数

Liferay集群会话复制

我试图在tomcat上的liferay中启用会话复制而没有太多运气.我已经编写了一个小测试,以查看是否正在复制会话,并且它在我在webapps/examples下放置的单独JSP文件中运行良好,但是当我在liferay-porlet中输入相同的代码时,只有JSESSION是正确的.

   HttpSession httpSession = request.getSession();
   String testTime = (String) httpSession.getAttribute("testTime");
   String before = testTime;

   testTime = Long.toString(System.currentTimeMillis());
   httpSession.setAttribute("testTime", testTime);

   String sessionid = httpSession.getId();
   System.out.println("JSESSIONID:    "+sessionid);
   System.out.println("TEST TIME WAS: "+before);
   System.out.println("TEST TIME IS:  "+testTime);
Run Code Online (Sandbox Code Playgroud)

任何人都知道为什么它不能在liferay-portlet中工作?我已将distributable添加到portlet/WEB-INF/web.xml

编辑1:版本

liferay 6.1.1
Tomcat 7.0.47
Run Code Online (Sandbox Code Playgroud)

编辑2:我尝试了另一个测试.

   HttpSession httpSession = request.getSession();
   String testTime = (String) httpSession.getAttribute("testTime");
   String before = testTime;

   if(testTime == null) {
       testTime = Long.toString(System.currentTimeMillis());
       httpSession.setAttribute("testTime", testTime);
   }

   String sessionid = httpSession.getId();
   System.out.println("JSESSIONID:    "+sessionid);
   System.out.println("TEST TIME WAS: "+before);
   System.out.println("TEST TIME IS:  "+testTime);
Run Code Online (Sandbox Code Playgroud)

这次我只设置变量null.它在liferay之外的JSP中可以正常工作,但在liferay中它就像这样.

  1. 获取请求的第一个服务器获取null结束设置变量
  2. 当其他服务器获取请求时,它也会变为null并设置变量 …

session-replication cluster-computing liferay

5
推荐指数
1
解决办法
2709
查看次数

种子节点如何在Cassandra集群中工作

我的理解是:

种子节点维护集群中的所有节点列表.假设我们必须向集群添加新节点,我们必须在种子服务器的种子列表中输入新节点名称,然后新节点将成为环的一部分.

我假设我们不必在对等节点中提及有关种子服务器的任何事情.

如果我的理解不正确,请纠正我

我读了一些"种子节点"中的失败不会导致任何问题.让我们说如果种子节点崩溃了如何保持环信息?

cloud cluster-computing cassandra nosql

5
推荐指数
2
解决办法
8449
查看次数

R,在多重对应分析之后发生分层聚类

我想聚类一个数据集(600000个观测值),对于每个集群,我想获得主要组件.我的载体由一个电子邮件和30个定性变量组成.每个定量变量有4个类:0,1,2和3.

所以我要做的第一件事是加载库FactoMineR并加载我的数据:

library(FactoMineR)
mydata = read.csv("/home/tom/Desktop/ACM/acm.csv")
Run Code Online (Sandbox Code Playgroud)

然后我将我的变量设置为定性(虽然我不包括变量'email'):

for(n in 1:length(mydata)){mydata[[n]] <- factor(mydata[[n]])}
Run Code Online (Sandbox Code Playgroud)

我正在从我的向量中删除电子邮件:

mydata2 = mydata[2:31]
Run Code Online (Sandbox Code Playgroud)

我正在这个新数据集中运行MCA:

mca.res <- MCA(mydata2)
Run Code Online (Sandbox Code Playgroud)

我现在想要使用hcpc函数对我的数据集进行聚类:

res.hcpc <- HCPC(mca.res)
Run Code Online (Sandbox Code Playgroud)

但是我收到以下错误消息:

Error: cannot allocate vector of size 1296.0 Gb
Run Code Online (Sandbox Code Playgroud)

你觉得我应该怎么做?我的数据集太大了吗?我用的是hcpc功能吗?

r cluster-computing acm bigdata

5
推荐指数
2
解决办法
2418
查看次数

SGE:乔布斯陷入了qw状态

我正在努力向SGE提交工作.它过去一直以同样的方式为我工作.相反,所有工作都停留在qw状态.

"qstat -g c"输出:

> CLUSTER QUEUE   CQLOAD   USED  AVAIL  TOTAL
> all.q           0.38      0    160   1920   
> gpu6.q          -NA-      0      0      4    
> par6.q          0.38    750    135   1800      
> seq6.q          0.41    103    170    416   
> smp3.q          1.01      0      0     96  
Run Code Online (Sandbox Code Playgroud)

"qstat"输出看起来总是如此.

谷歌搜索只给了我一些根本访问权限的提示,这是我没有的.有人建议吗?

谢谢.

编辑:作业通过"qsub -q seq6.q scriptname"或smp3.q或par6.q提交.

就我所见,"qstat -j jobid"并没有什么特别之处:

job_number:                 2821318
exec_file:                  job_scripts/2821318
submission_time:            Wed Mar  4 12:07:15 2015
owner:                      username
uid:                        31519
group:                      dch
gid:                        1150
sge_o_home:                 /home/hudson/pg/username
sge_o_log_name:             username
sge_o_path:                 /gpfs/hamilton6/apps/intel_comp_2014/composer_xe_2013_sp1.2.144/bin/intel64:/usr/local/bin:/bin:/usr/bin:/usr/lpp/mmfs/bin:/usr/local/Cluster-Apps/sge/6.1u6/bin/lx24-amd64:/panfs/panasas1.hpc.dur.ac.uk/apps/nag/fll6a21dpl/scripts
sge_o_shell:                /bin/tcsh
sge_o_workdir:              /panfs/panasas1.hpc.dur.ac.uk/username/path
sge_o_host: …
Run Code Online (Sandbox Code Playgroud)

queue cluster-computing sungridengine

5
推荐指数
1
解决办法
6100
查看次数

会话复制不能与tomcat7一起使用

在我的nginx中,我设置了上游和设置粘性会话:

upstream tomcat {
      ip_hash;
      server localhost:XXXX;
      server localhost:XXXY;
      server localhost:XXYY;
}
Run Code Online (Sandbox Code Playgroud)

我<distributable/>在我的web.xml中添加了标签(在所有的tomcats中)

在我的tomcat/conf/server.xml文件中添加了这个:

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"
                 channelSendOptions="6">
          <Channel className="org.apache.catalina.tribes.group.GroupChannel">
            <Membership className="org.apache.catalina.tribes.membership.McastService"
                        address="228.0.0.4"
                        port="45564"
                        frequency="500"
                        dropTime="3000"/>
            <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
                      address="auto"
                      port="5000"
                      selectorTimeout="100"
                      maxThreads="6"/>

            <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
              <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
            </Sender>
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.ThroughputInterceptor"/>
          </Channel>

          <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
                 filter=".*\.gif|.*\.js|.*\.jpeg|.*\.jpg|.*\.png|.*\.htm|.*\.html|.*\.css|.*\.txt"/>

          <Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"
                    tempDir="/tmp/war-temp/"
                    deployDir="/tmp/war-deploy/"
                    watchDir="/tmp/war-listen/"
                    watchEnabled="false"/>

          <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
        </Cluster>
Run Code Online (Sandbox Code Playgroud)

在我的tomcat/conf/context.xml中添加了这个:

<Manager className="org.apache.catalina.ha.session.BackupManager"
                   expireSessionsOnShutdown="false"
                   notifyListenersOnReplication="true"
                   mapSendOptions="6"/>
Run Code Online (Sandbox Code Playgroud)

但现在我可以登录我的应用程序了.如果所有3个或任何2个实例都启动并且我登录,我会看到JSESSIONID e..g xyz234.tomcat1

现在,如果我关闭tomcat1,它将带我回到登录页面,因为tomcat1已关闭.我再次登录,它创建了与tomcat2相关的会话,同时,我再次启动tomcat1,我的应用程序将带我回到登录页面.所以,我面临两个问题:

  1. 我想保持登录,即使我的tomcat(召开会话)中的任何一个都下降了.
  2. 如果那个tomcat再次出现,我仍然应该保持警惕.

注意:我使用的是JSF2应用程序,因此不确定它是否与它有任何关系.

tomcat session-replication load-balancing nginx cluster-computing

5
推荐指数
0
解决办法
837
查看次数

策展人的重试尝试时,从ZooKeeper处理EndOfStreamException?

我正在使用Apache Curator框架来创建由ZK管理的集群.

当群集中的某个节点突然失去与ZK的连接时,它会尝试每5秒重新连接一次.我正在使用RetryForever具有指定时间的策略.

虽然sessionTimeout/connectionTimeout没有完全消失,但我们仍在尝试重新连接.

但即使我们在这段时间内提出了ZK并获得了与它的连接,我们仍然在日志中收到奇怪的消息:

11月30日星期四20:47:51.574 GMT 2017 | 信息| org.apache.zookeeper.ClientCnxn $ SendThread | 建立到zk_1.default/138.122.177.23:2181的套接字连接,启动会话|客户端详细信息{sessionTag:{}} | 本地主机 - startStop -1- SendThread(zk_1.default:2181)

11月30日星期四20:47:51.592 GMT 2017 | 信息| org.apache.zookeeper.ClientCnxn $ SendThread | 无法从服务器sessionid 0x1600ea13dcd0000读取其他数据,可能服务器已关闭套接字,关闭套接字连接并尝试重新连接|客户端详细信息{sessionTag:{}} | 本地主机 - startStop -1- SendThread(zk_1.default:2181)

为什么我们仍然收到这些消息,无法完全连接到新出现的ZK节点?

PS:

1)一点点后来我发现,这个错误意味着ZK已用完maxClientCnxns(以ZK)参数最大连接数,但我还没有找到如何使用馆长...只有在测试中,它的配置...

2)在ZK服务器端,我看到以下错误:

2017-12-04 15:48:29,972 [myid:] - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory @ 192] - 接受来自/192.168.107.4:37130 2017-12-的套接字连接04 15:48:29,974 [myid:] - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:ZooKeeperServer @ 915] - 拒绝客户端/138.122.177.23:37130的会话请求,因为它看到了zxid 0xd我们的最后zxid是0x0客户端必须尝试另一台服务器

apache solr cluster-computing apache-curator

5
推荐指数
1
解决办法
735
查看次数

为我的用例比较HA群集平台

我一直在尝试使用Docker Swarm并研究其他解决方案,例如Kubernetes,但我无法弄清楚什么对我的用例最好,我可以使用专家的帮助,所以非常欢迎您的意见.

我对我想要构建的云有一些要求,它(显然)应尽可能便宜,简单和可靠:

  • 托管无状态容器,例如Web容器,具有带自动HTTPS的生产质量负载均衡器(Let's Encrypt)
  • 主机有状态容器,例如MySQL,都采用非集群方式(所以:我只有一个副本(因为我不需要在那里进行扩展),但如果该服务器出现故障,那么如果容器移动到另一个容器会很好自动托管,无数据丢失)和集群方式(例如Galeria).
    • 这些数据库需要快速存储,因此最好它们首先在本地存储它们的东西,当它们移动时,卷随它们移动.
  • 使用开源解决方案可能的最快的diskpeed自动共享主机之间的卷.
  • 最好留在我当前的数据中心,在那里我托管我的VPS(我有三个,连接10GBit链接)在SSD存储上
    • 说明:我想留在我当前的数据中心,因为我喜欢他们的支持,他们有简单的自动(非信用卡,因为我经营荷兰公司)付款,他们是负担得起的,他们有很好的认证(如ISO 27001 :2013年,PCI DSS,ISO 9001:2008,NEN 7510等).
    • 您可能会建议迁移到Azure,AWS或GCP,但我不愿意.
    • 我不介意建立我自己的集群,只要它可以单独使用(相对)生产质量.

请记住,我没有运行很多服务(只有10-20),但我确实需要生产质量和高可用性.

此外,我更喜欢运行通常不在容器中运行的东西,无论如何在容器生态系统中具有更大的灵活性,并在主机自动失败时重新启动它们.


我已经考虑过的事情:

  • 使用Traefik和Gluster运行Docker Swarm:Traefik似乎稳定(大部分时间),自动获取证书,Gluster可以轻松地用于共享卷.但是:没有支持的生产质量Gluster卷驱动程序,因此我必须使用绑定挂载,并且我遇到权限问题.
  • 使用一些入口控制器运行Kubernetes(例如cert-manager,但那不是用于生产,或Traefik或Voyager?)和用于存储卷的Gluster系统,但Kubernetes似乎过于复杂.
  • 无论如何都要去AWS或GCP,但他们的定价令人困惑,他们用信用卡付款.
  • 使用像Flynn这样的东西,因为我只有Web应用程序,Heroku样式系统看起来很有趣,但它们在稳定版本中仍然没有HTTPS支持:https://github.com/flynn/flynn/issues/1995

cluster-computing production-environment docker kubernetes docker-swarm

5
推荐指数
1
解决办法
106
查看次数