由于RBPI(Raspberry Pi)具有非常低的功耗和非常低的生产价格,这意味着可以构建一个非常大的集群.我不确定,但是一个100000 RBPI的集群会占用很少的电力和很少的空间.
现在我认为它在FLOPS或其他类型的计算测量方面可能没有现有的超级计算机那么强大,但它能否允许更好的神经网络模拟？
我不确定是否说"1 CPU = 1神经元"是一个合理的陈述,但似乎足够有效.
那么它是否意味着这样的聚类对神经网络模拟更有效,因为它比其他经典聚类更加平行？
我是Hadoop/Hive的新手,我刚刚开始阅读文档.有很多关于在群集模式下安装Hadoop的博客.另外,我知道Hive运行在Hadoop之上.我的问题是:Hadoop安装在所有集群节点上.我是否还应该在所有群集节点上或仅在主节点上安装Hive？
我正在试图找出应该为我的应用程序使用哪种缓存并发策略(特别是实体更新).该应用程序是使用Hibernate开发的Web服务,部署在Amazon EC2集群上并在Tomcat上运行,因此没有应用程序服务器.
我知道,有非严格读写\读写和事务的可更新并且有成熟的,流行的,生产就绪2L缓存提供Hibernate数据缓存并发策略:Infinispan的,的Ehcache,Hazelcast.
但我并不完全理解Hibernate文档中的事务和读写缓存之间的区别.我认为事务缓存是集群应用程序的唯一选择,但现在(在阅读了一些主题之后),我对此并不那么确定.
所以我的问题是关于读写缓存.它是集群安全的吗？它是否保证数据库和缓存之间的数据同步以及所有连接的服务器之间的同步？或者它只适用于单服务器应用程序,我应该总是喜欢事务缓存？
例如,如果正在更新实体字段(名字等)的数据库事务失败并已回滚,那么读写缓存是否会丢弃更改,或者只是填充错误数据(更新后的名字)到所有其他节点？这需要JTA交易吗？
JBoss TreeCache的并发策略配置作为第二级Hibernate缓存主题说:
'READ_WRITE`是一个有趣的组合.在这种模式下,Hibernate本身就是一个轻量级的XA协调器,所以它不需要一个完整的外部XA.它的工作原理简短说明:
- 在这种模式下,Hibernate管理事务本身.所有数据库操作必须在事务内,自动提交模式将不起作用.
- 在flush()期间(可能在事务生存期内多次出现,但通常在提交之前发生)Hibernate会通过一个会话并搜索更新/插入/删除的对象.然后,这些对象首先保存到数据库,然后在高速缓存中锁定和更新,因此并发事务既不能更新也不能读取它们.
- 如果事务随后被回滚(显式或由于某些错误),则锁定的对象被简单地释放并从缓存中逐出,因此其他事务可以读取/更新它们.
- 如果事务成功提交,则只需释放锁定的对象,其他线程可以读/写它们.
是否有一些文档如何在集群环境中工作？
似乎事务高速缓存正常工作,但需要JTA环境与独立事务管理器(如JBossTM,Atomikos,Bitronix),XA数据源以及大量配置更改和测试.我设法部署了这个,但我的框架仍然存在一些问题.例如,Google Guice IoC不支持JTA事务,我必须用Spring替换它或将服务移动到某个应用程序服务器并使用EJB.
那么哪种方式更好？
提前致谢!
在Java EE应用程序(在Websphere上运行)中是否有任何简单的方法可以在整个集群中的应用程序范围内共享对象？某些东西可能类似于Servlet Context参数,但它在整个集群中共享.
例如,在服务器"A"和"B"的集群中,如果在服务器A上设置了值(key = value),则该值应该立即(或几乎如此)对服务器B上的请求可用.
(注意:如果可能,请避免使用分布式缓存解决方案.这实际上不是缓存方案,因为存储的对象是相当动态的)
我需要将火花应用程序/作业提交到远程火花群集.我目前在我的机器上点火,主节点的IP地址作为yarn-client.顺便说一句我的机器不在群集中.我用这个命令提交我的工作
./spark-submit --class SparkTest --deploy-mode client /home/vm/app.jar
我将我的主人的地址硬编码到表单中的应用程序中
val spark_master = spark://IP:7077
但我得到的只是错误
16/06/06 03:04:34 INFO AppClient$ClientEndpoint: Connecting to master spark://IP:7077...
16/06/06 03:04:34 WARN AppClient$ClientEndpoint: Failed to connect to master IP:7077
java.io.IOException: Failed to connect to /IP:7077
at org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:216)
at org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:167)
at org.apache.spark.rpc.netty.NettyRpcEnv.createClient(NettyRpcEnv.scala:200)
at org.apache.spark.rpc.netty.Outbox$$anon$1.call(Outbox.scala:187)
at org.apache.spark.rpc.netty.Outbox$$anon$1.call(Outbox.scala:183)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
Caused by: java.net.ConnectException: Connection refused: /IP:7077
或者如果我使用
./spark-submit --class SparkTest --master yarn --deploy-mode client /home/vm/test.jar
我明白了
Exception in thread "main" java.lang.Exception: When running with master …我目前正在使用Tomcat6作为开发和生产的Web容器.
我听说Tomcat不是生产环境中性能最佳的Web容器.这是真的？
Tomcat在性能和内存管理方面是否足以在生产环境中使用？
我们的系统拥有大约100到400个用户.
对我来说,更多的是关于如何编写Web应用程序以及Web应用程序内部的操作类型.
即使性能在一个Tomcat实例上存在问题,是否可以集群Tomcat？
谢谢.
Ruby on Rails已经支持已签名的基于cookie的会话很长一段时间了,从那时起就出现了一些加密的实现.Python和PHP也有实现.
Java servlet容器Jetty或Tomcat是否存在这样的野兽？
我们在集群环境中使用PHP实现获得了基于RDBMS的会话的显着性能提升,并且我有兴趣尝试使用我们的Java应用程序(目前使用Jetty 7)之类的东西.
我知道实现这一目标的其他方法(memcached,同步内存缓存),但我相信,对于我们的特殊需求,这种存储方法的局限性(输出前的会话终结,4K cookie大小限制后的高效存储)对于这个特定的应用程序,更简单的部署环境超过了对超级秘密服务器端密钥的依赖.
如果一个实现不存在,有没有人有任何想法,为什么它不会？(例如,Java会话通常大于4K,因此不适合这种存储方法)
我们在集群WebLogic 10.3.4环境中运行Spring 3.0.x Web应用程序(.war)和夜间@Scheduled作业.但是,当应用程序部署到每个节点时(使用AdminServer Web控制台中的部署向导),每晚在每个节点上启动作业,从而同时运行多次.
我们怎样才能防止这种情况发生？
我知道像Quartz这样的库允许通过数据库锁表来协调集群环境中的作业,或者我甚至可以自己实现类似的东西.但是,由于这似乎是一个相当普遍的情况,我想知道Spring是否还没有选择如何轻松绕过这个问题,而无需在我的项目中添加新库或进行手动解决方法.
如果有任何未解决的问题,请告诉我.我还在Spring社区论坛上提出了这个问题.非常感谢你的帮助.
我有以下托管bean:
@ApplicationScoped
public class ApplicationBean {
// ...
}
@SessionScoped
public class SessionBean implements Serializable {
@ManagedProperty("#{applicationBean}")
private ApplicationBean applicationBean;
// ...
}
这将部署到具有多个节点的服务器群集.当HTTP会话在另一个节点上序列化时会发生什么？
ApplicationBean未序列化,因为它没有实现Serializable.它会被重新注入@ManagedProperty吗？或者它会以某种方式实际序列化？
当我parallelStream()在Java 8中听到它在多个内核上进行处理并最终在单个JVM中返回结果时,我很高兴.没有更多的多线程代码行.据我所知,这仅对单个JVM有效.
但是,如果我想在单个主机甚至多个主机上的不同JVM上分发处理,该怎么办？Java 8是否包含任何用于简化它的抽象？
在dreamsyssoft.com的教程中,用户列表
private static List<User> users = Arrays.asList(
new User(1, "Steve", "Vai", 40),
new User(4, "Joe", "Smith", 32),
new User(3, "Steve", "Johnson", 57),
new User(9, "Mike", "Stevens", 18),
new User(10, "George", "Armstrong", 24),
new User(2, "Jim", "Smith", 40),
new User(8, "Chuck", "Schneider", 34),
new User(5, "Jorje", "Gonzales", 22),
new User(6, "Jane", "Michaels", 47),
new User(7, "Kim", "Berlie", 60)
);
经过处理以获得他们的平均年龄:
double average = users.parallelStream().map(u -> u.age).average().getAsDouble();
在这种情况下,它在单个主机上处理.
我的问题是:它可以使用多个主机进行处理吗？
例如,Host1 …