如何增加Apache spark executor节点的可用内存？
我有一个2 GB的文件,适合加载到Apache Spark.我正在1台机器上运行apache spark,所以驱动程序和执行程序在同一台机器上.该机器有8 GB的内存.
当我在设置要在内存中缓存的文件后尝试计算文件的行时,我得到以下错误:
2014-10-25 22:25:12 WARN CacheManager:71 - Not enough space to cache partition rdd_1_1 in memory! Free memory is 278099801 bytes.
我看了看文档,这里并设置spark.executor.memory到4g在$SPARK_HOME/conf/spark-defaults.conf
UI显示此变量在Spark环境中设置.你可以在这里找到截图
但是,当我转到Executor选项卡时,我的单个Executor的内存限制仍然设置为265.4 MB.我还是得到了同样的错误.
我尝试了这里提到的各种各样的东西,但我仍然得到错误,并且不清楚我应该在哪里更改设置.
我正在从spark-shell以交互方式运行我的代码
什么是目前用Java做zip64的最佳库？我需要压缩和解压缩大于4 GB的文件/目录.
我读到Java 7支持zip64.但我想如果我为Java 7开发,这只适用于安装了应用程序的所有计算机都有Java 7 JRE的情况？它是否正确？
目前我正在使用http://sourceforge.net/projects/zip64file/.但在这里我想知道这仍然是最好的选择吗？我想有一个支持压缩目录的库.现在我必须自己遍历目录结构.
我有一个包含持久性单元的Java Web应用程序.在此持久性单元中,我可以选择现有数据源或创建新数据源.当我在glassfish服务器上构建运行此Web应用程序时,数据源是在glassfish服务器中构建的.还会创建一个连接池.
我可以删除glassfish服务器上的数据源和/或连接池.这不会从Netbeans IDE中删除数据源.当我再次运行Web应用程序时,将重新创建数据源和连接池.
如何删除netbeans IDE中的数据源和连接池？我无法在任何地方找到此功能.
我想删除现有的数据源和连接池,因为我遇到了新的数据源/连接池问题.为了确保在数据源/连接池之间没有发生混淆,我想删除我不再使用的旧版本.
是否有一个公共maven存储库,我或其他人可以放置HDF java和HDF C++库？我没有maven存储库,我不想为这些第三方库自己设置一个.更多人必须使用HDF库并希望将它们用作maven项目的一部分.
http://www.hdfgroup.org/hdf-java-html/
甚至可以将原生c ++库(*.so文件)放入maven存储库中吗？或者还有另一种方法可以将它们放入netbeans中的maven项目中吗？
最后,我想组装(Maven Assembly Plugin)我所做的工具(特定HDF格式的转换器)到一个jar文件中,这样就可以很容易地分发工具了.它还可以让其他人更容易处理我的工具的源代码,并让他们构建自己的版本.
该工具是针对HDF java库编程的,这些java库需要HDF c ++库在javaPath上.
执行第三方c ++程序时,我收到以下错误:
加载共享库时出错:libgomp.so.1:无法打开共享对象文件:没有这样的文件或目录
libgomp.so.1库是GNU编译器集合OpenMP运行时库.
这是GCC包的一部分吗？我可以在一个使用gcc-4.5的系统上运行该程序,但不能在gcc-4.3或gcc-4.6的系统上运行.
或者我需要安装另一个包吗？
我尝试通过下载库并将其放在LD_LIBRARY_PATH上在gcc-4.3系统上手动修复此问题,但后来我得到了另一个丢失的库:/usr/lib/libstdc++.so.6:版本`GLIBCXX_3.4.11'没有发现.libstdc是GNU标准C++库,所以这也表明GCC的版本错误？
我不是C++开发人员,所以我不完全知道这些库是什么以及库如何与C++代码一起工作.
os是linux 64位.
gcc-4.3机器:openSUSE 11.1
gcc-4.5机器:openSUSE 11.4(在这台机器上程序可以工作)
gcc-4.6机器:openSUSE 12.1
如何创建一个apache commons 3.1 Range对象？
java文档说:
" 从最小点到最大点的不可变对象范围. "
" 对象需要是Comparable的实现,或者你需要提供Comparator. "
但是当我尝试:
Range<Integer> range = new Range<Integer>(100, 200);
我的IDE中出现错误,指出所需的参数是Integer,Integer,comparator.
尽管Integer实现了Comparable接口,因此我不需要额外的比较器.
有人能举例说明如何构建一个apache commons 3.1 Range对象吗？
我从github克隆了一个项目，现在在IntelliJ中将其作为项目打开。该项目是用Scala编写的。
该项目取决于在github上另一个项目中的avro模式中定义的某些对象。avro模式是单个* .avdl文件。
如何在IntelliJ的项目中加载avro * .advl模式/文件？
这样，在其余项目中就可以知道在Avro模式中定义的对象类型。
IntelliJ是否可以识别avro * .advl文件？我是否需要通过avro advl文件生成Scala / Java类？然后加载这些类？
可以说我在Scala中有一个数字列表.
100
计算100每个bin的整数数量的最佳方法是什么.
因此,对于上面的列表,结果将是以下映射:
val numbers = List(15, 30, 110, 140, 170, 210)