小编cht*_*tlp的帖子

使用--jars选项时,Spark会抛出ClassNotFoundException

我试图遵循这里描述的Spark独立应用程序示例 https://spark.apache.org/docs/latest/quick-start.html#standalone-applications

该示例在以下调用中运行良好:

spark-submit  --class "SimpleApp" --master local[4] target/scala-2.10/simple-project_2.10-1.0.jar
Run Code Online (Sandbox Code Playgroud)

但是,当我尝试通过引入一些第三方库时--jars,它会抛出ClassNotFoundException.

$ spark-submit --jars /home/linpengt/workspace/scala-learn/spark-analysis/target/pack/lib/* \
  --class "SimpleApp" --master local[4] target/scala-2.10/simple-project_2.10-1.0.jar

Spark assembly has been built with Hive, including Datanucleus jars on classpath
Exception in thread "main" java.lang.ClassNotFoundException: SimpleApp
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:247)
    at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:300)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Run Code Online (Sandbox Code Playgroud)

删除--jars选项和程序再次运行(我实际上还没有开始使用这些库).这有什么问题?我该如何添加外部罐子?

apache-spark

18
推荐指数
1
解决办法
2万
查看次数

Emacs ansi-term最大缓冲区大小?

我喜欢使用Emacs ansi-term模式运行shell程序,但我想知道如何在ansi-term模式下设置最大缓冲区大小,所以即使有很多行,我也不会丢失命令历史记录?(谷歌似乎没有给出明显的答案.)

emacs ansi-term

11
推荐指数
1
解决办法
1788
查看次数

铸造对的g ++警告选项?

我刚刚发现,C++不给出任何警告,从铸造pair<double, int>pair<int, int>,这是一个有点令人惊讶.这是我的计划test_pair.cpp:

#include <vector>
#include <utility>
using namespace std;


int main()
{
    std::vector<pair<int, int> > v;
    pair<double, int> p = make_pair(3.8, 3);
    v.push_back(p);                                                           
}
Run Code Online (Sandbox Code Playgroud)

我使用编译它g++ test_type.cpp -Wall -Wconversion,但仍然没有生成警告.我正在使用g ++ v4.6.1.任何人都知道如何让g ++为此生成警告,或者它无法完成?

c++ g++

8
推荐指数
1
解决办法
180
查看次数

获取bokeh应用程序的URL参数

嗨,我正在开发bokeh应用程序以执行一些分析。我想从服务器获取URL参数,以便可以决定在应用程序中呈现哪些数据。

目前,我可以http://127.0.0.1:5006/bokeh/videos/?hello=1使用以下配置来路由URL ,但是有什么方法可以{'hello':'1'}从应用程序中获取GET参数?

@bokeh_app.route("/bokeh/analysis/")
@object_page("analysis")
def make_analysis():
    app = AnalysisApp.create()
    return app
Run Code Online (Sandbox Code Playgroud)

python bokeh

4
推荐指数
2
解决办法
1519
查看次数

标签 统计

ansi-term ×1

apache-spark ×1

bokeh ×1

c++ ×1

emacs ×1

g++ ×1

python ×1