小编phu*_*ull的帖子

Spark作业在Hive数据库中找不到表

我在Hive的默认数据库中有一个表,并且可以在命令行中成功地从该表中获取记录:

>hive: select * from my_table;
Run Code Online (Sandbox Code Playgroud)

但是当我在Spark中创建一个作业来运行时,它只是像我这样抛出异常:

INFO metastore.HiveMetaStore: 0: get_table : db=default tbl=my_table
16/01/04 03:41:42 INFO HiveMetaStore.audit: ugi=etl     ip=unknown-ip-addr      cmd=get_table : db=default tbl=my_table
Exception in thread "main" org.apache.spark.sql.AnalysisException: no such table my_table;
Run Code Online (Sandbox Code Playgroud)

这是该工作的代码:

SparkConf conf = new SparkConf().setMaster("local").setAppName("PhucdullApp");
        JavaSparkContext sc = new JavaSparkContext(conf);
        HiveContext sqlContext = new org.apache.spark.sql.hive.HiveContext(sc.sc());
        DataFrame df = sqlContext.sql("select * from my_table");
        df.show();
        sc.close();
Run Code Online (Sandbox Code Playgroud)

hadoop hive apache-spark

6
推荐指数
1
解决办法
6977
查看次数

标签 统计

apache-spark ×1

hadoop ×1

hive ×1