使用sqlContext,我们可以像这样注册一个UDF:sqlContext.udf.register("sample_fn", sample_fn _ )
但是这个UDF仅限于那个特定的sqlContext.我希望使注册持久化,以便我可以在任何后续的sqlcontext中访问相同的UDF.或者有没有其他方法在sparkSQL中注册UDF,以便它们保持持久性？
如何在sparkSQL中创建一个数据库或多个数据库。我正在从spark-sql CLI执行SQL。像在蜂巢create database sample_db中的查询在这里不起作用。我的系统上安装了Hadoop 2.7和Spark 1.6。