参考上传的JAR库

Dan*_*Dan 5 scala jar apache-spark databricks

我已将一组支持功能记helper.jar入库并导入到 Databricks 集群。该 jar 已安装在集群上,但我无法引用库中的函数。

jar 导入已经过测试,集群已重新启动,并且可以在 InelliJ 中引用该 jar,它被开发为 Azure Spark/HDInsight 项目。

//next line generates error value helper is not a member of org.apache.spark.sql.SparkSession
import helper 

//nex line generates error: not found: value fn_conversion 
display(df.withColumn("RevenueConstantUSD", fn_conversion($"Revenue")) 
Run Code Online (Sandbox Code Playgroud)

我希望该helper函数在库部署后或可能在添加命令后可见import

编辑:添加有关 IntelliJ 项目类型的信息