从sparklyr访问默认方案(数据库)以外的表

Question

在我使用sparklyrwith yarn-client方法管理它连接到我们的(新)集群之后,现在我只能显示默认方案中的表.我该如何连接scheme.table？使用DBI它正在工作,例如使用以下行: dbGetQuery(sc, "SELECT * FROM scheme.table LIMIT 10") 在HUE中,我可以显示所有方案中的所有表.

〜g ^

Answer 1

您可以使用完全限定名称来注册临时视图：

spark_session(sc) %>% 
  invoke("table", "my_database.my_table") %>%
  invoke("createOrReplaceTempView", "my_view")

tbl(sc, "my_view")

或使用sql方法切换数据库

spark_session(sc) %>% invoke("sql", "USE my_database")

并直接访问表dplyr:tbl：

tbl(sc, "my_table")