尝试创建表时遇到问题。
这是创建表的代码,其中发生异常:
sparkSession.sql(s"CREATE TABLE IF NOT EXISTS mydatabase.students(" +
s"name string," + s"age int)")
Run Code Online (Sandbox Code Playgroud)
这是火花会话配置:
lazy val sparkSession = SparkSession
.builder()
.appName("student_mapping")
.enableHiveSupport()
.getOrCreate()
Run Code Online (Sandbox Code Playgroud)
这是例外:
org.apache.spark.sql.AnalysisException: Hive support is required to
CREATE Hive TABLE (AS SELECT);;'CreateTable `mydatabase`.`students`,
org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe, Ignore
Run Code Online (Sandbox Code Playgroud)
我的问题是:为什么会发生这种异常?我还有其他几个使用相同会话配置运行的 spark 程序,运行完美无缺。我正在使用 Scala 2.11 和 Spark 2.3。
我想将 Micrometer 的 @Timed 注释中的数据捕获到 Prometheus 指标存储/注册表中。我在网上找不到有关如何执行此操作的任何解释。
这些是我正在使用的版本:
compile 'org.springframework.boot:spring-boot-starter-web:2.1.4.RELEASE' // This already includes micrometer I believe
compile "io.micrometer:micrometer-registry-prometheus:1.1.4'
Run Code Online (Sandbox Code Playgroud)
我正在尝试为存储库调用计时:
interface HouseRepository {
@Timed
@Query(some long complicated query)
House deleteByAddressAndLastModifiedBefore(
Address address,
Instant instant
)
}
Run Code Online (Sandbox Code Playgroud)
我该怎么做呢?我尝试向 @Timer 注释添加一些不同的配置,例如:
@Timed(description = 'this.is.my.metric', value = 'my.metric', extraTags = ['my.metric.name', 'test'])
Run Code Online (Sandbox Code Playgroud)
但是我在 Prometheus (/prometheus) 中没有看到我的输出。
当然,这是可能的吗?
我正在调用公开GraphQL接口的服务。因此,我能够发布GraphQL查询并通过curl接收回数据。现在,我想编写一个服务来为我构建查询(动态地,基于我发送端点的查询参数),并发送请求并返回响应。
我正在使用Spring Boot 2.1.4。
我知道您可以在Spring中使用弹性搜索库来构建查询。想知道GraphQL是否有类似的东西。
spring ×2
apache-spark ×1
graphql ×1
graphql-java ×1
hive ×1
metrics ×1
micrometer ×1
prometheus ×1
scala ×1
spring-boot ×1