标签: spring-cloud-dataflow

Spring Cloud数据流文档

关于Spring Cloud Data Flow文档何时准备好黄金时间的任何更新.如果没有完整的开发人员文档,将来很难规划任何重要的部署.由于Spring Cloud Data Flow大量使用Spring XD,我们会使用Spring XD文档,直到我们完成这项工作,以任何方式提供帮助吗?

谢谢

spring-xd spring-cloud-dataflow

5
推荐指数
1
解决办法
369
查看次数

如何调试Spring Cloud Dataflow部署的应用程序

即时通讯使用春季云数据流本地服务器部署了我的流应用程序。我想使用intelliJ远程调试我的应用程序之一

spring-cloud-stream spring-cloud-dataflow

5
推荐指数
1
解决办法
719
查看次数

Spring集成或Spring Cloud数据流

我正在将我的一些应用程序移至微服务。一个示例服务是RSS搜寻器,它使用Spring Integration将项目发送到Kafka。我还看到有Spring Cloud Data Flow,它在后台使用了Spring Integration和Spring Batch。

如果我使用Spring Cloud Data Flow,我会在每个微服务中使用它还是将其用作微服务之间的编排?

我正在尝试了解引入Spring Cloud Data Flow的好处,而不是使用Spring Integration保持微服务尽可能轻便。

任何意见,将不胜感激。

spring-integration microservices spring-cloud-dataflow

5
推荐指数
2
解决办法
2491
查看次数

Spring Cloud Data Flow 忽略由 spring 批处理应用程序配置的数据源

我正在设置 Spring Cloud Data Flow 的一个实例。我已经运行了以下命令:

1. Run skipper server: java -jar spring-cloud-skipper-server-2.0.3.RELEASE.jar &
2. Run Dataflow server: java -jar spring-cloud-dataflow-server-2.1.2.RELEASE.jar \
    --spring.datasource.url=jdbc:postgresql://10.136.66.44:8080/springclouddataflow \
    --spring.datasource.username=springclouddataflow \
    --spring.datasource.password=123456 \
    --spring.datasource.driver-class-name=org.postgresql.Driver \
    --server.port=80 &
Run Code Online (Sandbox Code Playgroud)

在第二步中,我使用的是 postgres 数据库,而不是默认的 h2。

我已经使用 Spring Batch 开发了一个 Spring Boot 作业来部署在这个平台上。该作业使用两个数据源:用于 Spring 的 springclouddataflow 和用于我的业务逻辑的任务元数据和 billrun。当我在本地运行应用程序时,它会按预期将元数据保存在 springclouddataflow 中,并将我的业务数据保存在 billrun 中。问题是当我尝试在 Spring Cloud Dataflow 中执行 de job 时。平台忽略我配置的业务逻辑数据库,只使用 springclouddataflow 数据库,它应该只存储元数据。

我在官方文档中搜索过。它解释了如何使用不同的数据库进行元数据存储以及如何在应用程序中配置多个数据库。我已按照说明进行操作,但没有成功。

应用程序属性

logging.level.org.springframework.cloud.task=debug
spring.datasource.initialization-mode=always
spring.batch.initialize-schema=always
spring.application.name=Bill Run
spring.datasource.jdbc-url=jdbc:postgresql://10.136.66.44:8080/springclouddataflow?useSSL=false
spring.datasource.username=springclouddataflow
spring.datasource.password=123456
spring.datasource.driver-class-name=org.postgresql.Driver
app.datasource.jdbc-url=jdbc:postgresql://10.136.66.44:8080/billrun?useSSL=false
app.datasource.username=springclouddataflow
app.datasource.password=123456
app.datasource.driver-class-name=org.postgresql.Driver

Run Code Online (Sandbox Code Playgroud)

数据源配置

@Configuration …
Run Code Online (Sandbox Code Playgroud)

java spring-boot spring-cloud-dataflow

5
推荐指数
1
解决办法
992
查看次数

春季数据流:使用吊舱注释向吊舱分配IAM角色

目前,我们正在aws EKS集群中部署新的spring数据流应用程序。作为此过程的一部分,由船长启动的Pod应该具有在注释中定义的IAM角色,以便它们可以访问所需的AWS服务。我已经在AWS账户中创建了所需的iam角色,并尝试使用应用程序的部署流中的pod-annotations属性传递角色,

样本部署属性:

deployer.datastreamdemosource.kubernetes.pod-annotations=iam.amazonaws.com/role: arn:aws:iam::XXXXXXXX:role/spring-dataflow-test-role
Run Code Online (Sandbox Code Playgroud)

船长能够启动集群中的Pod,但是我可以看到请求的注释未分配给Pod模板,

分配给广告连播的注释值为

我是否使用正确的属性来分配所需的IAM角色?或如何将IAM角色分配给船长作为流的一部分启动的Pod?我们不希望对流使用全局IAM角色,因为某些吊舱将具有它们不需要的其他权限。是否有人成功为每个Pod以iam角色在AWS EKS中成功部署了数据流流应用程序?

annotations dataflow amazon-web-services kubernetes spring-cloud-dataflow

5
推荐指数
1
解决办法
53
查看次数

Spring Cloud数据流是否支持批处理

我们正在探索各种编程/库选项(在Java世界范围内),以实现更快的批处理以及能够部署在云上.我们遇到了Spring批处理/ XD /云数据流.通过对http://cloud.spring.io/spring-cloud-dataflow/上的文档的快速回顾,我们无法评估Spring云数据流是否也具有Spring批次提供的所有批处理功能.例如,以下是SPring批处理文档(http://projects.spring.io/spring-batch/)所说的:"Spring Batch提供了可重用的功能,这些功能对于处理大量记录至关重要,包括记录/跟踪,事务管理,作业处理统计,作业重启,跳过和资源管理."

如果有人对Spring云数据流中的批处理功能有任何了解,请您在此处发帖.非常感谢!

java spring batch-file spring-xd spring-cloud-dataflow

4
推荐指数
1
解决办法
2920
查看次数

Spring云数据流中的Kafka源代码

我正在从Spring XD迁移到Spring Cloud Data Flow.当我在寻找模块列表时,我意识到Spring Cloud Flow中没有列出一些源 - 其中一个是KAFKA源.

我的问题是为什么KAFKA源从Spring云数据流中的标准源列表中删除了?

spring-xd spring-cloud-stream spring-cloud-dataflow

4
推荐指数
1
解决办法
1935
查看次数

如何使用rest-api执行spring cloud任务

我知道可以安排云任务,也可以使用要执行的流进行配置。作为开发人员,我想使用 rest-api 执行我的 spring 云任务,以便我可以按需执行任务。基本上我有一个工作流程管理系统,我们正在使用 control-m 代理。所以现在一些作业将由 control-m 执行,一些任务将部署在 spring 云数据流服务器上。现在,当一项工作完成时,必须执行云上的另一项工作。因此,为此我需要能够调用 rest api 并按需执行云任务。我确信此功能必须存在,但我找不到文档示例。有人可以帮帮我吗。提前致谢。

spring-cloud-task spring-cloud-dataflow

2
推荐指数
1
解决办法
3098
查看次数

如何自动部署 Spring Data Flow?

我有一个 Spring Cloud Data Flow 实例,其中包含我需要的应用程序和流。我什至编写了在命令 shell 中运行的脚本来一次部署所有这些东西。问题是我现在需要执行手动步骤,而不仅仅是开箱即用。

对于 Windows 和 Linux,我知道如何通过 shell 运行脚本并在脚本运行时结束脚本。

问题是我似乎可以使用 Spring Data Flow Shell 做同样的事情。我想做这样的事情:

java -jar spring-cloud-dataflow-shell.jar --runScript my-awesome-script.shell
Run Code Online (Sandbox Code Playgroud)

但是,我看不到任何说明存在类似内容的文档。我能找到的每个选项都不会运行脚本并保持外壳打开。或者还有另一种我完全不知道的选择。我 15 年的 Java 经验被过去 6 年的 .Net 打断了,Spring 看起来与以前完全不同了。

deployment configuration spring spring-cloud-dataflow

2
推荐指数
1
解决办法
2195
查看次数

从spring-batch-admin迁移到spring cloud数据流

我们计划从spring-batch-admin迁移到spring-cloud-dataflow,因为批处理管理员将进入Spring Attic,生命结束日期为2017年12月31日.

根据Migration Doc中的文档," 在Spring Batch用例中,每个批处理作业都打包为一个在Spring Cloud Data Flow中注册的独立SpringBootüberjar "

在这种情况下,如果有50个批次作业,必须创建50个超级罐?这样做将是一场维护噩梦,创造许多罐子并且难以维护它们.

任何相同的解决方法?所以我们可以将所有批量作业打包在单个超级罐中,我们可以在需要时随机启动任何工作吗?

任何帮助将非常感谢,提前感谢

spring-batch spring-batch-admin spring-cloud-dataflow

2
推荐指数
1
解决办法
1752
查看次数