标签: spring-xd

我有一个spring-xd处理器模块,它使用spring-data-jpa对项目具有依赖性:

xd-processor模块的pom.xml:

<dependencies>
    <dependency>
        <groupId>org.test.common</groupId>
        <artifactId>org.test.common</artifactId>
        <version>0.0.1-SNAPSHOT</version>
    </dependency>
</dependencies>

org.test.common的pom.xml:

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-data-jpa</artifactId>
    </dependency>
</dependencies>

如果我运行集成测试一切正常.但是部署到xd-singlenode(1.2.0.RELEASE)失败,出现以下错误:

2015-06-21T20:50:35+0200 1.2.0.RELEASE ERROR    DeploymentsPathChildrenCache-0 boot.SpringApplication - Application startup failed
java.lang.IllegalStateException: Error processing condition on org.springframework.boot.autoconfigure.orm.jpa.JpaBaseConfiguration.jpaVendorAdapter
    at org.springframework.boot.autoconfigure.condition.SpringBootCondition.matches(SpringBootCondition.java:58) ~[spring-boot-autoconfigure-1.2.3.RELEASE.jar:1.2.3.RELEASE]
...
Caused by: java.lang.IllegalArgumentException: @ConditionalOnMissingBean annotations must specify at least one bean (type, name or annotation)
...

你可以在github上查看完整的样本.

我究竟做错了什么？任何帮助,将不胜感激.

我正在寻找Apache Spark流将适合的用例以及Spring XD流最适合的情况.

这里有技术重叠吗？有人遇到过两种情况都被使用的情况吗？

有人知道任何Spring Boot与Kafka Connect的集成吗？我认为有一个spring-kafka项目可以很好地与Kafka客户端集成,但不能连接和流式API.

我正在积极寻找实时大数据分析解决方案.

现在我已经确定了一个成熟的演员Twitter Storm以及一个年轻的挑战者Spring XD.

有谁知道Spring XD是否可以实时处理日志事件流或Twitter流以及Storm会做什么？

这两种技术的已知限制是什么？

有没有办法启动一组在启动spring xd的新实例时定义的蒸汽和水龙头？

场景是这样的:我们已经在我们的开发系统上做了一些原型设计,但现在我们想要构建并发布给测试团队.我们希望自动化大部分后台工作,用户只需担心流的输出,而不必担心流或其定义或部署.

为方便起见,我们可以使用任何运行时配置吗？

更新:我们当前的方法涉及编写一个shell脚本,以便对Spring API进行一些其他调用来创建和部署所需的流.

我正在从事一个 ETL 项目。我已经使用 spring 集成很长时间了。数据源当前是文件或编年史，但可能会更改为实时流，并且数据量可能会增长。未来有可能转向大数据解决方案（hadoop、spark 等）。

基于此我需要对 spring 集成和反应流进行比较？为什么有人会使用其中一个而不是另一个（或者我一开始尝试比较两者就错了）？您认为它们可以一起使用的场景（如果有）？

我正在使用以下xml创建一个Spring Batch作业:

<batch:job id="simulatorJob" restartable="false">
    <batch:step id="step1">
        <batch:tasklet transaction-manager="transactionManager">
            <batch:chunk reader="stockListner" writer="customWriter"
                commit-interval="5">
            </batch:chunk>
        </batch:tasklet>
    </batch:step>
</batch:job>

<bean id="transactionManager" class="org.springframework.batch.support.transaction.ResourcelessTransactionManager" />

<bean id="stockListner" class="com.XXX.stock.java.StockReader" scope="step">
    <property name="URL" value="NTPC,TCS" />
    <!-- <property name="URL" value="NTPC" /> -->
    <!-- <property name="URL" value="TCS" /> -->
</bean>

<bean id="customWriter" class="com.XXX.stock.java.FlatFileWriter" />

这是我的读者课程:

private String URL;

public String getURL() {
    return URL;
}

public void setURL(String uRL) {
    URL = uRL;
}

public ArrayList<StockData> read() throws Exception, UnexpectedInputException,ParseException, NonTransientResourceException {
    ArrayList<StockData> list = new ArrayList<StockData>();
    String[] …

我想从一个实时更新的cassandra表中流式传输数据.是的,它是一个数据库但是有办法做到这一点吗？如果是这样,保留偏移或我可以使用哪些CQL查询？

我正在尝试在Spring-XD中运行一个位于以下路径下的作业:

/spring-xd/xd/modules/job/MyJobName (I'll call this path MyJobName below)

我的jar位于MyJobName/lib其根路径中,包含文件logback.xml.不幸的是,Spring-XD似乎完全无视该文件.当我通过我的IDE(IntelliJ)运行作业时,日志记录工作正常,但是当我使用Spring-XD运行它时,它完全忽略了我的SiftingAppender.

这是我的logback.xml文件的样子:

<?xml version="1.0" encoding="UTF-8"?>
<configuration>

    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%5p %-25logger{25} %m %n</pattern>
        </encoder>
    </appender>

    <appender name="SIFT" class="ch.qos.logback.classic.sift.SiftingAppender">
        <discriminator>
            <key>publication.run.id</key>
            <defaultValue>unknown</defaultValue>
        </discriminator>
        <sift>
            <appender name="FILE-${publication.run.id}" class="ch.qos.logback.core.FileAppender">
                <file>/data/${publication.run.id}/logs/process.log</file>
                <append>true</append>
                <layout class="ch.qos.logback.classic.PatternLayout">
                    <pattern>%5p %-25logger{25} %m %n</pattern>
                </layout>
            </appender>
        </sift>
    </appender>

    <logger name="com.bitwiseor">
        <level value="INFO" />
    </logger>

    <logger name="org.springframework">
        <level value="INFO" />
    </logger>

    <root>
        <level value="INFO" />
        <appender-ref ref="SIFT" />
        <appender-ref ref="CONSOLE" />
    </root>
</configuration>

我想把这个logback.xml文件放在/ spring-xd/xd/config下,或者放在另一个配置文件夹下,但是我尝试的都没有.我尝试查看Spring-XD文档,但一无所获.

任何见解将不胜感激.

关于Spring Cloud Data Flow文档何时准备好黄金时间的任何更新.如果没有完整的开发人员文档,将来很难规划任何重要的部署.由于Spring Cloud Data Flow大量使用Spring XD,我们会使用Spring XD文档,直到我们完成这项工作,以任何方式提供帮助吗？

谢谢