标签: spring-integration-sftp

我原本期望ftp同步机制更新已更改的文件.但是,从我在这里看到的,只有在文件尚不存在的情况下才会下载该文件.就目前而言,即使时间戳/内容已更改,也不会在本地保存文件.

所以这是我到目前为止所发现的:

类org.springframework.integration.file.remote.synchronizer.AbstractInboundFileSynchronizer

@Override
    public void synchronizeToLocalDirectory(final File localDirectory) {
        final String remoteDirectory = this.remoteDirectoryExpression.getValue(this.evaluationContext, String.class);
        try {
            int transferred = this.remoteFileTemplate.execute(new SessionCallback<F, Integer>() {

                @Override
                public Integer doInSession(Session<F> session) throws IOException {
                    F[] files = session.list(remoteDirectory);
                    if (!ObjectUtils.isEmpty(files)) {
                        List<F> filteredFiles = filterFiles(files);
                        for (F file : filteredFiles) {
                            try {
                                if (file != null) {
                                    copyFileToLocalDirectory(
                                            remoteDirectory, file, localDirectory,
                                            session);
                                }
                            }
                            catch (RuntimeException e) {
                                if (AbstractInboundFileSynchronizer.this.filter instanceof ReversibleFileListFilter) {
                                    ((ReversibleFileListFilter<F>) AbstractInboundFileSynchronizer.this.filter)
                                            .rollback(file, filteredFiles);
                                }
                                throw …

我正在尝试使用 SFTP 将 excel 文件从本地 Windows PC 上传到 linux 机器。

这是我的代码：

private void uploadToSftp() {
        try
        {
            ChannelSftp sftpClient = null;
            Channel channel = null;
            JSch jsch = new JSch();
            Session session = jsch.getSession("username", "host", 22);
            session.setPassword("password");
            Properties config = new Properties();
            config.put("StrictHostKeyChecking","no");
            session.setConfig(config);
            session.connect();
            channel = session.openChannel("sftp");
            channel.connect();
            sftpClient = (ChannelSftp) channel;

            sftpClient.cd("/var/www/folder");
            File localFile = new File("C:\\Workspace\\upload-file\\test.xlsx");
            sftpClient.put(localFile.getAbsolutePath(),localFile.getName());

            sftpClient.disconnect();
            channel.disconnect();
            session.disconnect();
        } catch (JSchException e) {
            e.printStackTrace();  
        } catch (SftpException e) {
            e.printStackTrace();
        }
    }

但每次我运行这个应用程序时，我都会收到错误消息：

3: Permission …

作为问题的后续行动 -

同样的文件在spring-ftp中一次又一次地被拾取,但名称不同

我的application.xml中有以下配置

 <?xml version="1.0" encoding="UTF-8"?>
<beans:beans xmlns:int="http://www.springframework.org/schema/integration"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:beans="http://www.springframework.org/schema/beans"
    xmlns:file="http://www.springframework.org/schema/integration/file"
    xmlns:int-stream="http://www.springframework.org/schema/integration/stream"
    xmlns:int-ftp="http://www.springframework.org/schema/integration/ftp"
    xsi:schemaLocation="http://www.springframework.org/schema/beans
        http://www.springframework.org/schema/beans/spring-beans.xsd
        http://www.springframework.org/schema/integration
        http://www.springframework.org/schema/integration/spring-integration.xsd
        http://www.springframework.org/schema/integration/file
        http://www.springframework.org/schema/integration/file/spring-integration-file.xsd
        http://www.springframework.org/schema/integration/stream
        http://www.springframework.org/schema/integration/stream/spring-integration-stream.xsd
        http://www.springframework.org/schema/integration/ftp
        http://www.springframework.org/schema/integration/ftp/spring-integration-ftp.xsd
        http://www.springframework.org/schema/context 
        http://www.springframework.org/schema/context/spring-context.xsd">

    <int:poller id="poller" task-executor="synchTaskExecutor" default="true" fixed-delay="1000" />

    <beans:bean id="ftpClientFactory"
          class="com.everge.springframework.integration.ftp.session.EvergeFtpSessionFactory">
        <beans:property name="host" value="111.93.128.170"/>
        <beans:property name="port" value="21"/>
        <beans:property name="username" value="singha"/>
        <beans:property name="password" value="singha16"/>
        <beans:property name="clientMode" value="2"></beans:property>
    </beans:bean>

    <beans:bean id="ftpOutClientFactory"
          class="org.springframework.integration.ftp.session.DefaultFtpSessionFactory">
        <beans:property name="host" value="111.93.128.170"/>
        <beans:property name="port" value="21"/>
        <beans:property name="username" value="singha"/>
        <beans:property name="password" value="singha16"/>
        <beans:property name="clientMode" value="2"></beans:property>
    </beans:bean>

    <beans:bean id="synchTaskExecutor" class="org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor">
        <beans:property name="corePoolSize" value="1"></beans:property>
        <beans:property name="maxPoolSize" value="1"></beans:property>
        <beans:property …

无法将文件发送到 SFTP 服务器。我没有从下面的日志中找到确切的问题。使用Spring 集成 SFTP 配置将我的文件发送到客户端实例。我已引用此链接https://blog.pavelsklenar.com/spring-integration-sftp-upload-example/进行实施。我在这里做错了什么。任何帮助将不胜感激，谢谢。

下面是代码片段

DefaultSftpSessionFactory factory = new DefaultSftpSessionFactory(true);
        factory.setHost(sftpHost);
        factory.setPort(sftpPort);
        factory.setUser(sftpUser);
        factory.setPassword(sftpPasword);
        factory.setAllowUnknownKeys(true);

请参阅下面的日志

    10-12-2018 03:03:22.261 [task-scheduler-1] INFO  org.springframework.integration.sftp.session.DefaultSftpSessionFactory.promptYesNo - The authenticity of host 'example.com' can't be established.
RSA key fingerprint is d1:e9:4e:64:a8:e5:19:46:7a:0e:79:2d:bf:27:cb:4c.
Are you sure you want to continue connecting?
10-12-2018 03:03:22.264 [task-scheduler-1] DEBUG org.springframework.integration.sftp.session.DefaultSftpSessionFactory.promptYesNo - No UserInfo provided - The authenticity of host 'example.com' can't be established.
RSA key fingerprint is d1:e9:4e:64:a8:e5:19:46:7a:0e:79:2d:bf:27:cb:4c.
Are you sure you want to continue connecting?, …

我在用着

• Sprint 集成（文件、SFTP 等）4.3.6
• 春季启动1.4.3
• Spring 集成 Java DSL 1.1.4

我正在尝试设置一个 SFTP 出站适配器，该适配器允许我将文件移动到远程系统上的目录，并删除或重命名本地系统中的文件。

因此，例如，我想将文件a.txt放在本地目录中，并将其通过 SFTP 传输到目录inbound中的远程服务器。传输完成后，我想要a.txt的本地副本删除或重命名

我正在考虑几种方法。所以这是我用于测试的常用SessionFactory。

protected SessionFactory<ChannelSftp.LsEntry> buildSftpSessionFactory() {
    DefaultSftpSessionFactory sessionFactory = new DefaultSftpSessionFactory();
    sessionFactory.setHost("localhost");
    sessionFactory.setUser("user");
    sessionFactory.setAllowUnknownKeys(true);
    sessionFactory.setPassword("pass");
    CachingSessionFactory<ChannelSftp.LsEntry> cachingSessionFactory = new CachingSessionFactory<>(sessionFactory, 1);
    return cachingSessionFactory;
}

这是一个转换器，我必须将一些标头添加到消息中

@Override
public Message<File> transform(Message<File> source) {
    System.out.println("here is the thing : "+source);
    File file = (File)source.getPayload();
    Message<File> transformedMessage = MessageBuilder.withPayload(file)
            .copyHeaders(source.getHeaders())
            .setHeaderIfAbsent(FileHeaders.ORIGINAL_FILE, file)
            .setHeaderIfAbsent(FileHeaders.FILENAME, file.getName())
            .build();
    return transformedMessage;
}

然后，我有一个集成流程，它使用轮询器来监视本地目录并调用它：

@Bean
public IntegrationFlow pushTheFile(){ …

我们正在开发一个 Spring Batch 应用程序，它将在未来处理“大”文件。为了保持低内存签名，我们在这些文件的尽可能小的块上使用 Spring Batch。处理后，我们希望将结果写回SFTP，这也会发生在输入文件的每个块中。

目前的做法如下：

StepExecutionListener.before()SftpOutboundAdapter：我们向with和空负载发送消息FileExistsMode.REPLACE以创建一个空文件（with .writing）

Reader：将读取输入文件

Processor：将使用结果增强输入并返回字符串列表

Writer：将字符串列表发送给SftpOutboundAdapter另一个FileExistsMode.APPEND

StepExecutionListener.after()：如果执行成功，我们将重命名该文件以删除后缀.writing。

现在我看到有Streaming Inbound Adapters但我找不到Streaming Outbound Adapters。这真的是通过附加解决它的唯一/最好的方法吗？或者是否可以流式传输文件内容？

我们使用 Spring SFTP（出站）和网关将文件传输到多个目的地。但通常很少有文件被发送到错误的目的地。找不到任何线索，因为除了发送文件后的文件计数错误之外，我们的日志中没有收到任何错误。

这是我们的配置：

@Configuration
public class BankWiseSFTPConfig {

    private final ExpressionParser EXPRESSION_PARSER;
    private final BankConfigService bankConfigService;

    public BankWiseSFTPConfig(BankConfigService bankConfigService) {
        this.EXPRESSION_PARSER = new SpelExpressionParser();
        this.bankConfigService = bankConfigService;
    }

    @Bean
    public DelegatingSessionFactory<LsEntry> sessionFactory() {

        List<BankConfigEntity> bankList = bankConfigService.getAll();
        Map<Object, SessionFactory<LsEntry>> factories = new LinkedHashMap<>();

        for (BankConfigEntity bank : bankList) {
            DefaultSftpSessionFactory factory = new DefaultSftpSessionFactory();
            factory.setHost(bank.getSftpHost());
            factory.setUser(bank.getSftpUser());
            factory.setPort(bank.getSftpPort());
            factory.setPassword(bank.getSftpPass());
            factory.setAllowUnknownKeys(true);
            factories.put(bank.getBankName(), factory);
        }
        bankList.clear();

        return new DelegatingSessionFactory<LsEntry>(factories, factories.values().iterator().next());
    }


    @ServiceActivator(inputChannel = "toSftp")
    @Bean
    public SftpMessageHandler handler() {
        SftpMessageHandler …

我想get通过 SFTP 使用 SFTP 出站网关访问文件，但我只找到使用 XML 配置的示例。如何使用 Java 配置来完成此操作？

更新（感谢 Artem Bilan 帮助）

我的配置类：

@Configuration
public class MyConfiguration {

    @Bean
    public SessionFactory<LsEntry> sftpSessionFactory() {
        DefaultSftpSessionFactory sftpSessionFactory = new DefaultSftpSessionFactory();
        sftpSessionFactory.setHost("myhost");
        sftpSessionFactory.setPort(22);
        sftpSessionFactory.setUser("uname");
        sftpSessionFactory.setPassword("pass");
        sftpSessionFactory.setAllowUnknownKeys(true);
        return new CachingSessionFactory<LsEntry>(sftpSessionFactory);
    }

    @Bean
    @ServiceActivator(inputChannel = "sftpChannel")
    public MessageHandler handler() {
        SftpOutboundGateway sftpOutboundGateway = new  SftpOutboundGateway(sftpSessionFactory(), "get", "#getPayload() == '/home/samadmin/test.endf'");
        sftpOutboundGateway.setLocalDirectory(new File("C:/test/gateway/"));
        return sftpOutboundGateway;
    }

}

我的应用类：

@SpringBootApplication
@EnableIntegration
public class TestIntegrationApplication {

    public static void main(String[] args) {
        SpringApplication.run(TestIntegrationApplication.class, args);
    } …

当使用 Spring Integration 的 SFTP 会话工厂（带有 Java 配置）时，我想动态设置远程 SFTP 服务器目录。Spring 文档说这是可能的：

Spring 集成 SFTP 适配器

SpEL 和 SFTP 出站适配器

remote-directory-expression与 Spring Integration 中的许多其他组件一样，在配置 SFTP 出站通道适配器时，您可以通过指定两个属性和remote-filename-generator-expression （参见上文）从 Spring 表达式语言 (SpEL) 支持中受益 。表达式求值上下文将以 Message 作为其根对象，从而允许您提供可以根据 Message 中的数据（来自有效负载或headers ）动态计算文件名或现有目录路径的表达式。在上面的示例中，我们使用 表达式值定义属性，该表达式值根据原始名称计算文件名，同时附加后缀： - foo。remote-filename-generator-expression

@Configuration
public class SftpConfig {

@Autowired
private SftpSettings sftpSettings;

@Bean
public SessionFactory<LsEntry> sftpSessionFactory() {
    DefaultSftpSessionFactory factory = new …