标签: pentaho-data-integration

我在Oracle Table上有一个存储PDF文件的CLOB字段.当我尝试将此字段导出到Azure上的SQL Server Db时,我收到此错误:

2017/01/19 11:14:32 - ImpostoRenda 2.0 - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Unexpected batch update error committing the database connection.
2017/01/19 11:14:32 - ImpostoRenda 2.0 - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : org.pentaho.di.core.exception.KettleDatabaseBatchException: 
2017/01/19 11:14:32 - ImpostoRenda 2.0 - Error updating batch
2017/01/19 11:14:32 - ImpostoRenda 2.0 - I/O Error: Connection reset by peer: socket write error
2017/01/19 11:14:32 - ImpostoRenda 2.0 - 
2017/01/19 11:14:32 - …

目前 Pentaho Kettle (v.9.1) 官方只支持 Java 8。这对我们来说是一个问题，因为我们正在维护一个需要 Java 11 的插件，因为一个需要 Java 11 的基本库。有没有人有关于路线图的详细信息迁移到 Java 11。我只能找到 Java 11 在路线图上的一些旧信息，但没有找到何时可用于 Kettle。

我们当前的解决方案是使用 Java 11。当从 bat/sh 文件中删除 JAVA_ENDORSED_DIRS 时，您可以运行 Spoon。但这不是最好的解决方案，因为应用程序不完全兼容，我们遇到了越来越多的问题。

也欢迎其他想法或解决方案。

在升级 ETL 脚本以Mysql 5.8进行MySQL8升级时，一旦我将data-integration/libjar 更新为mysql-connector-java-8.0.xx.jar，它就开始出现以下error.

找不到驱动程序类“org.gjt.mm.mysql.Driver”，请确保安装了“MySQL”驱动程序（jar 文件）。

我在 Pentaho PDI 中有以下转换（注意 SQL 语句中的问号）：

转换是从工作中调用的。我需要的是在作业运行时从用户那里获取值并将其传递给转换，以便替换问号。

我的问题是有参数、参数和变量，我不知道该使用哪一个。如何使这项工作有效？

我需要参数化我的水壶作业和转换中的所有变量（作业将在 AWS 中运行，所有参数都作为环境变量传入）。

我的连接、路径和作业中的各种其他参数及其伴随的转换使用 ${SOURCE_DB_PASSWORD}、${OUTPUT_DIRECTORY} 样式。

当我在数据集成 UI 中将这些设置为环境变量时，它们都可以在 UI 工具中正常工作并且作业运行成功。当我从 bash 脚本运行它们时：

#!/bin/sh
export SOURCE_DB_HOST=services.db.dev
export SOURCE_DB_PORT=3306

kitchen.sh -param:SOURCE_DB_PORT=$SOURCE_DB_PORT -param:SOURCE_DB_HOST=$SOURCE_DB_HOST -file MY_JOB.kjb

作业及其调用的转换不会获取变量。错误是：

Cannot load connection class because of underlying exception: 'java.lang.NumberFormatException: For input string: "${SOURCE_DB_PORT}"'

因此，在不使用 jndi 文件或 Kettle.properties 的情况下，我需要某种方法将环境变量映射到 PDI 作业和转换中的参数/变量。

[Mac OS X 10.13 上的 PDI 版本 8.1]

有一个大约需要 1/2 分钟才能完成的工作，现在尝试通过命令行运行这个工作只会永远持续下去并且不会完成。看起来我也没有从中得到任何错误。所以这项工作似乎开始了，我知道这项工作可以正常工作，因为它可以在勺子内工作，有什么想法吗？

C:\Users\a\Downloads\pdi-ce-8.3.0.0-371\data-integration> Kitchen.bat /file:C:\Users\a\Downloads\pdi-ce-8.3.0.0-371\data-集成\job.kjb /level:Minimal

调试：使用 PENTAHO_JAVA_HOME 调试：_PENTAHO_JAVA_HOME=C:\Program Files\Java\jre1.8.0_231 调试：_PENTAHO_JAVA=C:\Program Files\Java\jre1.8.0_231\bin\java.exe

忽略选项 MaxPermSize=256m; 支持已在 8.0 13:58:07,867 INFO [KarafBoot] 检查是否启用 org.pentaho.clean.karaf.cache 13:58:12,006 INFO [KarafInstance]

---

* Karaf 实例编号：2 位于 C:\Users\a\Downloads\pdi-ce-8.3.0.0- 371\data-integration.\system\karaf\caches\kitchen\data-1 FastBin 提供程序端口：52902 卡拉夫端口：8803 OSGI 服务端口：9052 * ****************************************************** ***************************** 2019 年 12 月 19 日下午 1:58:12 org.apache.karaf.main.Main$KarafLockCallback lockAquired INFO：已获取锁。将 startlevel 设置为 100 2019/12/19 13:58:12 - Kitchen - Logging is at level : Minimal 2019/12/19 13:58:12 - Kitchen - Start of run。2019-12-19 13:58:15.902:INFO:oejs.Server:jetty-8.1.15.v20140411 2019-12-19 13:58:15.955:INFO:oejs.AbstractConnector:Started NIO@Dec00.9W. 2019 年 1 月 19 …