标签: pentaho-data-integration

我想将 xlsx 文件中的数据插入表中。Excel 有大约 1,20,000 条记录。但是在运行转换时，我收到以下错误：

超出 GC 开销限制

我在spoon.bat.

Xmx2g -XX:MaxPermSize=1024m

但我仍然收到此错误。

有人可以帮忙吗？

现在很明显，转换的所有步骤都是并行执行的，并且在 Pentaho 中无法改变这种行为。

鉴于此，我们有一个切换任务的场景，它检查特定字段（从文件名读取）并决定哪个任务（映射 - 子转换）将处理该文件。这是通用逻辑的一部分，在每个映射任务之前和之后，执行一些样板任务，如更新数据库记录、发送电子邮件等。

问题是：如果我们没有“ACCC014”文件，则无法执行此转换。我知道这是不可能的，因为所有任务都是并行执行的，所以出现了第二个问题：在一些映射中，创建了 XML 文件。甚至当 Pentaho 使用空数据执行此任务时，我们也无法找到避免创建 XML 输出文件的方法。

我们考虑将这个 switch 逻辑移到工作中，因为理论上它是串行的，但发现没有条件步骤可以进行这种区分。

我们还研究了元数据注入任务，但我们不认为这是可行的方法。每个子转换执行真正不同的工作。其中一些更新一些表，一些写入文件，另一些在不同的数据库之间移动数据。它们都接收一些文件作为输入并返回一个 send_email 标志和一个消息字符串。没有其他的。

有没有办法做我们愿意做的事情？或者没有办法根据默认输入/输出重用部分逻辑？

编辑：添加 ACCC014 转换。是的，选中了“开始时不创建文件”选项。

M第一次使用pentaho勺子,我有一个输入表,我写了一个sql查询,并希望将输入表的结果数据存储在不同的目标表中,但是在将目标表中的数据存储之前检查数据是否全部准备好了存在于表中.

我尝试将字符串值转换为日期。该字符串具有以下格式：yyyy-MM-dd. 但是当我尝试使用选择值进行转换时（在元日期中我选择了 fildname、type = Date 和currency =dd/MM/yyyy我收到此错误：

String : couldn't convert string [2017-01-30] to a date using format [yyyy/MM/dd HH:mm:ss.SSS] on offset location 4

如果我在计算器步骤中执行以下操作：创建一个新字段，Final_date 作为字段 A 的副本；在字段 A 上输入输入字符串的名称；数据类型为日期，在转换掩码上选择 yyyy-MM-dd 格式（您不必从下拉菜单中选择一种，您可以编写自己的格式）。我遇到了同样的错误。

我正在使用 Pentaho Data Intagration 9。

我尝试将字符串格式转换为yyyy-MM-dd日期类型格式dd/MM/yyyy。对于这种情况，如何将字符串转换为日期？

当我尝试在 Mac OS Catalina 上运行 PDI 时，出现此错误：

App Transport Security has blocked a cleartext HTTP (http://) resource load since it is insecure. Temporary exceptions can be configured via your app's Info.plist file.

我已尝试更新Info.plist并Info.plist~按照此处的建议进行更新。我还按照此处的建议将应用程序从 mac quarentine 中移除，并允许从任何地方运行应用程序（系统偏好设置 > 安全性和隐私）

我还尝试了不同版本的 PDI（8、8.1、8.2、9），但都没有成功。

我是这个工具的新手，正在尝试创建与数据库的MySQL连接，但是当我按下“测试”按钮时，它会显示以下消息：

Error connecting to database [MySQL (_configuracionesEF)] :org.pentaho.di.core.exception.KettleDatabaseException: 
Error occurred while trying to connect to the database

Driver class 'org.gjt.mm.mysql.Driver' could not be found, make sure the 'MySQL' driver (jar file) is installed.
org.gjt.mm.mysql.Driver


org.pentaho.di.core.exception.KettleDatabaseException: 
Error occurred while trying to connect to the database

Driver class 'org.gjt.mm.mysql.Driver' could not be found, make sure the 'MySQL' driver (jar file) is installed.
org.gjt.mm.mysql.Driver


at org.pentaho.di.core.database.Database.normalConnect(Database.java:472)
at org.pentaho.di.core.database.Database.connect(Database.java:370)
at org.pentaho.di.core.database.Database.connect(Database.java:341)
at org.pentaho.di.core.database.Database.connect(Database.java:331)
at org.pentaho.di.core.database.DatabaseFactory.getConnectionTestReport(DatabaseFactory.java:80)
at org.pentaho.di.core.database.DatabaseMeta.testConnection(DatabaseMeta.java:2783)
at org.pentaho.ui.database.event.DataHandler.testDatabaseConnection(DataHandler.java:597)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) …

我有一项在 PDI 中运行的作业，该作业将数据从不同源传输到不同目标，然后返回特定系统。这个工作有很多子工作。我们将其称为 Job MasterJob1。

我们有相同的系统用于另一个目的。因此，我想在 PDI 中复制该作业。在这里我只需要更改一些设置。我们称之为 MasterJob2。

为了使不同的变量可用于整个作业（也在主作业的父作业、子作业等中），我们使用“设置变量”。在这里，我们有很多不同的变量。假设有一个变量称为 TestVar。目前，MasterJob1 中这些变量的“变量范围类型”始终设置为“在 Java 虚拟机中有效”。

根据 PDI 文档http://wiki.pentaho.com/display/EAI/Set+Variables，这意味着变量在虚拟机中随处可用。据我理解，这意味着，如果我复制作业并让“变量范围类型”保持原样，则变量 TestVar 可以由 MasterJob1 写入，但也可以由 MasterJob2 覆盖。

我绝对想避免 MasterJob1 可以覆盖 MasterJob2 的变量，反之亦然。但是，MasterJob1 中设置的变量必须在 MasterJob1 中随处可用，MasterJob2 中设置的变量必须在 MasterJob2 中随处可用。因此我继续阅读文档。据说存在“变量范围类型”“在根作业中有效”。我的假设是否正确，这是我需要使用的变量范围类型？

不幸的是我对此没有太多经验，我希望你能告诉我这是否是正确的方法？！创建测试环境对我来说需要几天时间。因此，我希望您能给我一个简单的“是的，去做吧”或正确的解决方案。

我正在尝试安装 PDI 9 并继续从终端收到以下错误。

Java HotSpot(TM) 64-Bit Server VM warning: Ignoring option MaxPermSize; support was removed in 8.0
-Djava.endorsed.dirs=%JAVA_ENDORSED_DIRS is not supported. Endorsed standards and standalone APIs in modular form will be supported via the concept of upgradeable modules.
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.

我目前安装了以下内容。

• pdi-ce-9.0.0.0-423 ( https://sourceforge.net/projects/pentaho/ )
• jre-8u241-macosx-x64（https://www.oracle.com/java/technologies/javase-jre8-downloads.html）

我尝试了通过从 Spoon.sh 文件中删除以下行来找到的解决方法。

-Djava.endorsed.dirs=%JAVA_ENDORSED_DIRS

Spoon.sh 文件运行，但是应用程序在拉出后立即关闭。下面显示了包含许多警告消息的前几行。

DEBUG: Using value (/Users/juanflorencioferrer/Downloads/data-integration/Data 
Integration.app/Contents/MacOS/../../../) from calling script
Java …

我在Pentaho Data Integretion工作.我们用勺子开发了转换和Job.我们希望在服务器和服务器上移动我们的代码是Centos.

在Centos中,我们在安装Pentaho的UI时遇到错误.我们可以在Centos上安装厨房.

我们可以直接与Kitchen一起进行转换和工作吗？如果有,怎么样？

等待回复.