标签: talend

并行运行单个作业

我需要知道如何在talend中与不同参数并行运行单个作业.

talend

1
推荐指数
1
解决办法
5045
查看次数

在tJava组件中使用现有数据库连接

我正在寻找一种在tJava组件中调用现有数据库connxion的方法.我在JAVA Bloc中创建了一个新的BDD连接,但是这个新的连接不允许我使用带有tMySqlConnexion组件的数据插入,因为第一个连接在作业结束时执行了他的提交.我需要在JAVA集团中使用tMySqlConnexion中使用的相同连接.

谢谢你的帮助 !

talend

1
推荐指数
1
解决办法
919
查看次数

Talend:从Excel复制到SQL时处理空行

我正在从Excel工作表中将数据复制到我的SQL表.Excel工作表有12个记录和其他2000个空行.我的工作流程是Excel输入 - > tMap - > tMSSqlOutput.

问题是,当我执行我的工作时,它正在从输入中读取2000行.后来的空行不会被复制到我的SQL表中,因为有"NOT NULL"值检查.

但我希望我的工作停止从Excel输入本身读取那些空行,我该怎么做?

sql excel talend

1
推荐指数
1
解决办法
3671
查看次数

在bash中将目录更改为父/调用脚本的路径

我有几十个脚本,都在不同的目录中.(导出/扩展的Talend工作)

此时每个作业都有1或2个脚本,从相同的行开始,最重要的一行:

CD ***path-to-script***
Run Code Online (Sandbox Code Playgroud)

和几行来设置Java路径并启动作业.

我想创建一个脚本,它将从所有这些脚本运行.例如:

/scripts/talend.sh
Run Code Online (Sandbox Code Playgroud)

在所有talend脚本中,第一行将运行/scripts/talend.sh,这些脚本的运行位置的一些示例:

/talend-job1_0.1/talend-job1_0.1/talend-job1/talend-job1.sh
/talend-task2_0.1/talend-task2_0.1/talend-task2/talend-task2.sh
/talend-job3_0.1/talend-job3_0.1/talend-job3/talend-job3.sh
Run Code Online (Sandbox Code Playgroud)

如何确定/scripts/talend.sh从何处开始,因此我可以从内部CD到该路径/scripts/talend.sh.

Talend脚本不是从目录本身运行,而是从cronjob或不同的用户主目录运行.

编辑:问题被标记为重复,但从内部获取Bash脚本的源目录不是100%回答我的问题.问题是: - 从不同的脚本调用基本脚本 - 这些不同的脚本可以从命令行运行,带有或不带符号链接. - $ 0,$ BASH_SOURCE和pwd都做了一些事情,但没有提到的解决方案涵盖了所有的困难.

例:

/scripts/talend.sh   
Run Code Online (Sandbox Code Playgroud)

在这个脚本中,我想配置Java的$ PATH和$ HOME_PATH,并将CD配置到Talend作业所在的位置.(它是一个包,所以脚本必须从该位置运行).

例如,工作路径是:

/u/talend/talendjob1/sub../../talendjob1.sh 
/u/talend/talendjob2/sub../../talendjob2.sh
/u/talend/talendjob3/sub../../talendjob3.sh
Run Code Online (Sandbox Code Playgroud)

从TMS应用程序运行多个作业.此应用程序无法使用whol名称运行这些脚本(对于long,名称只能是6长),因此在不同的位置我有符号链接:

/u/tms/links/p00001 -> /u/talend/talendjob1/sub../../talendjob1.sh
/u/tms/links/p00002 -> /u/talend/talendjob1/sub../../talendjob2.sh
/u/tms/links/p00003 -> /u/talend/talendjob1/sub../../talendjob3.sh
/u/tms/links/p00004 -> /u/talend/talendjob1/sub../../talendjob4.sh
Run Code Online (Sandbox Code Playgroud)

我想你会对复杂性进行概述,为什么我只想要一个基本的talend脚本,在那里我可以留下所有基本内容.但我只能这样做,如果我知道Talend脚本的来源,因为我必须要开始那个talend工作.

linux bash shell talend

1
推荐指数
1
解决办法
1377
查看次数

从字符串中获取2个字符

我有一个字符串FILENAME,实际上在foreach循环中保存文件名.字符串将是这样的:

MyFile_TEST_INDIA_20160728
MyFile_TEST_AMERICA_20160728    
MyFile_TEST_GERMANY_20160728
Run Code Online (Sandbox Code Playgroud)

我需要获取国家/地区名称的前2个字符.我试过以下:

String rmtdir = Filename.substring(Filename.length() - 12, Filename.length() - 12);
System.out.println(rmtdir); 
Run Code Online (Sandbox Code Playgroud)

但通过使用它,我只能获得INDIA所需的数据.
对于其他国家/地区,我手动需要更新子字符串的第二部分,并考虑到国家/地区的扩展长度.

像美国和德国一样:

String rmtdir = Filename.substring(Filename.length() - 12, Filename.length() - 14);
Run Code Online (Sandbox Code Playgroud)

有没有办法转到起始索引并选择要选择的职位数?

java string substring talend

1
推荐指数
1
解决办法
1789
查看次数

java xmx 选项无法识别

我正在使用一个名为 Talend 的 BI 数据集成工具,该工具使用 Java 在 Eclipse 上构建。

在启动工作时它说

Could not create the Java virtual machine.
Unrecognized option: --Xmx1024M
Run Code Online (Sandbox Code Playgroud)

ini 文件:

-vmargs
-Xms64m
-Xmx1536m
-XX:MaxPermSize=256m
-Dfile.encoding=UTF-8
Run Code Online (Sandbox Code Playgroud)

我有一台 4GB 32 位 Windows 电脑。2.85GB可用空间

java eclipse jvm talend

0
推荐指数
1
解决办法
4350
查看次数

使用Talend Open Studio中的行发送多封电子邮件

我正在使用软件talend进行企业应用程序架构项目 我有这个表:用户(Id_user,name_user,Email) 我想要做的是从这个表中选择数据并使用Tsendemail组件向每个用户发送电子邮件
我到目前为止使用TMssinput建立与数据库的连接并使用Tsendemail发送单个电子邮件,
但我不知道如何选择Row的值并将其用作Tsendemail的 "电子邮件"

有人可以帮助我吗?谢谢你

eai talend

0
推荐指数
1
解决办法
2483
查看次数

使用哪种ETL工具?

我使用Oracle作为数据库.我们决定使用另一个数据库,需要使用ETL工具将数据从oracle转换为该数据库.

我从来没有在任何ETL工具中工作,也不知道它.在google上做了一些搜索之后,我找到了一些像Pentaho,Clover,Talend等工具.但是,即使阅读了这些工具,我也无法决定哪一个用?

有人可以告诉我或给我任何有用的链接,这些链接描述哪个是更好的工具开始,更容易使用和良好的性能.

感谢您的帮助.

etl pentaho talend cloveretl

0
推荐指数
1
解决办法
7214
查看次数

将数据添加到非空分隔文件Talend

我正在尝试将行添加到已包含行的Talend Open Studio中的现有文件中.问题是,每次我尝试添加新行时,作业都会删除csv文件的内容以将其替换为新行.

例如:

第一次加载:源代码中有500行 - > .csv文件中有> 500行.结果:目标文件中有500行.

第二次加载:源代码中有30行 - > .csv文件中有> 30行. 结果:目标文件中有30行,但它应该位于文件的末尾,并且有530行.

你知道怎么做吗?有没有办法指定我不想覆盖目标文件的事实?

我是否应该从csv文件中获取数据,使用tUnite将其与新行合并并再次将其放入目标文件中?(这样,数据将被其包含的数据覆盖).

csv talend

0
推荐指数
1
解决办法
349
查看次数

Talend - Java 代码的修改

我想知道如何在作业的“代码”选项卡上编辑 Java 代码。我一直试图到处寻找,但找不到。我一直想在其中添加更多代码。

谢谢!

talend

0
推荐指数
1
解决办法
1192
查看次数

如何在Talend中动态猜测Mysqlinput中的模式

我已经构建了一个将数据从mysql db表复制到b mysql表的作业.表列是相同的,除非有时可以在表中添加新列.

我想从a到b中检索所有列,但只检索表b中存在的列.我能够在表b中存在查询特定的选择colume语句,如:

select coulmn1,column2,columns3... from table a
Run Code Online (Sandbox Code Playgroud)

问题是如果我在b中添加一个与mysqlinput中的talend作业模式匹配的新列,也应该更改因为我使用build in type.

有没有办法在作业运行期间强制架构列?

mysql schema jobs talend

0
推荐指数
1
解决办法
493
查看次数

Talend Big数据工具的替代品

我想知道Talend等其他产品.我想知道竞争产品有没有?请建议

谢谢

bigdata talend

-3
推荐指数
1
解决办法
1699
查看次数

标签 统计

talend ×12

java ×2

bash ×1

bigdata ×1

cloveretl ×1

csv ×1

eai ×1

eclipse ×1

etl ×1

excel ×1

jobs ×1

jvm ×1

linux ×1

mysql ×1

pentaho ×1

schema ×1

shell ×1

sql ×1

string ×1

substring ×1