标签: talend

我正在尝试使用 CSV 将大量数据导入到平面表中。在导入 BigQuery 报告期间：

- File: 0 / Line:6659 / Field:11: Could not parse '' as a timestamp

在架构中，我有 2 个时间戳：字段 4 和 11 。两者都可以为空。对于第二个时间戳，字段 11 上的行条目确实为空。

它应该像这样工作还是我需要将其发送为“0”？

样本输入

这是我输入的一个例子。如您所见，地址列有 2 个值，我想将它们分开然后合并为一个值。

预期产出

这就是输出应该是什么，将值合并到一个单元格中。

Talend 输出

如果我将数据读入 Talend，它看起来像这样：

一种建议的运行作业的方法是在属性文件中保存上下文参数.像这个:

#
#Wed Dec 16 18:23:03 CET 2015 
MySQL_AdditionalParams=noDatetimeStringSync\=true 
MySQL_Port=3306   
MySQL_Login=root 
MySQL_Password=secret_password_to_cipher 
MySQL_Database=talend MySQL_Server=localhost

这非常简单实用,但问题在于密码保存清晰.

所以我正在寻找方法来轻松加密.以下是关于密码加密技术的Stack溢出中已经讨论过的两个非常有趣的问题:

• 加密配置文件中的密码
• 保护属性文件中的密码

但它们是Java原生的,我正在寻找更好的Talend集成.我已经在我的Talend工作中尝试了不同的方法:

• 使用base64编码密码进行简单的混淆
• 使用伪造的tEncrypt和tDecrypt组件
• 使用Jasypt ot JavaXCrypto librairies
• 使用伪造的pwdstore例程

所有这些技术都在一个教程(法语,抱歉)中描述,解释了如何在Talend中加密密码

但是遇到了另一个问题:用于加密/解密的密钥总是很清楚,所以如果你知道解决这一问题的好方法,我会很乐意进行实验.

我正在使用 Talend 准备数据件。我想使用 tMap 组件将字符串与列的内容进行比较，并创建一个变量以存储在数据库中。问题是==操作员没有给出正确的结果（例如：row2.recipient == "text"?"text":"" 我总是得到""），如果我使用，.equals我在执行时会出错。

我无法在 Mac OS 上安装 Talend open studio。错误 - TOS_BD-macosx-cocoa 可执行启动器无法找到其配套共享库。

我有大约 20 个不同的数据源，所有小应用程序都有 API（一些肥皂和一些其他的）。我需要组合所有这些数据，将其转换并将数据存储到数据仓库中。我正在考虑 Azure SQL 数据库。但是，我不确定可以使用什么工具来实际获取 API 和数据。每个数据源在一天内可以建立的连接方面都有限制，大多数这些 API 需要运行多个 API 来获取数据。

我查看了 Azure 数据工厂----它不支持 SOAP API 我查看了逻辑应用----我不确定它是否可以执行复杂的 ETL 并可以检索数据

我想的另一个选择是安装带有 SQL Server 的 Azure VM，然后使用 Talend 通过 REST 和 SOAP 连接器获取数据并执行 ETL。我可以采取的另一种方法是使用 SSIS，而不是使用 Talend。但我相信我也需要第三方 Rest 和 Soap 连接器。

我正在寻找最具成本效益和可扩展性的解决方案。

任何建议都会非常有帮助。

当我尝试使用 Talend 作业将数据加载到 HBase 表时出现此错误：

[ERROR]: org.apache.hadoop.hbase.client.AsyncProcess - Cannot get replica 0 location for {"totalColumns":2,"families":{"0":[{"timestamp":1525346138064,"tag":[],"qualifier":"CURRENT_VALUE","vlen":8},{"timestamp":1525346138064,"tag":[],"qualifier":"LIMIT_REACHED_FLAG","vlen":1}]},"row":"\\x8B\\x00EXABEAT_DISPATCHER\\x00ID_LOG_DETTAGLIO"}

我需要理解为什么会出现这个错误。谢谢

我们有一个应用程序,它对外部jar有运行时依赖性(例如在Spring-boot中运行的Talend作业).现在我们可以使用-Dloader.path参数从Spring-Boot启动它.但是,我们无法使用外部lib文件夹运行集成测试(即从Spring-Boot Test启动Talend作业).是否可以使用SpringBoot测试为集成测试加载外部作业？

您好，我使用 Talend ESB 7.2，并尝试使用 tRest Response

我已经使用 tJsonExtractField 提取 Json \n

在“metas”字段中，我有另一个 json 字符串，我尝试将此字符串提取为数组（具有键值关联）。

元字段示例

{  \n   "482f75dd-a8e4-4f5c-80f0-85b5a7eeb340":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ],\n   "d8cac586-2d64-4fe6-bdf4-91a5bac3541e":[  \n      "Id system"\n   ],\n   "b17baa47-2aa4-4959-a4f1-073f97833ba2":[  \n      "Intranet_T\xc3\xa9l\xc3\xa9_services_Web"\n   ],\n   "df35ac57-90eb-4e7f-af56-3f50be808ee1":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ],\n   "046f1767-f303-4f89-bed6-7c58dab5f47b":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ],\n   "ed979530-1dcc-4f48-853c-9dc43ebfc92d":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ],\n   "a19f08a9-edf1-489b-9fb3-17a6335df112":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ],\n   "60911596-67e7-4caf-afa1-67ff90c8fa8b":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ],\n   "0dee3ca9-7962-4ee5-bc02-89d80e315072":[  \n      "saas"\n   ],\n   "4e44268d-0231-4d1d-8e6d-13580dc89b31":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ],\n   "0fd60a21-0bb4-4e3f-a203-8cef11ad3149":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ],\n   "7c4b6cb3-1918-4ec5-85dc-add60186d29b":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ],\n   "48657111-f80f-4bd1-842d-0ce2c4a044b6":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ],\n   "6061a25d-3aaf-d58f-81a4-ad38878d2952":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ]\n}\n

编辑 …

首次启动 Talend Open Studio 时出现错误

java.lang.NoSuchMethodException: sun.misc.Unsafe.defineClass(java.lang.String,[B,int,int,java.lang.ClassLoader,java.security.ProtectionDomain)
    at java.base/java.lang.Class.getDeclaredMethod(Class.java:2613)
    at org.apache.webbeans.proxy.Unsafe.lambda$unsafeDefineClass$2(Unsafe.java:163)
    at java.base/java.security.AccessController.doPrivileged(AccessController.java:312)
    at org.apache.webbeans.proxy.Unsafe.unsafeDefineClass(Unsafe.java:160)
    at org.apache.webbeans.proxy.Unsafe.defineAndLoadClass(Unsafe.java:126)
    at org.apache.webbeans.proxy.AbstractProxyFactory.createProxyClass(AbstractProxyFactory.java:280)
    at org.apache.webbeans.proxy.AbstractProxyFactory.createProxyClass(AbstractProxyFactory.java:250)
    at org.apache.webbeans.proxy.InterceptorDecoratorProxyFactory.createProxyClass(InterceptorDecoratorProxyFactory.java:216)
    at org.apache.webbeans.proxy.InterceptorDecoratorProxyFactory.createProxyClass(InterceptorDecoratorProxyFactory.java:188)
    at org.apache.webbeans.portable.AbstractProducer.defineInterceptorStack(AbstractProducer.java:105)
    at org.apache.webbeans.config.BeansDeployer.validate(BeansDeployer.java:1183)
    at org.apache.webbeans.config.BeansDeployer.validateInjectionPoints(BeansDeployer.java:1104)
    at org.apache.webbeans.config.BeansDeployer.deploy(BeansDeployer.java:330)
    at org.apache.webbeans.lifecycle.AbstractLifeCycle.bootstrapApplication(AbstractLifeCycle.java:137)
    at org.apache.webbeans.lifecycle.AbstractLifeCycle.startApplication(AbstractLifeCycle.java:103)
    at org.apache.webbeans.web.lifecycle.WebContainerLifecycle.startApplication(WebContainerLifecycle.java:98)
    at org.apache.webbeans.servlet.WebBeansConfigurationListener.doStart(WebBeansConfigurationListener.java:207)
    at org.apache.webbeans.servlet.WebBeansConfigurationListener.contextInitialized(WebBeansConfigurationListener.java:85)
    at org.apache.meecrowave.openwebbeans.OWBAutoSetup$EagerBootListener.doContextInitialized(OWBAutoSetup.java:84)
    at org.apache.meecrowave.openwebbeans.OWBAutoSetup$EagerBootListener.access$100(OWBAutoSetup.java:65)
    at org.apache.meecrowave.openwebbeans.OWBAutoSetup.onStartup(OWBAutoSetup.java:61)
    at org.apache.meecrowave.Meecrowave.lambda$deployWebapp$9(Meecrowave.java:280)
    at org.apache.catalina.core.StandardContext.startInternal(StandardContext.java:5135)
    at org.apache.catalina.util.LifecycleBase.start(LifecycleBase.java:183)
    at org.apache.catalina.core.ContainerBase.addChildInternal(ContainerBase.java:717)
    at org.apache.catalina.core.ContainerBase.addChild(ContainerBase.java:690)
    at org.apache.catalina.core.StandardHost.addChild(StandardHost.java:705)
    at org.apache.meecrowave.Meecrowave.deployWebapp(Meecrowave.java:420)
    at org.apache.meecrowave.Meecrowave.deployClasspath(Meecrowave.java:190)
    at org.talend.sdk.component.server.cli.EnhancedCli.run(EnhancedCli.java:52)
    at org.talend.sdk.component.studio.ProcessManager$2.run(ProcessManager.java:288)

以管理员和用户身份启动。

尝试使用 Java 16、Java 11 和“OpenJDK（推荐发行版：Zulu）”

我该如何解决这个问题？