标签: talend

我目前正在评估Talend ETL(Talend Open Studio for Data Integration).

我想知道如何/如果我可以将ETL作业公开为Web服务.

我知道我可以将作业导出为Web服务并通过特定的URL调用它们,但我的目标是能够使用IN/OUT参数公开特定的WSDL.

一个示例用例是:

1)在Talend ETL中调用WS并使用数据传递XML

2)Talend ETL从XML中提取数据,并将它们作为变量插入到要对DB执行的查询中.

3)Talend ETL将结果集从DB转换为XML数据并响应WS客户端.

最后,我还想知道相同的场景是否可以作为REST服务公开.

我正在尝试使用 CSV 将大量数据导入到平面表中。在导入 BigQuery 报告期间：

- File: 0 / Line:6659 / Field:11: Could not parse '' as a timestamp

在架构中，我有 2 个时间戳：字段 4 和 11 。两者都可以为空。对于第二个时间戳，字段 11 上的行条目确实为空。

它应该像这样工作还是我需要将其发送为“0”？

样本输入

这是我输入的一个例子。如您所见，地址列有 2 个值，我想将它们分开然后合并为一个值。

预期产出

这就是输出应该是什么，将值合并到一个单元格中。

Talend 输出

如果我将数据读入 Talend，它看起来像这样：

我正在使用 Talend 准备数据件。我想使用 tMap 组件将字符串与列的内容进行比较，并创建一个变量以存储在数据库中。问题是==操作员没有给出正确的结果（例如：row2.recipient == "text"?"text":"" 我总是得到""），如果我使用，.equals我在执行时会出错。

我无法在 Mac OS 上安装 Talend open studio。错误 - TOS_BD-macosx-cocoa 可执行启动器无法找到其配套共享库。

我有大约 20 个不同的数据源，所有小应用程序都有 API（一些肥皂和一些其他的）。我需要组合所有这些数据，将其转换并将数据存储到数据仓库中。我正在考虑 Azure SQL 数据库。但是，我不确定可以使用什么工具来实际获取 API 和数据。每个数据源在一天内可以建立的连接方面都有限制，大多数这些 API 需要运行多个 API 来获取数据。

我查看了 Azure 数据工厂----它不支持 SOAP API 我查看了逻辑应用----我不确定它是否可以执行复杂的 ETL 并可以检索数据

我想的另一个选择是安装带有 SQL Server 的 Azure VM，然后使用 Talend 通过 REST 和 SOAP 连接器获取数据并执行 ETL。我可以采取的另一种方法是使用 SSIS，而不是使用 Talend。但我相信我也需要第三方 Rest 和 Soap 连接器。

我正在寻找最具成本效益和可扩展性的解决方案。

任何建议都会非常有帮助。

当我尝试使用 Talend 作业将数据加载到 HBase 表时出现此错误：

[ERROR]: org.apache.hadoop.hbase.client.AsyncProcess - Cannot get replica 0 location for {"totalColumns":2,"families":{"0":[{"timestamp":1525346138064,"tag":[],"qualifier":"CURRENT_VALUE","vlen":8},{"timestamp":1525346138064,"tag":[],"qualifier":"LIMIT_REACHED_FLAG","vlen":1}]},"row":"\\x8B\\x00EXABEAT_DISPATCHER\\x00ID_LOG_DETTAGLIO"}

我需要理解为什么会出现这个错误。谢谢

我是 Airflow 的新手。我有一些使用 T alend Open Studio for Big Data生成的 .jar 作业，我想使用 Airflow 安排和管理这些作业，我的问题是，Airflow 是否支持 .jar 文件或由 TOS 作为DAG生成 ？如果它呢？或者有没有其他方法可以在 Airlow 上运行 .jar ？

我使用 Airflow v1.10.3 的工作主要是从 mongodb 数据库中提取和处理数据，然后用新处理的数据更新数据库。

谢谢 ！

您好，我使用 Talend ESB 7.2，并尝试使用 tRest Response

我已经使用 tJsonExtractField 提取 Json \n

在“metas”字段中，我有另一个 json 字符串，我尝试将此字符串提取为数组（具有键值关联）。

元字段示例

{  \n   "482f75dd-a8e4-4f5c-80f0-85b5a7eeb340":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ],\n   "d8cac586-2d64-4fe6-bdf4-91a5bac3541e":[  \n      "Id system"\n   ],\n   "b17baa47-2aa4-4959-a4f1-073f97833ba2":[  \n      "Intranet_T\xc3\xa9l\xc3\xa9_services_Web"\n   ],\n   "df35ac57-90eb-4e7f-af56-3f50be808ee1":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ],\n   "046f1767-f303-4f89-bed6-7c58dab5f47b":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ],\n   "ed979530-1dcc-4f48-853c-9dc43ebfc92d":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ],\n   "a19f08a9-edf1-489b-9fb3-17a6335df112":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ],\n   "60911596-67e7-4caf-afa1-67ff90c8fa8b":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ],\n   "0dee3ca9-7962-4ee5-bc02-89d80e315072":[  \n      "saas"\n   ],\n   "4e44268d-0231-4d1d-8e6d-13580dc89b31":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ],\n   "0fd60a21-0bb4-4e3f-a203-8cef11ad3149":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ],\n   "7c4b6cb3-1918-4ec5-85dc-add60186d29b":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ],\n   "48657111-f80f-4bd1-842d-0ce2c4a044b6":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ],\n   "6061a25d-3aaf-d58f-81a4-ad38878d2952":[  \n      "ind\xc3\xa9termin\xc3\xa9"\n   ]\n}\n

编辑 …

首次启动 Talend Open Studio 时出现错误

java.lang.NoSuchMethodException: sun.misc.Unsafe.defineClass(java.lang.String,[B,int,int,java.lang.ClassLoader,java.security.ProtectionDomain)
    at java.base/java.lang.Class.getDeclaredMethod(Class.java:2613)
    at org.apache.webbeans.proxy.Unsafe.lambda$unsafeDefineClass$2(Unsafe.java:163)
    at java.base/java.security.AccessController.doPrivileged(AccessController.java:312)
    at org.apache.webbeans.proxy.Unsafe.unsafeDefineClass(Unsafe.java:160)
    at org.apache.webbeans.proxy.Unsafe.defineAndLoadClass(Unsafe.java:126)
    at org.apache.webbeans.proxy.AbstractProxyFactory.createProxyClass(AbstractProxyFactory.java:280)
    at org.apache.webbeans.proxy.AbstractProxyFactory.createProxyClass(AbstractProxyFactory.java:250)
    at org.apache.webbeans.proxy.InterceptorDecoratorProxyFactory.createProxyClass(InterceptorDecoratorProxyFactory.java:216)
    at org.apache.webbeans.proxy.InterceptorDecoratorProxyFactory.createProxyClass(InterceptorDecoratorProxyFactory.java:188)
    at org.apache.webbeans.portable.AbstractProducer.defineInterceptorStack(AbstractProducer.java:105)
    at org.apache.webbeans.config.BeansDeployer.validate(BeansDeployer.java:1183)
    at org.apache.webbeans.config.BeansDeployer.validateInjectionPoints(BeansDeployer.java:1104)
    at org.apache.webbeans.config.BeansDeployer.deploy(BeansDeployer.java:330)
    at org.apache.webbeans.lifecycle.AbstractLifeCycle.bootstrapApplication(AbstractLifeCycle.java:137)
    at org.apache.webbeans.lifecycle.AbstractLifeCycle.startApplication(AbstractLifeCycle.java:103)
    at org.apache.webbeans.web.lifecycle.WebContainerLifecycle.startApplication(WebContainerLifecycle.java:98)
    at org.apache.webbeans.servlet.WebBeansConfigurationListener.doStart(WebBeansConfigurationListener.java:207)
    at org.apache.webbeans.servlet.WebBeansConfigurationListener.contextInitialized(WebBeansConfigurationListener.java:85)
    at org.apache.meecrowave.openwebbeans.OWBAutoSetup$EagerBootListener.doContextInitialized(OWBAutoSetup.java:84)
    at org.apache.meecrowave.openwebbeans.OWBAutoSetup$EagerBootListener.access$100(OWBAutoSetup.java:65)
    at org.apache.meecrowave.openwebbeans.OWBAutoSetup.onStartup(OWBAutoSetup.java:61)
    at org.apache.meecrowave.Meecrowave.lambda$deployWebapp$9(Meecrowave.java:280)
    at org.apache.catalina.core.StandardContext.startInternal(StandardContext.java:5135)
    at org.apache.catalina.util.LifecycleBase.start(LifecycleBase.java:183)
    at org.apache.catalina.core.ContainerBase.addChildInternal(ContainerBase.java:717)
    at org.apache.catalina.core.ContainerBase.addChild(ContainerBase.java:690)
    at org.apache.catalina.core.StandardHost.addChild(StandardHost.java:705)
    at org.apache.meecrowave.Meecrowave.deployWebapp(Meecrowave.java:420)
    at org.apache.meecrowave.Meecrowave.deployClasspath(Meecrowave.java:190)
    at org.talend.sdk.component.server.cli.EnhancedCli.run(EnhancedCli.java:52)
    at org.talend.sdk.component.studio.ProcessManager$2.run(ProcessManager.java:288)

以管理员和用户身份启动。

尝试使用 Java 16、Java 11 和“OpenJDK（推荐发行版：Zulu）”

我该如何解决这个问题？