标签: data-ingestion

我想知道如何查询在给定日期创建或更新的行，而不使用任何特定列在数据库表中查找。有没有一种方法 information_schema 可以为我们提供行级插入/更新日期时间？

我正在研究将 Spring Boot 应用程序日志直接发送到弹性搜索的可行性。不使用 filebeats 或 logstash。我相信 Ingest 插件可能会对此有所帮助。

我最初的想法是使用 TCP 上的 logback 来做到这一点。

https://github.com/logstash/logstash-logback-encoder

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
  <appender name="stash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
      <destination>127.0.0.1:4560</destination>
      <encoder class="net.logstash.logback.encoder.LogstashEncoder" />
  </appender>

  <root level="DEBUG">
      <appender-ref ref="stash" />
  </root>
</configuration>

所以看上面的你可以将日志直接发送到logstash。我只是想知道是否可以使用较新的摄取功能并使用 logstash 跳过？通过使用摄取方法通过网络将 json 编码的日志直接发送到弹性中？

https://www.elastic.co/blog/new-way-to-ingest-part-1

我的问题

我想知道这是否可能？如果是这样，你能解释一下你将如何做到这一点。还有什么可能是陷阱等。

我正在从 SFTP 站点读取 CSV 文件并使用 Nifi 将其加载到 mysql 数据库。

我有以下工作流程，似乎运行良好。我只需要一些帮助来弄清楚如何在开始加载数据之前截断表。

尼菲流程：

ListSFTP -> FetchSFTP -> InferAvroSchema -> ConvertCSVtoAvro -> ConvertAvrotoJSON -> SplitJSON -> ConvertJSONtoSQL -> PutSQL

这个流程似乎工作正常，但是每次运行这个流程时，我都需要先截断表，然后开始加载。

有人可以帮我提供一些关于如何实现这一目标的信息吗？或者有没有比我写的更好的流程，请指教。

谢谢，阿迪尔

我正在寻找将 Google Analytics 数据（以及历史数据）摄取到 Redshift 的选项。欢迎任何有关工具、API 的建议。我在网上搜索并发现 Stitch 作为 ETL 工具之一，如果您有的话，请帮助我更好地了解此选项和其他选项。