小编use*_*964的帖子

调试无法按预期工作的 Google Dataflow 流作业

我正在遵循教程,了解如何将数据从 Oracle 数据库迁移到 Cloud SQL PostreSQL 实例。

我正在使用 Google 提供的流模板数据流到 PostgreSQL

从高层次来看,这是预期的:

  1. Datastream 以 Avro 格式从源 Oracle 数据库导出回填和更改的数据到指定的 Cloud Bucket 位置
  2. 这会触发 Dataflow 作业从该云存储位置获取 Avro 文件并插入到 PostgreSQL 实例中。

当 Avro 文件上传到云存储位置时,该作业确实被触发,但当我检查目标 PostgreSQL 数据库时,所需的数据尚未填充。

当我检查作业日志和工作日志时,没有错误日志。当作业被触发时,这些是记录的日志:

StartBundle: 4
Matched 1 files for pattern gs://BUCKETNAME/ora2pg/DEMOAPP_DEMOTABLE/2022/01/11/20/03/7e13ac05aa3921875434e51c0c0c63aaabced31a_oracle-backfill_336860711_1_0.avro
FinishBundle: 5
Run Code Online (Sandbox Code Playgroud)

有谁知道问题是什么?是配置问题吗?如果需要的话我会发布所需的配置。

如果没有,有人可以帮助我如何正确调试这个特定的数据流作业吗?谢谢

编辑1:

在检查管道中步骤的步骤信息时,发现以下内容:

以下是管道中的所有步骤: 在此输入图像描述

第一步 (DatastreamIO) 似乎按预期工作,“输出集合”中的元素计数器数量正确,为 2。 在此输入图像描述

然而,在第二步中,在输出集合中找不到这两个元素计数器。进一步检查,可以看到元素似乎在以下步骤中被删除(格式化为 Postgres DML > 格式化为 Postgres DML > 映射): 在此输入图像描述

编辑2:

这是上述步骤的 Cloud Worker 日志的屏幕截图: 在此输入图像描述

编辑3:

为了调试这个问题,我从源代码中单独构建并部署了模板。我发现代码可以运行到以下行DatabaseMigrationUtils.java

return KV.of(jsonString, dmlInfo);
Run Code Online (Sandbox Code Playgroud)

其中 …

postgresql google-cloud-platform google-cloud-dataflow

6
推荐指数
1
解决办法
502
查看次数

如何在ReactJS中使用非缩小的开发环境

我在生产中使用 ReactJS 创建了一个 Web 应用程序。添加新功能后,出现以下错误Error: Minified React error #130; visit http://facebook.github.io/react/docs/error-decoder.html?invariant=130&args[]=undefined&args[]= for the full message or use the non-minified dev environment for full errors and additional helpful warnings

当我单击该链接时,这是总结的错误消息: Element type is invalid: expected a string (for built-in components) or a class/function (for composite components) but got: undefined.

该功能在本地实例上有效,但当我部署到服务器上时,会弹出错误。

我并不是从头开始创建这个项目,而是我从别人那里接手的。在项目根目录中,有一个名为.env.development(在我的本地实例上)的文件,而服务器上的代码库有一个名为.env

我不确定这是否有任何意义,只是想给出所有细节。

为了创建生产版本,我使用了以下命令sudo npm run build

这是我的构建脚本package.json

  "scripts": {
    "start": "react-app-rewired start",
    "build": "react-app-rewired --max_old_space_size=8192 build",
    "test": "react-app-rewired test --env=jsdom",
    "eject": "react-scripts eject"
  } …
Run Code Online (Sandbox Code Playgroud)

javascript reactjs

5
推荐指数
0
解决办法
1332
查看次数

服务名称未在 Kubernetes 集群中解析

正如标题所述,我在解析 K8 集群中的服务名称时遇到问题。

根据这个问题,我创建了一个 busybox pod 并尝试使用nslookup nginx-service. 我收到错误:;; connection timed out; no servers could be reached

我也试过说明如何调试DNS问题的官方K8的文档上。正如它所说,我试图做一个,nslookup kubernetes.default但得到了和以前一样的错误。

下面列出了一些信息:

1) 输出 cat /etc/resolv.conf

nameserver 10.96.0.10
search default.svc.cluster.local svc.cluster.local cluster.local 
reddog.microsoft.com
options ndots:5
Run Code Online (Sandbox Code Playgroud)

2) 结果 kubectl get pods --namespace=kube-system -l k8s-app=kube-dns

NAME                       READY   STATUS    RESTARTS   AGE
coredns-5c98db65d4-5nprd   1/1     Running   0          3d22h
coredns-5c98db65d4-5vw95   1/1     Running   0          3d22h
Run Code Online (Sandbox Code Playgroud)

3) 输出 for p in $(kubectl get pods --namespace=kube-system -l k8s-app=kube-dns -o name); do kubectl …

dns kubernetes

5
推荐指数
0
解决办法
2143
查看次数