小编zyd*_*zyd的帖子

当我尝试在本地使用 koalas.DataFrame.to_delta() 将 Koalas DataFrame 直接写入增量表时，出现以下 Pyspark 异常：
java.lang.ClassNotFoundException: Failed to find data source: delta
编辑：忽略下面，直接调用 Pyspark 也会出现问题。

如果我将 Koalas DataFrame 转换为 Spark DataFrame 然后写入 delta，我似乎没有问题。是否存在 Koalas 不知道但 Pyspark 知道的底层库？看起来很奇怪，因为我认为在幕后使用相同的 Pyspark 模块...我应该注意到 Koalas to_delta() 方法似乎确实在 Databricks 上工作，这表明我的本地设置缺少与 Delta 相关的库。

失败的考拉代码：

kdf = ks.DataFrame({'eid': [1, 2, 3],
                        'contigName': ['chr1', 'chr2', 'chr3'],
                        'phen1': [0.123, 0.456, 0.789],
                        'phen2': [0.987, 0.654, 0.321]})
kdf.to_delta(path='tmp/test.delta', mode='overwrite')

编辑：不让考拉 Spark 到 Delta 代码：

kdf = ks.DataFrame({'eid': [1, 2, 3],
                        'contigName': ['chr1', 'chr2', 'chr3'],
                        'phen1': [0.123, 0.456, 0.789], …

我有一个 Lambda 堆栈，位于与 Lambda 代码本身分开的存储库中。Lambda 代码作为 docker 映像打包并部署到 ECR，然后单独的 Lambda 堆栈将代码作为DockerImageFunctionusingaws_lambda.DockerImageCode.from_ecr()方法引用。这似乎已经正确部署了初始函数，但是在将 Lambda 代码的新映像发布到 ECR，然后cdk deploy使用 Lambda 堆栈从存储库运行后，它只是说没有发现任何差异。如何引用我的 Lambda 代码，以便在部署构造时看到代码已更改并更新 Lambda 函数代码（就像 cliaws lambda update-function-code调用那样）？我在使用引用 Lambda 堆栈本地代码（如在同一存储库中）的代码资产之前已经完成了此操作，但是当代码没有被引用为 Lambda 代码时，如何让堆栈识别 Lambda 代码中的更改本地资产？

我意识到对于是否将堆栈组织在单一存储库中还是在单独的存储库中组织堆栈以及它们负责部署的任何应用程序代码存在一些争论，但为了讨论这一点，我更感兴趣的是如何完成 Lambda 函数的更新当堆栈与代码分离时。