小编cod*_*one的帖子

我每天都使用大型 pandas 数据帧，它获取我们从网络本地的 webAPI（xml 编码为 utf-8）解析的馈送信息。

在我提供数据帧并导出为 csv 文件后，我开始出现编码错误（本地计算机是 cp1252），在过去的几周里我不得不处理这个错误。

我最终找到的解决方案是在tangfucious的回复下[这里][1]。

    df['crumbs'] = df['crumbs'].map(lambda x: x.encode('unicode-escape').decode('utf-8'))

一行代码，接受一个字符串并使用 对其进行编码.encode=('unicode_escape')，然后解码为 utf-8。

有人可以向我解释一下这段代码是如何工作的吗？不幸的是，我是一个新手，所以我无法对他的回复发表评论

unicode-escape 的幕后目的是什么（除了明显的，向每个 unicode 代码点添加 \ ）。这对解码为 utf-8 有何影响？为什么这是必要的？使用相同的编码进行编码/解码不是总是更好吗？

使用“unicode_escape”还有其他用途吗？

我正在了解我们应该如何使用Google DataFlow（基于Apache Beam）Python SDK测试管道。

https://beam.apache.org/documentation/pipelines/test-your-pipeline/ https://cloud.google.com/dataflow/pipelines/creating-a-pipeline-beam

上面的链接仅适用于Java。我对Google为什么要指向Java Apache测试感到困惑。

我希望能够查看两个p集合上的CoGroupByKey连接的结果。我来自Python背景，使用Beam / Dataflow几乎没有经验。

真的可以使用任何帮助。我知道这在一定程度上是开放式的。基本上，我需要能够查看管道中的结果，这使我无法查看CoGroupByKey Join的结果。

下面的代码

    #dwsku, product are PCollections coming from BigQuery. Nested Values as 
    #well in Product, but not dwsku
    d1 = {'dwsku': dwsku, 'product': product}
    results = d1 | beam.CoGroupByKey()
    print results

打印内容：

    PCollection[CoGroupByKey/Map(_merge_tagged_vals_under_key).None]

没有关于如何将pCollections转换为输入到.CoGroupByKey()所需的pCollections的文档

上下文基本上我有两个大的pCollections,我需要能够找到两者之间的差异,对于第二类ETL更改(如果它在pColl1中不存在,那么添加到pColl2中的嵌套字段),这样我就能够从BigQuery保留这些记录的历史记录.

管道架构:

1. 将BQ表读入2个pCollections:dwsku和产品.
2. 将CoGroupByKey()应用于两个集合以返回 - >结果
3. 解析结果以查找并将dwsku中的所有更改嵌套到产品中.

建议任何帮助.我在SO上发现了一个java链接,它做了我需要完成的同样的事情(但是在Python SDK上没有任何内容).

从PCollection <TableRow>转换为PCollection <KV <K,V >>

是否有Apache Beam的文档/支持,特别是Python SDK？

每当我绘制此图像时，都会出现白色变黄的问题。我知道这是由于matplotlib使用的默认颜色映射viridis所致。当我切换到cmap ='gray'时，它最终显示右侧的红色窗格。

谁能解释为什么会这样？此类图片通常应使用什么颜色图？当我执行默认的imshow（img）时，图片如何显示正确的颜色？隔离单个颜色窗格时会有什么变化？当隔离图像中的红色绿色或蓝色窗格时，首选的cmap是什么？为什么？

这是红色窗格的输出

常规图像根据RGB颜色模式正确绘制：