小编Nar*_*rek的帖子

我们有一个单独的流媒体事件源,每秒有数千个事件,这些事件都标有一个id,用于标识事件所属的数万个客户中的哪一个.我们想使用这个事件源来填充数据仓库(在流模式下),但是,我们的事件源不是持久性的,所以我们还希望将原始数据存档在GCS中,以便我们可以通过我们的数据重放它仓库管道,如果我们进行需要它的更改.由于数据保留要求,我们持久存储的任何原始数据都需要由客户进行分区,以便我们可以轻松删除它.

在Dataflow中解决这个问题最简单的方法是什么？目前我们正在使用自定义接收器创建数据流作业,该接收器将数据写入GCS/BigQuery上的每个客户的文件,这是明智的吗？

我们目前正在使用Google的Cloud Dataflow SDK(1.6.0)在GCP中运行数据流作业,但是,我们正在考虑转向Apache Beam SDK(0.1.0).我们仍将使用数据流服务在GCP中运行我们的工作.有没有人经历过这种转变并有建议？这里是否有任何兼容性问题,GCP是否鼓励这一举措？

centernet_resnet50_v2_512x512_kpts_coco17_tpu-8我正在Nvidia Tesla P100上使用张量流对象检测模型来提取边界框和关键点，以检测视频中的人物。使用tensorflow.org 上的预训练数据，我每秒能够处理大约 16 帧。有什么方法可以提高该模型的评估速度吗？以下是我一直在研究的一些想法：

• 修剪模型图，因为我只检测 1 种类型的对象（人）
  • 没有成功地做到这一点。在构建模型时更改label_map似乎并没有提高性能。
• 对输入大小进行硬编码
  • 还没有找到一个好的方法来做到这一点。
• 使用TensorRT等工具将模型编译为优化形式
  • 最初尝试转换为 TensorRT 并没有任何性能改进。
• 批量预测
  • 看起来预训练模型的批量大小硬编码为 1，到目前为止，当我尝试使用 来更改它时，model_builder我发现性能有所下降。
  • 我的 GPU 利用率约为 75%，所以我不知道这里是否有很多收获。