小编Ame*_*nde的帖子

我一直在寻找自动编码器,并一直在想是否使用绑定的重量.我打算将它们作为预训练步骤进行堆叠,然后使用它们的隐藏表示来提供NN.

使用解开的权重,它看起来像:

F(X)=σ ₂(b ₂ + w ^ ₂*σ ₁(b ₁ + w ^ ₁*X))

使用绑定的权重,它看起来像:

F(X)=σ ₂(b ₂ + w ^ ₁ ^Ť*σ ₁(b ₁ + w ^ ₁*X))

从一个非常简单的观点来看,可以说,绑定权重确保编码器部分在给定体系结构的情况下生成最佳表示,如果权重是独立的,那么解码器可以有效地采用非最优表示并仍然对其进行解码？

我问,因为如果解码器出现"魔术"并且我打算只使用编码器来驱动我的NN,那不会有问题.

我在该us-central1-f地区分配了多个 Google Cloud TPU 。机器类型都是v2-8.

如何利用我所有的 TPU 来训练单个模型？

该us-central1-f地区不支持 pods，因此使用 pods 似乎不是解决方案。即使 pod 可用，我拥有的 v2-8 单元的数量也不匹配任何 pod TPU 切片大小（16、64、128、256），因此我无法在单个 pod 中使用它们。

我正在一个NLP项目上，我需要一个示例说明以下功能。说一句话

告诉山姆，他病了将不得不离开亚瑟。

在此声明中，第一个he必须标记为Sam，第二个必须标记he为Arthur。我在Python中工作。关于我可以用来获得以下功能的任何建议？