小编Luk*_*Mao的帖子

在 Google Cloud BigQuery 中存储句子嵌入

我正在寻找一种在 Google 的 BigQuery 中存储由语言模型(如(T5))生成的嵌入的方法。

嵌入采用 Numpy 数组或张量的形式。

我发现了 3 种方法:

  1. TFRecord,将其写入TFRecord文件并存储到云存储
  2. 将 numpy 数组转换为字符串并作为字符串列存储在表中
  3. 存储到模式为 REPEAT 的列。(不确定这样是否可以保留嵌入向量条目的顺序)

希望任何人都可以提供一些建议或其他方法。

非常感谢

embedding google-bigquery google-cloud-platform huggingface-transformers

6
推荐指数
1
解决办法
151
查看次数