我有一个关于如何使用python/h5py最好地写入hdf5文件的问题.
我有以下数据:
-----------------------------------------
| timepoint | voltage1 | voltage2 | ...
-----------------------------------------
| 178 | 10 | 12 | ...
-----------------------------------------
| 179 | 12 | 11 | ...
-----------------------------------------
| 185 | 9 | 12 | ...
-----------------------------------------
| 187 | 15 | 12 | ...
...
大约10 ^ 4列,大约10 ^ 7行.(大约10 ^ 11(1000亿)个元素,或者~100GB,1个字节的整数).
使用这些数据,典型的使用几乎是一次写入,多次读取,典型的读取案例是获取第1列和另一列(比如254),将两列加载到内存中,并做一些奇特的统计.
我认为一个好的hdf5结构将使上表中的每列都是hdf5组,从而产生10 ^ 4组.这样我们就不需要将所有数据都读入内存了,是吗？hdf5结构虽然尚未定义,但它可以是任何东西.
现在的问题是:我一次收到~10 ^ 4行的数据(并且每次都没有完全相同的行数),需要将其逐步写入hdf5文件.我该怎么写这个文件？
我正在考虑python和h5py,但如果推荐的话可以使用其他工具.正在进行分组,例如
dset = f.create_dataset("voltage284", (100000,), maxshape=(None,), dtype='i8', chunks=(10000,))
然后当另一个10 ^ 4行的块到达时,替换数据集？
或者将每个10 ^ 4行的块存储为单独的数据集更好？或者我真的需要知道最后的行数吗？(这很难获得,但也许可能).
我可以保释hdf5,如果它也不是适合这项工作的工具,不过我认为一旦尴尬的写作完成,它就会很精彩.
我正在努力在一个腌制文件中附加一个列表.这是代码:
#saving high scores to a pickled file
import pickle
first_name = input("Please enter your name:")
score = input("Please enter your score:")
scores = []
high_scores = first_name, score
scores.append(high_scores)
file = open("high_scores.dat", "ab")
pickle.dump(scores, file)
file.close()
file = open("high_scores.dat", "rb")
scores = pickle.load(file)
print(scores)
file.close()
我第一次运行代码时,会打印出名称和分数.
第二次运行代码时,它会输出2个名称和2个分数.
第三次运行代码时,它会输出第一个名称和分数,但它会覆盖第二个名称并使用我输入的第三个名称和分数进行分数.我只是想让它继续添加名称和分数.我不明白为什么它保存名字并覆盖第二个名字.
在与这个惊人的facebookresearch / PyTorch-BigGraph项目及其不可能的 API苦苦挣扎之后，我设法掌握了如何运行它（感谢独立的简单示例）
我的系统限制不允许我训练所有边的密集（嵌入）表示，我需要不时上传过去的嵌入并使用新边和现有节点训练模型，注意过去和新边的节点列表不一定重叠。
我试图从这里了解：请参阅上下文部分如何做到这一点，到目前为止没有成功。
以下是一个独立的 PGD 代码，它变成batch_edges了一个嵌入节点列表，但是，我需要它来使用预训练的节点列表past_trained_nodes。
import os
import shutil
from pathlib import Path
from torchbiggraph.config import parse_config
from torchbiggraph.converters.importers import TSVEdgelistReader, convert_input_data
from torchbiggraph.train import train
from torchbiggraph.util import SubprocessInitializer, setup_logging
DIMENSION = 4
DATA_DIR = 'data'
GRAPH_PATH = DATA_DIR + '/output1.tsv'
MODEL_DIR = 'model'
raw_config = dict(
entity_path=DATA_DIR,
edge_paths=[DATA_DIR + '/edges_partitioned', ],
checkpoint_path=MODEL_DIR,
entities={"n": {"num_partitions": 1}},
relations=[{"name": "doesnt_matter", "lhs": "n", "rhs": "n", "operator": "complex_diagonal", }], …