相关疑难解决方法(0)

我有关于HDF5性能和并发性的以下问题:

1. HDF5是否支持并发写访问？
2. 除了并发性考虑外,HDF5在I/O性能方面的表现如何(压缩率是否会影响性能)？
3. 由于我在Python中使用HDF5,它的性能与Sqlite相比如何？

参考文献:

• http://www.sqlite.org/faq.html#q5
• 可以在NFS文件系统上锁定sqlite文件吗？
• http://pandas.pydata.org/

我有成千上万的长整数列表(8640).例如:

type(l1)
tuple

len(l1)
2

l1[0][:10]
[0, 31, 23, 0, 0, 0, 0, 0, 0, 0]

l1[1][:10]
[0, 0, 11, 16, 24, 0, 0, 0, 0, 0] 

我正在"挑选"元组,似乎当元组是列表时,pickle文件比numpy数组更轻.我不是python的新手,但绝不是我是专家,我真的不知道如何为不同类型的对象管理内存.我希望numpy数组更轻,但这是我在挑选不同类型的对象时获得的:

#elements in the tuple as a numpy array
l2 = [np.asarray(l1[i]) for i in range(len(l1))]
l2
[array([ 0, 31, 23, ...,  2,  0,  0]), array([ 0,  0, 11, ...,  1,  0,  0])]

#integers in the array are small enough to be saved in two bytes
l3 = [np.asarray(l1[i], dtype='u2') for i in …