我需要将一个巨大的numpy向量存储到磁盘.现在我试图存储的矢量大约是24亿个元素,数据是float64.当序列化到磁盘时,这需要大约18GB的空间.
如果我使用struct.pack()和使用float32(4字节)我可以将它减少到~9GB.我不需要接近这个数量的精确磁盘空间将很快成为一个问题,因为我期望我需要存储的值的数量可以增长一个数量级或两个.
我想如果我能访问前4个有效数字,我可以将这些值存储在一个int中,并且只使用1或2个字节的空间.但是,我不知道如何有效地做到这一点.有没有人有任何想法或建议？
需要帮助找出8位校验和.数据是132byte向量.我原本以为校验想通了,因为我能够传输数据〜30KB的我打击出其校验失败的数据的最后一段了.它由一个人关闭.
d1 = [0x00, 0x00, 0xff, 0x00, 0x00, 0x44, 0x70, 0x00, 0x70, 0x00, 0x70, 0x00, 0x70, 0x00, 0x70, 0x00, 0x70, 0x00, 0xff, 0x00, 0x10, 0x11, 0x70, 0x00, 0x70, 0x00, 0x70, 0x00, 0x70, 0x00, 0x70, 0x00, 0x70, 0x00, 0xff, 0x00, 0x10, 0x12, 0x70, 0x00, 0x70, 0x00, 0x70, 0x00, 0x70, 0x00, 0x70, 0x00, 0x70, 0x00, 0xff, 0x00, 0x10, 0x13, 0x70, 0x00, 0x70, 0x00, 0x70, 0x00, 0x70, 0x00, 0x70, 0x00, 0x70, 0x00, 0xff, 0x00, 0x10, 0x14, 0xff, 0x00, 0x10, 0x18, 0xff, 0x00, 0x10, …我的一些实验室伙伴一直在研究交叉熵强化学习。从我可以从他们那里收集的所有信息以及快速的互联网搜索中，交叉熵方法似乎与遗传算法几乎相同。有人可以向我解释一下，如果一种技术确实存在，这两种技术之间的真正区别是什么？