Jos*_*ras 2 memory hardware installation performance stack
假设性问题:
假设您拥有大量数据和离线的算法流程,并且您希望优化硬件.
假设您有50k要处置.
什么是构建内部堆栈的最佳硬件设置,可以最大化计算能力并为您提供灵活的内存来存储大型稀疏矩阵？
项目背景:科学研究,在大型数据集上进行机器学习,我想获得最大的收益.
50K =无关紧要(除非是政府拨款,你必须花钱).
理解确切的问题=无价之宝.
您希望在稀疏矩阵上执行操作,理想情况下尽可能快.
您将用于编码/解码内存中稀疏矩阵的算法,您将对它们执行的操作,以及诸如"您可以将整个矩阵一次装入内存"等问题 - 将使所有世界上的差异.
除了稀疏之外,您对进入这些矩阵的数据有何了解？你知道数据/空数据的比例吗？你知道最大尺寸矩阵有多大,一次你需要多少内存？
您知道可以对矩阵运算执行的任何优化吗？
我所知道的是,对典型PC上的内存数据进行精心编写的散列或二进制搜索 - 可能会胜过大型机上较少的磁盘绑定搜索算法.
您对数据的了解越多,您就越有能力优化您可以使用它做的事情. 购买硬件以支持您最后做的事情 - 首先分析并了解数据 ......
| 归档时间： |
|
| 查看次数： |
230 次 |
| 最近记录： |