Vij*_*lam 2 machine-learning neural-network self-organizing-maps
我有一个大型数据集,我正在尝试使用SOM进行聚类分析.数据集是巨大的(数十亿条记录),我不确定神经元的数量和SOM网格大小应该是什么.任何指向估计神经元数量和网格大小的材料的指针都将非常受欢迎.
谢谢!
引用som工具箱的som_make函数文档
它使用启发式公式'munits = 5*dlen ^ 0.54321'.'mapsize'参数影响地图单位的最终数量:'大'地图有x4默认的地图单位数,'小'地图有x0.25默认的地图单位数.
dlen是数据集中的记录数
您还可以阅读有关解决大型数据集问题的经典WEBSOM http://www.cs.indiana.edu/~bmarkine/oral/self-organization-of-a.pdf http://websom.hut.fi /websom/doc/ps/Lagus04Infosci.pdf
请记住,地图大小也是一个特定于应用程序的参数.即,它取决于您对生成的集群的要求.大型地图产生大量小但"紧凑"的群集(分配给每个群集的记录非常相似).小地图产生的更少但更通用的群集."正确数量的聚类"不存在,尤其是在现实世界数据集中.这一切都取决于您要检查数据集的细节.