PCA，TruncatedSVD和ICA在细节上有什么区别？

Question

有人能详细告诉我PCA（主成分分析），TruncatedSVD（截断奇异值分解）和ICA（独立成分分析）之间的区别吗？

Answer 1

详细说明需要长页 PDF 文档:-)。

但想法很简单：

1. 主成分分析 (PCA) - 分析数据本机坐标。即沿数据具有最大能量的坐标（方差）。对于维度为 d 的 n 个样本，将存在 $d$ 个正交方向。即投射到它们上的数据没有相关性。如果我们将数据视为随机变量，则意味着我们找到了一个坐标系，其中投影数据中任何对的互相关（一阶矩）都消失了。
   这是通过保留大部分能量来近似低维数据的非常有效的方法。
2. 截断 SVD - 可以表明计算这些坐标系的方法之一是使用 SVD。因此，这是应用 PCA 背后的思想的方法。
3. 独立成分分析 (ICA) - 这比 PCA 更进一步。虽然在 PCA 中我们仅处理 ICA 中数据的一阶矩（相关性），但我们正在研究更高矩并尝试找到使更高矩消失的数据投影（考虑缺乏相关性与概率独立）。