使用 scikit 学习重建错误分析的快速 ICA

Question

我正在尝试fastICA在 scikitLearn 中使用过程。出于验证目的，我试图了解PCA和ICA基于信号重建之间的区别。

原始观测信号数为 6，我尝试使用 3 个重构独立分量。问题是，无论是ICA和PCA导致相同的重建误差不管是什么标准我使用。有人可以了解这里发生的事情吗？

代码如下：

 pca = PCA(n_components=3)
 icamodel = FastICA(n_components=3,whiten=True)

 Data = TrainingDataDict[YearSpan][RiskFactorNames]

 PCR_Dict[YearSpan] = pd.DataFrame(pca.fit_transform(Data), 
                                   columns=['PC1','PC2','PC3'],index=Data.index)

 ICR_Dict[YearSpan] = pd.DataFrame(icamodel.fit_transform(Data), 
                                   columns=['IC1','IC2','IC3'],index=Data.index)

'------------------------Inverse Transform of the IC and PCs -----------'

 PCA_New_Data_Df = pd.DataFrame(pca.inverse_transform(PCR_Dict[YearSpan]),
                                   columns =['F1','F2','F3'],index = Data.index)

 ICA_New_Data_Df = pd.DataFrame(icamodel.inverse_transform(ICR_Dict[YearSpan]),
                                   columns =['F1','F2','F3'],index = Data.index)

下面是我测量重建误差的方法

'-----------reconstruction errors------------------'
 print 'PCA reconstruction error L2 norm:',np.sqrt((PCA_New_Data_Df - Data).apply(np.square).mean())

 print 'ICA reconstruction error L2 norm:',np.sqrt((ICA_New_Data_Df - Data).apply(np.square).mean())

 print 'PCA reconstruction error L1 norm:',(PCA_New_Data_Df - Data).apply(np.absolute).mean()

 print 'ICA reconstruction error L1 norm:',(ICA_New_Data_Df - Data).apply(np.absolute).mean()

下面是对PC和ICs尾部的描述

PC Stats :  ('2003', '2005') 
       Kurtosis  Skewness
PCR_1 -0.001075 -0.101006
PCR_2  1.057140  0.316163
PCR_3  1.067471  0.047946 

IC Stats :  ('2003', '2005') 
       Kurtosis  Skewness
ICR_1 -0.221336 -0.204362
ICR_2  1.499278  0.433495
ICR_3  3.654237  0.072480 

下面是重建的结果

PCA reconstruction error L2 norm: 
SPTR        0.000601
SPTRMDCP    0.001503
RU20INTR    0.000788
LBUSTRUU    0.002311
LF98TRUU    0.001811
NDDUEAFE    0.000135
dtype: float64 

ICA reconstruction error L2 norm : 
SPTR        0.000601
SPTRMDCP    0.001503
RU20INTR    0.000788
LBUSTRUU    0.002311
LF98TRUU    0.001811
NDDUEAFE    0.000135

甚至L1规范都是一样的。我有一点困惑！

Answer 1

抱歉这么晚才回复你，希望这个答案仍然可以帮助到你。

\n

fastICA 可以看作是白化（可以通过 PCA 实现）加上正交旋转（正交旋转使得估计的源尽可能非高斯）。

\n

正交旋转不会影响 ICA 解的重建误差，因此 PCA 和 ICA 具有相同的重建误差。

\n

旋转 PCA 解决方案经常在心理学中使用（例如 Varimax 旋转）。然而，fastICA 中的正交旋转矩阵是通过迭代过程估计的（来自 Aapo Hyv\xc3\xa4rinen 的定点迭代方案）

\n