主成分分析 - The mini wiki

复回归分析，是以关系式表示目的变数和解释变数之间的关系，然后用于预测的方法。它与主成分分析同为多变量分析。在有目的变数的情形下，使用复回归分析；在没有目的变数的情形下，使用主成分分析。通常此种分析方法会借助统计软件计算。

核主成分分析是多变量统计领域中的一种分析方法，是使用核方法对主成分分析的非线性扩展，即将原数据通过核映射到再生核希尔伯特空间后再使用原本线性的主成分分析。

尺度不变特征转换是一种机器视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变数，此算法由 David Lowe 在1999年所发表，2004年完善总结。

后续的论文中也有许多基于 SIFT 改进的论文，例如 SURF 将 SIFT 的许多过程近似，达到加速的效果；PCA-SIFT利用主成分分析降低描述子的维度，减少内存的使用并加快配对速度。

多线性主成分分析方法，可将高维度空间映射到低维空间中去，降维的过程就是舍弃不重要的特征向量缩减维度，相较于一般的主成分分析，多线性主成分分析保留了资料的结构性且有较佳的解释比例。
多线性主成分分析是主成分分析到多维的一个延伸。PCA是投影向量到向量，而MPCA是投影张量到张量，投影的结构相对简单，另外运算在较低维度的空间进行，因此处理高维度数据时有低运算量的优势。举例来说，给一个100x100的图片，主成分分析运做在1000x1的向量上，而多线性主成分分析则是在二阶模式上运作100x1的向量。对于等量的降维来说，主成分分析需要估算的变数量为多线性主成分分析的49倍，因此在实用面上多线性主成分分析可以比主成分分析更有效率。

坐标下降法是一种非梯度优化算法。算法在每次迭代中，在当前点处沿一个坐标方向进行一维搜索以求得一个函数的局部极小值。在整个过程中循环使用不同的坐标方向。对于不可拆分的函数而言，算法可能无法在较小的迭代步数中求得最优解。为了加速收敛，可以采用一个适当的坐标系，例如通过主成分分析获得一个坐标间尽可能不相互关联的新坐标系。

尺度不变特征转换是一种机器视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变数，此算法由 David Lowe 在1999年所发表，2004年完善总结。

后续的论文中也有许多基于 SIFT 改进的论文，例如 SURF 将 SIFT 的许多过程近似，达到加速的效果；PCA-SIFT利用主成分分析降低描述子的维度，减少内存的使用并加快配对速度。

在统计学中, 方差最大化旋转是在主成分分析或因子分析中使用的一种方法，通过坐标变换使各个因子载荷的方差之和最大。通俗地说，就是任何一个变量只在一个因子上有高贡献率，而在其它因子上的载荷几乎为0; 任何一个因子只在少数变量上有高载荷, 而在其它变量上的载荷几乎为0. 果满足这个条件的因子载荷矩阵称为具有“简单结构”。方差最大化旋转就是用来将载荷矩阵旋转到尽量接近简单结构的方法。从这组变量代表的样本看来，方差最大化旋转找到了一种表示样本的最简单的方法，即每个样本可以用少数变量的函数的线性组合表示。