主成分分析法(principal component analysis, PCA)是最常用的无监督高维数据降维方法之一，它旨在降维的过程中保留原数据中最重要的几个分量，从而达到最大化原数据方差的作用。几乎所有数据降维方面研究都要用来作为比较重要的方法。
主成分分析的基本思想就是在原有样本的n维空间内再建立一个d维线性空间，用n个标准正交基进行重新映射，然后选取其中的d’个正交基进行保留，而在这d’个坐标轴上的坐标值就是映射到低维后的坐标。而推导的目的就是为了确定如何确定这这d个标准正交基以及如何选取它们。就如下图一样，将二维空间内的点映射至一维空间，最终选择较长的那条向量进行投影映射。
首先，需要将手头需要降维的数据进行中心化，使样本中心点为原点
然后假定选择的新的坐标系为
其中W是标准正交基向量，即 (i != j)
选取其中的d’个向量让原样本向新坐标系中映射WTxi，即：
W是经过选取后的d’个标准正交基，z是低维中的坐标
选取的目标是使降维后的点尽量的分散，也就是方差尽量的大：
优化问题被归纳为
根据拉格朗日乘子法，来决定哪d’个w可以留下，优化目标就成为了：
代入优化目标
所以求解的过程就是寻找原样本协方差矩阵XXT的最大的d’个特征值，而相应的标准正交基就是相应特征值的特征向量;