模式识别、推荐系统中常用的两种矩阵分解-----奇异值分解和非负矩阵分解

第一部分：矩阵的奇异值分解：矩阵的奇异值分解证明过程中会用到五个定理，先作为补充知识展示这五个定理：定理一：A是对称矩阵，则不同特征值对应的特征向量是正交的。证明：设，是矩阵A的特征向量，且，，为，对应的特征向量，即：，则，因为A是对称矩阵，则所以，则：因为，所以：，即：和是正交的。证毕————————————————————————————————————————————————————————————————————————————定理二：矩阵和它的转置具有相同的特征值证明：因为：，即和有相同的特征多项式，所以有相同的特征值。————————————————————————————————————————————————————————————————————————————定理三：半正定矩阵的特征值均大于等于零证明：这是半正定矩阵的定义————————————————————————————————————————————————————————————————————————————定理四：若满足,则称是单位正交矩阵单位正交矩阵有如下的性质：。————————————————————————————————————————————————————————————————————————————定理五：若矩阵的秩为r，则和秩均为r。————————————————————————————————————————————————————————————————————————————补充完以上五个定理，我们正式开始矩阵的奇异值分解的证明。设矩阵,矩阵的秩为,且，则矩阵可以分解为如下形式：，也可表示为：证明：无非就是寻找。显然，，且这两个矩阵均是半正定矩阵，且互为转置，且根据定理五，这两个矩阵的秩均为。根据定理二和定理三，这两个矩阵的特征值是相同的，且均大于等于零。我们只用大于零的特征值。设（我们按从大到小排序即：）是它们的不为零的特征值，且对于矩阵对应的单位特征向量为（），对于矩阵对应的单位特征向量为（），即，。其实和存在一定的关系，下面就找出这种关系。因为，所以，是的特征向量，又因为也是的特征向量，所以，，又因为，所以：。则：,所以，，那么。更多详情见请继续阅读下一页的精彩内容： http://www.linuxidc.com/Linux/2014-06/103494p2.htm