第十七章潜在语义分析潜在语义分析•潜在语义分析（(latentsemanticanalysis,LSA）是一种无监督学习方法，主要用于文本的话题分析•通过矩阵分解发现文本与单词之间的基于话题的语义关系•文本信息处理中，传统的方法以单词向量表示文本的语义内容，以单词向量空间的度量表示文本之间的语义相似度。•潜在语义分析旨在解决这种方法不能准确表示语义的问题，试图从大量的文本数据中发现潜在的话题，以话题向量表示文本的语义内容，以话题向量空间的度量更准确地表示文本之间的语义相似度。这也是话题分析（topicmodeling）的基本想法。潜在语义分析•潜在语义分析使用的是非概率的话题分析模型。•具体地，将文本集合表示为单词-文本矩阵，对单词-文本矩阵进行奇异值分解，从而得到话题向量空间，以及文在话题向量空间的表示。•奇异值分解特点是分解的矩阵正交•非负矩阵分解（non-negativematrixfactorization,NMF）是另一种矩阵的因子分解方法，其特点是分解的矩阵非负•非负矩阵分解也可以用于话题分析单词向量空间•文本信息处理，比如文本信息检索、文本数据挖掘的一个核心问题是对文本的语义内容进行表示，并进行文本之间的语义相似度计算。•最简单的方法是利用向量空间模型（vectorspacemodel,VSM)，也就是单词向量空间模型（wordvectorspacemodel)。•向量空间模型的基本想法是，给定一个文本，用一个向量表示该文本的语义“”•向量的每一维对应一个单词，其数值为该单词在该文本中出现的频数或权值•基本假设是文本中所有单词的出现情况表示了文本的语义内容•文本集合中的每个文本都表示为一个向量，存在于一个向量空间•向量空间的度量，如内积或标准化内积表示文本之间的语义相似度。“”单词向量空间•给定一个含有n个文本的集合，以及在所有文本中出现的m个单词的集合。•将单词在文本中出现的数据用一个单词-文本矩阵（word-documentmatrix）表示，记作X单词向量空间•这是一个mxn矩阵，元素xij表示单词wi在文本.dj内中出现的频数或权值。•由于单词的种类很多，而每个文本中出现单词的种类通常较少，所以单词-文本矩阵是一个稀疏矩阵。单词向量空间•权值通常用单词频率-逆文本频率（termfrequency-inversedocumentfrequency,TF-IDF）表示，其定义是•tfij：单词wi出现在文本dj中的频数•：是文本dj中出现的所有单词的频数之和•dfi：含有单词wi的文本数•df：是文本集合D的全部文本数单词向量空间•直观上，一个单词在一个文本...
