计算机系统结构--李欢--220140928200.doc

推荐系统综述 李欢作者简介：李欢(1990-)，女，信息科学与工程学院，导师姓名：张瑞生 教授，研究方向：先进计算、服务计算、化学与生物信息学。 （1.兰州大学 信息科学与工程学院，甘肃 兰州 730000） 摘要：信息超载是目前网络用户普遍面对的一个问题，而解决这一问题的方法之一就是利用推荐系统，本文给出了推荐系统的产生以及相关概念，阐述了几种推荐系统的关键技术，并分析了各类算法的优劣，最后给出了推荐系统未来的研究重难点和发展方向。 关键词：信息超载，推荐系统，推荐算法 Abstract：Information overload is a common problem for network users, one solution to this problem is recommender systems. This paper briefly introduces the related concepts, and several key technologies of recommender systems, and analyses both advantages and disadvantages of the recommender algorithm. Finally, the future research emphasis and difficulties of recommender systems are given. Key words: Information overload, recommender system, recommender algorithm. 1 引言 随着信息技术的飞速发展和互联网的普及，信息资源呈爆炸式的增长，人们在工作和学习中，接触到的信息过多，就出现了信息使用效率相对较低的情况，即“信息超载”。加之信息资源的存储方式也发生了变化，使得检索信息加大了难度，因此找到准确实现信息检索的方法变得尤为重要。[1] 目前，解决信息超载的技术主要有两种，[2]其一就是信息过滤技术，主要是以搜索引擎为代表的信息检索系统，如百度、谷歌等，依据用户需求将用户需要的信息筛选后推送。但是关键词检索的准确率低，用户个性化程度差，不能完全满足用户的需求。另外一种解决策略即推荐引擎技术。它是根据用户的信息需求、兴趣等，将用户感兴趣的信息、商品等推荐给用户的个性化信息推荐系统。和搜索引擎相比，推荐系统通过研究用户的兴趣偏好，进行个性化计算，由系统发现用户的兴趣点，从而引导用户发现自己的信息需求。一个好的推荐系统不仅能为用户提供个性化的服务，还能和用户之间建立密切关系。 2 推荐系统的相关概念 推荐系统是一种特殊形式的信息过滤系统。推荐系统通过分析用户的历史兴趣和偏好信息，可以在项目空间中确定用户现在和将来可能会喜欢的项目，进而主动向用户提供相应的项目推荐服务。[3]推荐系统的普遍定义是Resnick 和Varian 在1997 年提出的：它是利用电子商务网站向客户提供商品信息和建议，帮助用户决定应该购买什么产品，模拟销售人员帮助客户完成购买过程。[4] 推荐算法 获取用户偏好 用户 模型 推荐对象模型 提供个人偏好 计算 采集个人偏好 寻求推荐 提供推荐 图1 推荐系统通用模型 推荐系统有三个主要的部分组成：推荐对象建模模块、用户建模模块以及推荐算法模块。推荐系统通用模型如图1所示[5]。其中推荐算法模块是其中的核心模块。推荐系统把用户模型中兴趣需求信息和推荐对象模型中的特征信息匹配，同时使用相应的推荐算法进行计算筛选，找到用户可能感兴趣的推荐对象，然后推荐给用户。 3 推荐算法和不同类型的推荐系统 目前主要的推荐方法有基于内容的推荐、协同过滤推荐、基于关联规则的推荐、基于效用的推荐、基于知识的推荐以及混合推荐。 3.1 基于内容的推荐 基于内容的推荐（Content-Based Recommendation）是信息过滤技术的延续和发展。这个方法不用知道用户对于产品的具体评价，它是利用用户已经选择的产品，从其他产品中选择相似的进行推荐。它主要利用机器学习的方法从关于内容的特征描述的事例中得到用户的兴趣资料。基于内容的推荐策略中的关键就是用户模型描述和推荐对象内容的特征描述。基于内容的用户资料是需要有用户的历史数据，而且用户资料模型可能随着用户的偏好改变而发生变化。[6] 基于内容的推荐主要步骤为：1）分析用户的浏览历史，生成兴趣档案。2）对用户还没有接触过的产品进行分析表示。3）将新的分析结果与用户的兴趣档案匹配，向用户推荐匹配度较高的产品。 基于内容的推荐其优点主要有：1）不需要其它用户的数据，没有冷开始问题和稀疏问题。2）能为具有特殊兴趣爱好的用户进行推荐。3）能推荐新的或不是很流行的项目，没有新项目问题。4）通过列出推荐项目的内容特征，可以解释为什么推荐那些项目。5）已有比较好的技术，如关于分类学习方面的技术已相当成熟。 其缺点是要求内容能容易抽取成有意义的特征，要求特征内容有良好的结构性，并且用户的口味必须能够用内容特征形式来表达，不能显式地得到其它用户的判断情况。 3.2 协同过滤推荐 协同过滤（Collaborative Filtering Recommendation） 这一概念首次于1992年由Goldberg、Nichols及Terry 提出，目前主要有两类协同过滤推荐算法：基于用户的协同过滤推荐算法和基于项目的协同过滤推荐算法。基于用户的协同过滤算法的依据是如果用户对一部分项目的评分相似，那么他们对另一部分项目的评分也类似，从而做出推荐。基于项目的协同过滤推荐则是，用户对于相似项目有相似评分，可以根据用户对某项目的若干相似项目的评分，来衡量该项目的评分。[7] 基于协同过滤的推荐系统可以说是从用户的角度来进行相应推荐的，而且是自动的，即用户获得的推荐是系统从购买模式或浏览行为等隐式获得的，不需要用户努力地找到适合自己兴趣的推荐信息，如填写一些调查表格等。 和基于内容的过滤方法相比，协同过滤具有如下的优点：1）能够过滤难以进行机器自动内容分析的信息，如艺术品，音乐等。2）共享其他人的经验，避免了内容分析的不完全和不精确，并且能够基于一些复杂的，难以表述的概念（如信息质量、个人品味）进行过滤。3）有推荐新信息的能力。可以发现内容上完全不相似的信息，用户对推荐信息的内容事先是预料不到的。这也是协同过滤和基于内容的过滤一个较大的差别，基于内容的过滤推荐很多都是用户本来就熟悉的内容，而协同过滤可以发现用户潜在的但自己尚未发现的兴趣偏好。4）能够有效的使用其他相似用户的反馈信息，较少用户的反馈量，加快个性化学习的速度。 虽然协同过滤作为一种典型的推荐技术已经有很多的应用，但协同过滤仍有许多的问题需要解决。最典型的问题有稀疏问题和可扩展问题。 3.3 基于关联规则的推荐 关联规则挖掘就是发现数据集中项集之间有趣的关联或相互联系, 它是数据挖掘领域的一个重要分支。关联规则算法首先由Agrawal, Imielinski 和Swami [ ASI93b ] 提出, 最早的成型算法为经典的Apriori [AS94 ]。基于关联规则的推荐（Association Rule-Based Recommendation）是以关联规则为基础，把已购商品作为规则头，规则体为推荐对象。关联规则就是在一个交易数据库中统计购买了商品集X的交易中有多大比例的交易同时购买了商品集Y，其直观的意义就是用户在购买某些商品的时候有多大倾向去购买另外一些商品[8]。 关联规则的挖掘过程分为两步: 1) 生成所有频繁项集: 项集的出现频率不小于最小支持度阀值。2) 由频繁项集产生强关联规则: 规则必须同时满足最小支持度阀值和最小置信度阀值。算法的第一步关联规则的发现最为关键且最耗时，是算法的瓶颈，但可以离线进行。其次，商品名称的同义性问题也是关联规则的一个难点。 3.4 基于效用的推荐 基于效用的推荐（Utility-Based Recommendation）是建立在对用户使用项目的效用情况上计算的，其核心问题是怎么样为每一个用户去创建一个效用函数。因此，用户资料模型很大程度上是由系统所采用的效用函数决定的。基于效用推荐的好处是它能把非产品的属性，如提供商的可靠性和产品的可得性等考虑到效用计算中。[9] 3.5 基于知识的推荐 基于知识的推荐系统包括三类: 基于KDD(Knowledge Discovery in Database) 的推荐系统、基于CBR(Case Based Reasoning)的推荐系统和基于知识推理的推荐系统。基于知识的推荐（Knowledge-Based Recommendation）在某种程度是可以看成是一种推理技术，它不是建立在用户需要和偏好基础上推荐的。基于知识的方法因它们所用的功能知识不同而有明显区别。效用知识是一种关于一个项目如何满足某一特定用户的知识，因此能解释需要和推荐的关系，所以用户资料可以是任何能支持推理的知识结构，它可以是用户已经规范化的查询，也可以是一个更详细的用户需要的表示。其实现主要需要解决以下理论方法问题：1）知识的统一表示。2）知识的有效获取。3）智能推荐系统推理机制与推荐结果的产生。4）推荐系统的适应性。5）基于语义的交互。6）知识的规范聚合。[10] 3.6 混合推荐 以上各种推荐方法都有优缺点，在实际中，并非只用一种推荐算法，而是将几种推荐算法混结合，即混合推荐（Hybrid Recommendation），其目的就是通过组合不同推荐算法，从而扬长避短，得到最优推荐策略。其中研究和应用最多的是内容推荐和协同过滤的混合。[11] 混合推荐的集成方式主要有以下几种：1）加权集成：加权多种推荐技术结果。2）变换集成：根据问题背景和实际情况或要求决定变换采用不同的推荐技术。3）混合集成：同时采用多种推荐技术给出多种推荐结果为用户提供参考。4）特征组合集成：组合来自不同推荐数据源的特征被另一种推荐算法所采用。5）层叠集成：先用一种推荐技术产生一种粗糙的推荐结果，第二种推荐技术在此推荐结果的基础上进一步作出更精确的推荐。6）特征扩充集成：一种技术产生附加的特征信息嵌入到另一种推荐技术的特征输入中。7）元级别集成：用一种推荐方法产生的模型作为另一种推荐方法的输入。 4 研究重点及未来发展方向 推荐系统经过长时间的发展，关于推荐系统的重点问题主要有以下几点[12-15]：1）用户兴趣偏好获取方法和推荐对象的特征提取方法的研究。2）推荐系统的安全性研究。3）基于复杂网络理论及图方法的推荐系统研究。4）推荐的多维度研究。5）稀疏性和冷启动研究。6）推荐系统性能评价指标的研究。以上这些重点问题同样也是推荐系统研究未来的发展方向。 5 总结 本文从推荐系统的产生、概念、主要的推荐算法以及未来的发展方向几个方面介绍了推荐系统。对推荐系统的研究具有重大的社会价值和经济意义，不但能够帮助用户更好的利用互联网信息，又能作为网站营销的武器，对于提高网站用户黏着度以及推广产品和服务都具有很大帮助。 参考文献： ［1］ 周玲.信息超载综述[J].图书情报工作,2001,11:33-35. ［2］ 周蕊.网络时代信息超载解决方法初探[A].工会论坛,2011.9,5:76-79. ［3］ P.Resnick,H.R.Varian.Recommender systems,Commun.ACM,vo1.40,iss.3:56—58,1997. ［4］ Resinick P,Varian H R.Recommender systems[J].Communications of the ACM,1997,40(3):56-58. ［5］ 许海玲.互联网推荐系统比较研究[J].软件学报,2009,20(2):350-362. ［6］ 21Hill W,Stead L,Rosenstein M,et a1．Recommending and eval-uating choices in a virtual community of use.Proc Conf Human Factors in Computing Systems.Denver,1995:194-201. ［7］ 马宏伟,张光,李鹏.协同过滤推荐算法综述[A].小型微型计算机系统,2009,7(7):1283-1285. ［8］ 丁振国,陈静.基于关联规则的个性化推荐系统[A].计算机集成制造系统-CIMS.2003,10(10):891-893. ［9］ 吴兵,叶春明.基于效用的个性化推荐方法[A].计算机工程,2012,2(4):51-53. ［10］ 刘平峰,聂规划,陈冬林.基于知识的电子商务智能推荐系统平台设计[A].计算机工程与应用,2007,43(19):1999-202. ［11］ 王国霞,刘贺平.个性化推荐系统综述[A].计算机工程与应用,2012,48(7):66-71. ［12］ 余力,董斯维,郭斌.电子商务推荐攻击研究[J].计算机科学,2007,34（5）：134-138. ［13］ 张富国,徐升华.推荐系统安全问题及技术研究综述[J].计算机应用研究,2008,2（3）：656-659. ［14］ Lam S K,Rield J.Shilling recommender systems for fun and profit[C]//Proc of the 13th International Conference on World Wide.New York：ACM Press,2004：393-402. ［15］ Mobasher B,Burke R,Williams C,et al.Analysis and detection of segment-focused attacks against collaborative[C]//Recommendation:Proc of WebKDD Workshop.Berlin：[s.n.],2006.