基于Spark框架的电商推荐系统设计与实现开题报告

1. 研究目的与意义

随着时代的发展和计算机技术的普及，我们已经逐渐从信息匮乏的世界走入了信息过载的世界，消费者和生产者都很难清楚自己的定位。对于消费者而言，他所需要的产品丰富多样难以决策，且很难确定最终选定的结果是否是自己想要的，对于生产者而言，也期望能将自己的产品推荐给最有可能购买的消费者，因此双方都有简化思考、发现价值的需求。推荐系统就是实现这个过程的工具。它可以从消费者和生产者双方获取到各自的信息，并根据算法将产品针对性地、精准地推给最有可能购买的消费者，实现双赢。

本次毕业设计的目的是实现一个推荐系统，它可以从消费者初始设置和日常使用中产生的信息逐渐对用户进行标签化和调整，为其推荐同类人群更可能购买的商品，或者给他推荐最符合他所能浏览到的商品中最吻合的一款商品。然而不合适的算法往往会有很多缺陷，如更喜欢推荐那些热度较高，标签更多的产品，或模糊了用户标签，推荐到了不同用户群体的商品。根据长尾理论，那些微小市场的产品利润积累也拥有极具潜力的市场，因此我们还需要更为精准的个性化推荐。

现如今，推荐系统已在互联网中得到了广泛的应用，并给应用它的企业带来了丰厚的利润。据报道，推荐系统给亚马逊带来了35%的销售收入，给netflix带来了高达75%的消费。因此，有关推荐系统的研究具有十分深远的意义与巨大的实用价值。

2. 研究内容和预期目标

1. 研究内容

主要是根据收集的用户浏览记录、以及历史消费记录分析其兴趣偏好、挖掘预测潜在的购买欲望进行推荐,涉及到建立用户画像，用户群体相关度，分类算法，基于内容过滤的推荐，基于协同过滤的推荐等。需要进行数据采集，数据的预处理，用户兴趣分析，关联数据库，并最终实现商品推荐。采用hadoop平台，spark技术，主要编程语言为python。

3. 国内外研究现状

1.国外现状：

自上世纪推荐系统的概念被提出后，已成为人工智能领域的重要研究方向，amazon通过对用户分析行为历史，为用户提供个性化产品，netfix的研究表明60%认为电影推荐系统所推荐的电影类型符合自己的喜欢。itunes利用推荐算法为用户推荐可能感兴趣的音乐。推荐系统目前主要的推荐算法有：基于内容的推荐算法，基于协同推荐算法，基于协同过滤的推荐算法和混合推荐算法。sarvar等人提出了基于物品的协同过滤推荐算法，并表明基于物品的算法比基于用户的算法有更好的性能。hofmann提出了协同过滤的潜在语义模型，以此来挖掘用户的潜在偏好。gediminas等人对推荐系统进行了分类，分为基于用户的协同过滤算法、基于内容的推荐算法和前两者的混合，并阐述了推荐系统的研究方向。zhao 等人在云计算平台hadoop上实现了基于用户的协同过滤算法，解决了协同过滤算法的可扩展性问题。breese等人使用协同过滤推荐算法利用用户偏好的数据来预测新用户可能喜欢的产品。

4. 计划与进度安排

1月1日——1月16日：系统分析，收集相关资料，系统设计阶段

1月17日——2月20日：编写代码，实现各个模块，系统实施、测试

2月21日——2月30日：修改、完善算法

5. 参考文献

[1] 考虑用户体验的产品服务系统模块重要度判定方法[J].耿秀丽,潘亚虹.计算机集成制造系统. 2020(05)[2] 基于网络表示学习的个性化商品推荐[J]. 李宇琦,陈维政,闫宏飞,李晓明.计算机学报. 2019(08)[3]融合协同过滤与上下文信息的Bandits推荐算法[J].王宇琛,王宝亮,侯永宏.计算机科学与探索. 2019(03)[4]基于商品标签化与关联规则的电子商务商品关联推荐研究[J]. 王宝军.商场现代化. 2020(11)[5]基于云平台的电子商务商品智能推荐系统[J].黄玲,余霞.现代电子技术. 2020(05)[6]电子商务平台商品推荐信息特性对消费者购买意愿的影响实证研究[J].邓灵斌,申慧.南华大学学报(社会科学版). 2019(02)[7]基于个性化导购的商品智能动态推荐系统[J].姚剑,余炎,黄诗盛,赵培.价值工程. 2017(35)[8]基于关联规则的商品智能推荐算法[J].张勇杰,杨鹏飞,段群,韩丽娜.现代计算机(专业版). 2016(10)[9]基于深度学习的推荐系统研究综述 [J]. 黄立威,江碧涛,吕守业,刘艳博,李德毅.计算机学报. 2018(07)[10]推荐系统研究综述 [J]. 周万珍,曹迪,许云峰,刘滨.河北科技大学学报. 2020(01)[11] A novel recommendation method based on social network using matrix factorization technique [J] . Chonghuan Xu.Information Processing and Management . 2018 (3)[12] The MovieLens Datasets [J] . F. Maxwell Harper,Joseph A. Konstan.ACM Transactions on Interactive Intelligent Syste . 2015 (4)[13]互联网推荐系统比较研究 [J]. 许海玲,吴潇,李晓东,阎保平.软件学报. 2009(02)[14]基于关联规则和协同过滤的推荐算法研究与应用[D]. 王琦.江苏科技大学. 2020[15]基于协同过滤技术的电子商务个性化系统研究[D]. 王亮.华东师范大学. 2008