完整项目地址:https://download.csdn.net/download/lijunhcn/88463162
基于spark的电影推荐系统,包括基于ALS、LFM的离线推荐、实时推荐
项目以推荐系统建设领域知名的经过修改过的MovieLens数据集作为依托,以电影网站真实业务数据架构为基础,包含了离线推荐与实时推荐体系,综合利用了协同过滤算法以及基于内容的推荐方法来提供混合推荐。提供了从前端应用、后台服务、算法设计实现、平台部署等多方位的闭环的业务实现
【用户可视化】 :主 要 负 责实 现 和 用 户 的 交 互 以 及业 务 数 据 的 展 示 , 主 体采 用AngularJS2进行实现,部署在Apache服务上。
【综合业务服务】:主要实现JavaEE层面整体的业务逻辑,通过Spring进行构建,对接业务需求。部署在Tomcat上。
【数据存储部分】业务数据库:项目采用广泛应用的文档数据库MongDB作为主数据库,主要负责平台业务逻辑数据的存储。
【搜索服务器】:项目爱用ElasticSearch作为模糊检索服务器,通过利用ES强大的匹配查询能力实现基于内容的推荐服务。###
【缓存数据库】:项目采用Redis作为缓存数据库,主要用来支撑实时推荐系统部分对于数据的高速获取需求。
【离线推荐部分】离线统计服务:批处理统计性业务采用Spark Core +Spark SQL进行实现,实现对指标类数据的统计任务。
-
离线推荐服务:离线推荐业务采用Spark Core +Spark MLlib进行实现,采用ALS算法进行实现。
-
工作调度服务:对于离线推荐部分需要以一定的时间频率对算法进行调度,采用Azkaban进行任务的调度。
【实时推荐部分】日志采集服务:通过利用Flume-ng对业务平台中用户对于电影的一次评分行为进行采集,实时发送到Kafka集群。
-
消息缓冲服务:项目采用Kafka作为流式数据的缓存组件,接受来自Flume的数据采集请求。并将数据推送到项目的实时推荐系统部分。
-
实时推荐服务:项目采用Spark Streaming作为实时推荐系统,通过接收Kafka中缓存的数据,通过设计的推荐算法实现对实时推荐的数据处理,并将结构合并更新到MongoDB数据库
【系统初始化部分】
- 通过SparkSQL将系统初始化数据加载到MongoDB和ElasticSearch中。
【离线推荐部分】
- 通过Azkaban实现对于离线统计服务以离线推荐服务的调度,通过设定的运行时间完成对任务的触发执行。
- 离线统计服务从MongoDB中加载数据,将【电影平均评分统计】、【电影评分个数统计】、【最近电影评分个数统计】三个统计算法进行运行实现,并将计算结果回写到MongoDB中;离线推荐服务从MongoDB中加载数据,通过ALS算法分别将【用户推荐结果矩阵】、【影片相似度矩阵】回写到MongoDB中。
【实时推荐部分】
- Flume从综合业务服务的运行日志中读取日志更新,并将更新的日志实时推送到Kafka中;Kafka在收到这些日志之后,通过kafkaStream程序对获取的日志信息进行过滤处理,获取用户评分数据流【UID|MID|SCORE|TIMESTAMP】,并发送到另外一个Kafka队列;SparkStreaming监听Kafka队列,实时获取Kafka过滤出来的用户评分数据流,融合存储在Redis中的用户最近评分队列数据,提交给实时推荐算法,完成对用户新的推荐结果计算;计算完成之后,将新的推荐结构和MongDB数据库中的推荐结果进行合并。
【业务系统部分】
- 推荐结果展示部分,从MongoDB、ElasticSearch中将离线推荐结果、实时推荐结果、内容推荐结果进行混合,综合给出相对应的数据。
- 电影信息查询服务通过对接MongoDB实现对电影信息的查询操作。
- 电影评分部分,获取用户通过UI给出的评分动作,后台服务进行数据库记录后,一方面将数据推动到Redis群中,另一方面,通过预设的日志框架输出到Tomcat中的日志中。
- 项目通过ElasticSearch实现对电影的模糊检索。
- 电影标签部分,项目提供用户对电影打标签服务
项目环境
-
CentoOS-7.2
-
JDK-1.8
-
Spark-2.11.8
-
Scala-2.11.8
-
Zookeeper-3.4.10
-
Kafka-2.11-0.11.0.0
-
Redis-3.0.4
-
MongoDB-4.4.1
-
ElasticEsarch-5.6.2
-
Flume-1.7.0
-
IDEA-2020
-
猜你喜欢
- 16小时前kafka服务器连接出现:[NetworkClient.java:935] [Producer clientId=producer-1] Node -1 disconnected原因分析
- 16小时前Kafka系列 - Kafka一篇入门
- 14小时前空调模式图标含义图解(格力空调模式图标含义图解)
- 12小时前闪送员(闪送员接单app)
- 11小时前风琴岛在哪里(风琴岛是哪个省)
- 8小时前氧气由什么构成(氧气由什么构成?)
- 7小时前出世与入世(中国古代文人的出世与入世)
- 7小时前奋笔勤书还是奋笔疾书(奋笔疾书还是奋书疾笔)
- 1小时前dnfcc是什么意思(dnfc是什么职业)
- 25分钟前console什么意思(汽车console什么意思)
网友评论
- 搜索
- 最新文章
- 热门文章