项目实战

    今日:20336| 主题:1002
收藏本版 (214)
发表新帖

[云计算大数据] Spark离线和实时电影推荐系统直播回放(视频+文档+代码)

[复制链接]
admin 发表于 2019-2-18 18:12:35
2961 26
c_56.png

课程特色
1、基于经典的电影推荐系统进行全面的讲解
2、使用大数据业内流行的Spark框架实现电影推荐系统
3、运用数据挖掘的算法产生模型,为用户精准推荐喜好的电影
4、分别通过离线和实时两种方式实现电影推荐系统

课程大纲
第一模块:开发环境和集群准备
1、项目总体介绍和背景        a.基于Spark流行的大数据工具,开发一套电影推荐系统,让大家体验到如何实现自己的“猜你喜欢”的推荐。 很多电商和购物网站以及一些手机上的应用,猜你喜欢已经成为了必备功能,它对网站的销售有着很明显的刺激作用。
2、技术框架        a.大数据工具的选择,包括HDFS、HIVE、SPARK、KAFKA、HBASE、PHOENIX、ZEPPELIN等工具。
b.推荐的实时性,包括实时推荐和离线推荐。
3、系统要求以及开发的重点和难点        a. 完成一个推荐系统,为每个用户产生合适的电影产品的推荐结果。并且满足在性能,可靠性上的要求。
b. 实时数据的产生以及打到kafka消息队列中。
c. 对数据特征的发掘、清洗和加工。
d. 产生推荐系统的模型,并在多个模型中选择最佳的模型。
e. 解决整个系统中的性能问题。
4、集群准备        a. 搭建hadoop、hive、spark、kafka、zookeeper、hbase、phoenix、ZEPPELIN集群
b. 安装MYSQL,配置Hive metastore。
5、开发环境准备        a.在eclipse中构建项目,通过Maven来管理项目,并添加相关的依赖。
6、项目数据准备        a. 下载数据
第二模块:数据特点分析、清洗、加工成表和数据集的准备
1、分析数据的特点        a. 介绍各个文件的作用以及用户和电影的各个属性
b. 分析数据区间、特点
c. 探讨开发的思路
2、数据入HDFS,通过SPARKSQL整理成表        a. 构建RDD
b. 定义各个表对应的case class
c. 将RDD转换成DATAFRAME
d. 在sparksql中创建对应的表
e. 通过sparksql做一些查询来验证
3、数据集的准备        a. 字段剖析
b. 选择合适的字段将数据切分成测试集和验证集
第三模块:离线推荐模块的开发
1、数据加工,整理出rating        a. 通过一系列的数据转换形成rating数据
2、依据ratings构建模型        a. 构建模型
3、理论补充        a. ALS算法的介绍
4、最佳参数的寻找        a. 评估模型好坏的指标RMSE
b. 模型相关的参数
c. 如何寻找最好的模型
5、离线推荐        a. 依据输入的某个用户ID,加载模型,产生推荐的电影结果,写入到数据库中
b. 依据输入的某个电影,加载模型,给出可能喜欢的用户
第四模块:Kafka+spark Streaming实时推荐模块的开发
1、构建实时数据流        a. 将ratings表里的数据通过模拟的方式打入到kafka的消息队列中。
2、在sparkstreaming中接收kafka消息队列中的数据,开发实时数据处理模块        a. 在sparkstreaming通过direct的方式来接收kakfa中的数据,然后加载已经存在的模型,实时生成推荐结果,写入到数据库中。
3、新用户或者未登录用户        a. 推荐策略的推想,以及实现用户的推荐。
第五模块:推荐系统的完善
1、系统稳定性的考虑        a. 开发脚本来保证实时应用的持续运行。
2、数据的展示        a. 通过Zeppelin来连接sparkSQL,提供一个方面快捷的数据探查的系统
3、探索其他的算法在推荐系统中可能的用处        a. 其他算法的介绍和应用
第六模块:性能优化
1、内存的分配        a. 思考和探讨各部分内存的优化思路
2、任务的调度        a. 寻求合理的资源分配及任务调度,修改适当的配置来完善系统
3、其他方面的优化       
第七模块:项目总结

下载地址:
游客,如果您要查看本帖隐藏内容请回复






上一篇:Spark企业级实战项目:知名手机厂商用户行为实时分析系统
下一篇:Spark项目实战:爱奇艺用户行为实时分析系统
回复

使用道具 举报

FunnyKing 发表于 2019-2-18 20:10:41
看帖看完了至少要顶一下,还可以加入到淘帖哦!支持吾爱编程网!
回复

使用道具 举报

uuuuoooo 发表于 2019-2-18 21:54:21
看了LZ的帖子,我只想说一句很好很强大!支持吾爱编程网!
回复

使用道具 举报

sunboy166 发表于 2019-2-18 23:34:23
啥也不说了,楼主就是给力!支持吾爱编程网!
回复

使用道具 举报

wa_ljb 发表于 2019-2-19 09:14:39
看了LZ的帖子,我只想说一句很好很强大!支持吾爱编程网!
回复

使用道具 举报

漫游者 发表于 2019-2-19 16:06:46
哥顶的不是帖子,是寂寞!支持吾爱编程网!
回复

使用道具 举报

mas曹 发表于 2019-2-28 10:47:05
Spark离线和实时电影推荐系统直播回放(视频+文档+代码)
回复

使用道具 举报

VaderWang 发表于 2019-2-28 10:59:13
看帖看完了至少要顶一下,还可以加入到淘帖哦!支持吾爱编程网!
回复

使用道具 举报

momocohaohao 发表于 2019-3-6 21:39:59
666666666666666666666666666666666666
回复

使用道具 举报

bysimon 发表于 2019-3-12 00:04:55
看帖看完了至少要顶一下,还可以加入到淘帖哦!支持吾爱编程网!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

返回顶部 返回列表

平台简介

吾爱编程网:http://www.52pg.net/是IT技能学习交流平台,我们提供了丰富的移动端开发、php开发、web前端开发、android开发、Java开发、Python开发、大数据开发、区块链开发、人工智能开发以及html5等大量的实战视频教程资源。(如果我们有侵犯了您权益的资源请联系我们删除)

点击这里给我发消息|Archiver|手机版|小黑屋|站点地图|吾爱编程  |网站地图 | VIP购买

Powered by Discuz! X3.2  © 2017-2020 Comsenz Inc.  吾爱编程网