Spark企业级项目实战:实时流量监控系统

[复制链接]
admin 发表于 2019-5-26 14:09:36
838 9
Spark企业级项目实战:实时流量监控系统

本项目主要采用目前大数据领域最成熟的实时计算框架Spark,它是目前主流企业在实时计算方向采用的主流框架。本项目使用了Spark技术生态栈中的三个技术框架:SparkCore、SparkStreaming和SparkMLlib,进行道路交通实时流量监控预测系统的开发。业务实现包括数据产生模块、数据实时收集处理模块、特征数据提取模块、模型预测模块、数据存储模块。

陶睿,大讲台大数据特聘讲师|国有企业智能交通大数据高级工程师,在国有企业以及一线互联网公司从事过大数据开发和架构工作,负责过多个大型大数据系统的架构和开发。精通Hadoop、Storm、Spark等大数据技术。有丰富的企业内部技术分享、技术培训和技术讲座的经验。

大讲台spark培训课程大纲之Spark企业级项目实战之交通实时流量监控

需求分析

1、项目背景

2、总体业务要求

3、难点分析

数据收集

1、数据采集阶段技术对比

2、项目中数据采集技术Kafka

3、Kafka安装及基本操作

4、Kafka的API操作及项目中应用

数据流处理

1、数据实时处理阶段技术拓展Storm

2、SparkStreaming实用项目解决方案

3、SparkStreaming项目中性能调优

数据快速存取

1、项目存储工具Redis

2、Redis部署、基本操作及项目中使用

模型建立

1、项目机器学习算法库Mllib

2、Mllib基本数据格式

3、项目中实际模型选择

整体解决方案设计

1、产品功能的简单介绍

2、架构设计

3、技术选型

4、部署方案

5、模块设计划分

部署及代码实现

1、测试环境介绍

2、分析模块实现1--数据产生

3、分析模块实现2--数据实时收集处理模块

4、分析模块实现3--特征数据提取及模型预测

5、分析模块实现4--模型预测

6、项目调优

项目总结


下载地址:
游客,如果您要查看本帖隐藏内容请回复





上一篇:虚拟化容器Docker技术引擎 Docker核心技术实战课程 尚硅谷Docker实战视频教程
下一篇:大数据DMP画像系统
回复

使用道具 举报

ljhaabb 发表于 2019-5-26 21:46:54
看了LZ的帖子,我只想说一句很好很强大!支持吾爱编程网!
回复

使用道具 举报

leonbaichi 发表于 2019-5-26 22:06:36
看了LZ的帖子,我只想说一句很好很强大!支持吾爱编程网!
回复

使用道具 举报

xdnk7889 发表于 2019-5-27 09:03:40
444444444444444444444444444444444
回复

使用道具 举报

uuuuoooo 发表于 2019-5-27 21:28:56 来自手机
RE: Spark企业级项目实战:实时流量监控系统
回复

使用道具 举报

Breeze 发表于 2019-6-4 19:21:26
看帖看完了至少要顶一下,还可以加入到淘帖哦!支持吾爱编程网!
回复

使用道具 举报

FunnyKing 发表于 2019-6-5 23:28:45
啥也不说了,楼主就是给力!支持吾爱编程网!
回复

使用道具 举报

cdluoshuang 发表于 2019-7-26 11:03:28
看了LZ的帖子,我只想说一句很好很强大!支持吾爱编程网!
回复

使用道具 举报

zhangyukun 发表于 2019-11-14 16:20:42
看帖看完了至少要顶一下,还可以加入到淘帖哦!支持吾爱编程网!
回复

使用道具 举报

policy12 发表于 2019-11-14 19:46:37
arkStreaming和SparkMLlib,进行道路交通实时流量监控预测系统的开发。业务实现包括数据产生模块、数据实时收集处理模块、特征数据提取模块、模型预测模块、数据存储模块。

陶睿,大讲台大数据特聘讲师|国有企业智能交通大数据高级工程师,在国有企业以及一线互联网公司从事过大数据开发和架构工作,负责过多个大型大数据系统的架构和开发。精通Hadoop、Storm、Spark等大数据技术。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

返回顶部 返回列表

平台简介

吾爱编程网:http://www.52pg.net/是IT技能学习交流平台,我们提供了丰富的移动端开发、php开发、web前端开发、android开发、Java开发、Python开发、大数据开发、区块链开发、人工智能开发以及html5等大量的实战视频教程资源。(如果我们有侵犯了您权益的资源请联系我们删除)

点击这里给我发消息|Archiver|手机版|小黑屋|站点地图|吾爱编程  |网站地图 | VIP购买

Powered by Discuz! X3.2  © 2017-2020 Comsenz Inc.  吾爱编程网