[百度网盘]基于企业案例实战深度剖析Spark内核Spark SQL\Streaming\GraphX\SparkR\机器学习

[复制链接]
admin 发表于 2017-11-6 11:28:34
4380 4
适应人群:
Java开发经验或Scala开发经验,较好了解Hadoop,Hive等使用经验。课程对于Spark初学者,Spark开发人员及Spark运维人员都具有比较大的学习价值。
课程目标:
深入理解Spark的运行原理
学会搭建Spark,hadoop集群环境
完全掌握Spark编程基础,了解Spark运维的基础知识
完成大数据入门,可逐渐转岗大数据相关职位。
课程环境:
准备环境:CentOS,eclipse或IntelliJ IDEA, Scala,JDK,Maven,sbt,Hadoop,hive,建议三台虚拟机。

课程简介:

本课程将会结合精典案例讲解Spark Job的整个生命周期,以及如何划分Stage,如何生成逻辑执行计划和物理执行计划。从Hash Shuffle到Sort Shuffle再到Tungsten Sort Shuffle详细分析Spark Shuffle机制的原理与演进,同时结合Yarn分析Spark的内存模型以及如何进行相关调优,其中两节课主要介绍Spark Streaming使用方式,分析通用流式处理系统的关键问题以及Spark Streaming对相应问题的解决方案,如窗口,乱序,Checkpoint等,并分析Spark Streaming与Storm和Kafka Stream各自的优缺点和适用场景。

最后将结合源码分析Spark SQL的原理,以及实现SQL引擎的一般方法,介绍如何进行Spark SQL性能优化。并结合大量真实案例,分析如何解决数据倾斜问题从而提高应用性能。
游客,如果您要查看本帖隐藏内容请回复









上一篇:深入浅出大数据Spark(Spark Core/SQL/Streaming/MLlib/机器学习)企业级应用案例实践
下一篇:高端大数据Spark大数据移动电商APP交互式大数据平台/用户行为分析/机器学习/深度学...
回复

使用道具 举报

tangxingchen 发表于 2018-7-18 15:40:22
啥也不说了,楼主就是给力!支持吾爱编程网!
回复

使用道具 举报

gaochao 发表于 2018-9-1 20:16:02
啥也不说了,楼主就是给力!支持吾爱编程网!
回复

使用道具 举报

mas曹 发表于 2019-2-28 16:18:45
基于企业案例实战深度剖析Spark内核Spark SQL\Streaming\GraphX\SparkR\机器学习
回复

使用道具 举报

FunnyKing 发表于 2019-3-23 20:14:57
啥也不说了,楼主就是给力!支持吾爱编程网!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

返回顶部 返回列表

平台简介

吾爱编程网:http://www.52pg.net/是IT技能学习交流平台,我们提供了丰富的移动端开发、php开发、web前端开发、android开发、Java开发、Python开发、大数据开发、区块链开发、人工智能开发以及html5等大量的实战视频教程资源。(如果我们有侵犯了您权益的资源请联系我们删除)

点击这里给我发消息|Archiver|手机版|小黑屋|站点地图|吾爱编程  |网站地图

Powered by Discuz! X3.2??? 2017-2020 Comsenz Inc.??吾爱编程网