2020年最新尚谷大数据技术之Spark【资料完整】
课程目录
1.笔记
01_尚硅谷大数据技术之SparkCore.docx
02_尚硅谷大数据技术之SparkSql.docx
03_尚硅谷大数据技术之SparkStreaming.docx
04_尚硅谷大数据技术之Spark内核.docx
05_尚硅谷大数据技术之Spark优化.docx
3.视频
day01
01 - Spark - Hadoop发展历史.avi
01 - Spark - 概念介绍.avi
02 - Spark - Spark和MR对比.avi
03 - Spark - Spark核心模块.avi
04 - Spark - 案例 - WordCount - 环境准备.avi
05 - Spark - 案例 - WordCount - 代码实现.avi
06 - Spark - 案例 - WordCount - 功能补充.avi
day02
07 - Spark - 环境 - 本地环境local.avi
08 - Spark - 环境 - 本地环境local - 补充说明.avi
09 - Spark - 环境 - 独立部署环境Standalone.avi
10 - Spark - 环境 - 独立部署环境Standalone - 历史服务.avi
11 - Spark - 环境 - 独立部署环境Standalone - HA高可用.avi- W7 t$ j, q8 Y, H Q- M2 Y% ~4 `6 R
12 - Spark - 环境 - Yarn环境.avi' G, g- n D8 { W
13 - Spark - 环境 - Yarn环境 - 历史服务（未演示）.avi
14 - Spark - 环境 - 其他环境 - k8s & Mesos & Windows.avi2 c% l1 y. _4 u( i e4 j
15 - Spark - 环境 - 部署方式对比 & 端口号总结.avi
16 - Spark - 核心对象.avi
17 - Spark - 核心概念.avi
18 - Spark - 基本提交流程.avi
19 - Spark - RDD - 介绍.avi
20 - Spark - RDD - IO的执行原理.avi% G- l) M% U' @6 V; R# ?
21 - Spark - RDD - RDD的执行原理.avi: O( ~" c S" A3 C' S* N
22 - Spark - RDD - RDD的核心属性.avi: m+ U9 u1 Y! V u! G0 d
23 - Spark - RDD - RDD在计算流程中的位置.avi1 P E4 N5 a* G/ T1 z
24 - Spark - RDD - 创建RDD - 内存.avi1 Z% g: Y% U# N. U
25 - Spark - RDD - 分区计算的原理.avi' n2 c/ m, r: m8 A$ x, C2 p2 J
26 - Spark - RDD - 创建RDD - File.avi
27 - Spark - RDD - 创建RDD - 内存创建的分区数量.avi+ k; k B; B0 L
501 - Spark - 课程内容回顾.avi/ M5 _; ?' l+ r1 [
502 - Spark - 同学问题解答 - windows环境的文件路径问题.avi
day03* u" ~1 J/ F9 W5 A2 S- M& B( g
28 - Spark - RDD - RDD概念梳理.avi
29 - Spark - RDD - RDD原理说明.avi7 u# {! w G+ M' k, G$ v2 N% A8 d; _1 ?/ @
30 - Spark - RDD - makeRDD的分区的设置.avi
31 - Spark - RDD - makeRDD分区数据存储的演示.avi+ ^; X0 G) I& M8 V* i; j4 j
32 - Spark - RDD - makeRDD分区数据存储源码走读.avi
33 - Spark - RDD - textfile分区数据存储的演示.avi
34 - Spark - RDD - textfile分区数据存储的原理说明.avi1 p' D! V( W1 z) |
35 - Spark - RDD - textfile分区数据存储的原理说明 - 1.avi9 }: n! L9 Z- i K
36 - Spark - RDD - textfile分区数据存储的原理说明 - 2.avi
37 - Spark - RDD - textfile分区数据存储的原理说明 - 多文件.avi! M4 S( |1 @3 M4 {) m8 T, j4 N! R
38 - Spark - RDD - 算子 - 介绍.avi
39 - Spark - RDD - 转换算子 - map.avi
40 - Spark - RDD - 转换算子 - map实现原理.avi
41 - Spark - RDD - 转换算子 - map实现原理 - 1.avi( o) g7 {+ V& s- z# Q4 _) T" y
42 - Spark - RDD - 转换算子 - map - 小练习.avi9 X, E( r ` Q/ o8 h( C n
43 - Spark - RDD - 转换算子 - mapPartitions.avi: M+ `4 K# [/ \8 |, y- [8 E% j4 v
44 - Spark - RDD - 转换算子 - mapPartitions - 小练习.avi
45 - Spark - RDD - 转换算子 - mapPartitions - 和map算子的区别.avi( v: R" \+ c( `7 D! L$ F3 p
46 - Spark - RDD - 转换算子 - mapPartitionsWithIndex.avi
47 - Spark - RDD - 转换算子 - flatMap.avi
48 - Spark - RDD - 转换算子 - glom.avi1 Q/ Q5 d7 n4 p2 n, T0 M/ F
49 - Spark - RDD - 转换算子 - groupBy.avi
50 - Spark - RDD - 转换算子 - filter.avi
503 - Spark - 课程内容回顾 - 架构和原理.avi
504 - Spark - 直播间问题答疑 - RDD.avi3 i# N& b H7 R5 I
day04
51 - Spark - RDD - 转换算子 - 小练习.avi
52 - Spark - RDD - 转换算子 - sample.avi
53 - Spark - RDD - 转换算子 - distinct.avi; J$ M9 }2 L; P, {9 }
54 - Spark - RDD - 转换算子 - coalesce.avi* }; z) P* q$ `+ u/ S
55 - Spark - RDD - 转换算子 - coalesce & repartition 的区别.avi
55 - Spark - RDD - 转换算子 - repartition.avi+ k+ j: G0 D6 p1 w+ H* d
56 - Spark - RDD - 转换算子 - sortBy.avi# P5 L# o1 h: i" F
57 - Spark - RDD - 转换算子 - 双value的数据操作.avi
58 - Spark - RDD - 转换算子 - 双value的数据操作 - 多场景演示.avi. T1 E3 Y( ]; _; E" n) ~9 V
59 - Spark - RDD - 转换算子 - 双value的数据操作 - 问题解答.avi# z; g; E: [3 P* o: f! D$ i
60 - Spark - RDD - 转换算子 - K-V的数据操作.avi' ?; c. `% P6 |2 Q4 H8 K
61 - Spark - RDD - 转换算子 - partitionBy.avi
62 - Spark - RDD - 转换算子 - 自定义分区器.avi! a- k/ I F" O
63 - Spark - RDD - 转换算子 - partitionBy问题解答.avi2 d i+ t% V8 V& N
64 - Spark - RDD - 转换算子 - reduceByKey.avi0 z( J0 P) Q2 l# _6 l
65 - Spark - RDD - 转换算子 - groupByKey.avi. x6 N5 y ]3 |( }. i6 U
66 - Spark - RDD - 转换算子 - groupByKey实现原理.avi
67 - Spark - RDD - 转换算子 - groupByKey & reduceByKey的区别.avi
68 - Spark - RDD - 转换算子 - aggregateByKey.avi, k# h; a0 j1 \4 |! f7 n
69 - Spark - RDD - 转换算子 - aggregateByKey 演示和说明.avi; B( k0 C4 T! Y* C+ N' ?
70 - Spark - RDD - 转换算子 - foldByKey.avi* g( Y! d: A0 c f
71 - Spark - RDD - 转换算子 - combineByKey.avi5 B" C- D6 j: l; l ]! d3 [) j1 U
72 - Spark - RDD - 转换算子 - combineByKey 演示&说明.avi/ |1 W% u9 _6 N
505 - Spark - 课程内容回顾.avi
day05; w% c' D& J2 l2 a
73 - Spark - RDD - 转换算子 - pipe.avi7 M" o" o% J4 W' D
74 - Spark - RDD - 转换算子 - 去重思路.avi0 b) P' d2 I" P9 D C% J" c* T8 O* t: b& U
75 - Spark - RDD - 转换算子 - 聚合算子的区别.avi
76 - Spark - RDD - 转换算子 - sortByKey.avi
77 - Spark - RDD - 转换算子 - sortByKey - 自定义key.avi* [, ~: q+ d J3 o1 d! S2 n0 J/ z0 }
78 - Spark - RDD - 转换算子 - join.avi
79 - Spark - RDD - 转换算子 - leftOuterJoin & cogroup.avi
80 - Spark - RDD - 案例实操 - 需求分析.avi! }' j6 T# `0 d. Q' W6 ~
81 - Spark - RDD - 案例实操 - 功能实现.avi
82 - Spark - RDD - 行动算子 - 介绍.avi% N" |% D; l- `, C0 \7 K( N
83 - Spark - RDD - 行动算子 - 演示.avi! ]! O1 f3 F$ E0 ]
84 - Spark - RDD - 行动算子 - 数据保存.avi3 p* G4 ~5 c: m7 Y. r# [( ~
85 - Spark - RDD - 行动算子 - 乱码问题.avi
86 - Spark - RDD - 行动算子 - foreach.avi) O" H. O: d9 t b2 D5 O
87 - Spark - RDD - 行动算子 - 序列化.avi" f2 W) O* P/ Z, F: n" n8 b& W
88 - Spark - RDD - 行动算子 - 序列化 - 演示.avi
89 - Spark - RDD - 行动算子 - 序列化 - Kryo框架.avi9 r* j: I% V' x
90 - Spark - RDD - 依赖关系 - 介绍.avi+ p$ l1 [% m/ u& L0 w' L4 n2 n
91 - Spark - RDD - 依赖关系 - 宽依赖 & 窄依赖.avi2 r( i O; t$ L$ x- {
92 - Spark - RDD - 依赖关系 - 宽依赖 & 窄依赖 图形演示.avi
93 - Spark - RDD - 阶段的划分.avi
94 - Spark - RDD - 阶段的划分 - 源码和图形演示.avi
506 - Spark - 课程内容回顾 - KV算子.avi
day06
95 - Spark - RDD - 任务的划分 - 源码.avi5 m6 \2 G$ K: ~5 S
96 - Spark - RDD - 持久化 - 缓存.avi, M; b7 o, P, M' X+ T: o
97 - Spark - RDD - 持久化 - 缓存.avi
98 - Spark - RDD - 持久化 - 检查点.avi
99 - Spark - RDD - 持久化 - 检查点 & cache的关系.avi! B" k- Q& `' ]( Z5 d S# S
100 - Spark - RDD - 数据的保存和读取.avi
101 - Spark - 累加器 - 介绍.avi8 P( l6 H0 f- y {: F* [
102 - Spark - 累加器 - 原理和演示.avi
103 - Spark - 累加器 - 自定义累加器的创建和使用 - 1.avi; G8 ]3 O% y: G+ K E, T+ N R
104 - Spark - 累加器 - 自定义累加器的创建和使用 - 2.avi
105 - Spark - 累加器 - 方法调用的时机.avi2 u: `7 ^( w9 u6 p
106 - Spark - 广播变量 - 介绍.avi
107 - Spark - 广播变量 - 原理说明 & 演示.avi3 T3 c4 \! Q3 m! e$ _
108 - Spark - 案例实操 - 数据说明.avi
109 - Spark - 案例实操 - 数据说明 - 1.avi/ r" ]1 G |9 K# Y- M
110 - Spark - 案例实操 - 框架 - 封装.avi' B3 a/ H2 r/ B/ m+ u
111 - Spark - 案例实操 - 框架 - 封装 - 1.avi3 s. S8 Q+ C) n" | s& P/ C
507 - Spark - 问题解答.avi
508 - Spark - 11种不同算子实现的wordCount.avi' @9 X3 B/ Y5 e T0 ?
509 - Spark - 课程内容回顾 - 阶段划分.avi1 I: Y7 B+ A4 t5 H, M0 f
day07
112 - Spark - 问题答疑 - 1.avi* w6 Y+ M& D0 V
113 - Spark - 问题答疑 - 2.avi
114 - Spark - 案例实操 - 框架 - 封装 - 2.avi/ q& V3 G! C1 O w
115 - Spark - 案例实操 - 框架 - ThreadLocal.avi
116 - Spark - 案例实操 - 框架 - 改善.avi0 B) g+ c/ M! P5 @" J: b
117 - Spark - 案例实操 - 需求一 - 需求分析&设计.avi# o; ^! z& u( e5 i& F2 D/ Q0 H
118 - Spark - 案例实操 - 需求一 - 功能实现 - 1.avi
119 - Spark - 案例实操 - 需求一 - 功能实现 - 2.avi$ V; [/ o7 N) Z; w
120 - Spark - 案例实操 - 需求一 - 功能优化 - 1.avi: R1 \/ P* _% r8 S4 N/ V! B& P3 F
121 - Spark - 案例实操 - 需求一 - 功能优化 - 2.avi
122 - Spark - 案例实操 - 需求一 - 功能优化 - 3.avi
123 - Spark - 案例实操 - 需求一 - 功能优化 - 4 - 累加器的创建.avi) V) L) \' ~( r5 s; U
124 - Spark - 案例实操 - 需求一 - 功能优化 - 4 - 累加器的使用.avi
125 - Spark - 案例实操 - 需求二 - 需求分析 & 设计.avi
126 - Spark - 案例实操 - 需求二 - 功能实现.avi
127 - Spark - 案例实操 - 需求二 - 错误调试.avi
128 - Spark - 案例实操 - 需求二 - 优化.avi+ h& V e4 L2 P( _; V; w( E7 V
510 - Spark - 课程内容回顾 - 累加器.avi
day086 A. A! a9 v+ z7 K! L( h- @
129 - Spark - 案例实操 - 需求三 - 介绍.avi' ^$ w% W: l* [" @/ { o+ X
130 - Spark - 案例实操 - 需求三 - 需求分析.avi
131 - Spark - 案例实操 - 需求三 - 功能实现 - 计算分母.avi
132 - Spark - 案例实操 - 需求三 - 功能实现 - 计算分子.avi
133 - Spark - 案例实操 - 需求三 - 功能实现 - 计算单跳转换率.avi
134 - Spark - 案例实操 - 需求三 - 功能补充.avi
135 - Spark - SQL - 介绍.avi( V' ^) y$ Y/ E* v/ @/ G
136 - Spark - SQL - 介绍补充.avi
137 - Spark - SQL - DataFrame.avi9 F4 \" w) p2 @- S) B& m
138 - Spark - SQL - DataSet.avi/ y1 Z. D" b0 J1 e, s
139 - Spark - SQL - 基本API演示.avi: S6 V3 W9 s8 v: n/ D2 Q
140 - Spark - SQL - 基本API演示 - SQL.avi0 z, d% F2 r9 M8 n E
141 - Spark - SQL - 基本API演示 - DSL语法.avi
142 - Spark - SQL - DataFrame & RDD转换.avi" q- J/ }7 h+ J1 M9 o8 Q1 w; m
143 - Spark - SQL - DataSet & RDD转换.avi
144 - Spark - SQL - DataSet & DataFrame转换.avi
145 - Spark - SQL - IDEA开发SparkSQL程序 - 创建环境对象.avi
146 - Spark - SQL - IDEA开发SparkSQL程序 - 演示基本操作.avi5 g( W% h: A3 w# H5 \- G8 o! ~
day09 `7 _+ H* Q. Z4 [1 ^+ W
147 - Spark - SQL - IDEA开发SparkSQL程序 - 基本操作回顾.avi* _, O0 _) w, q4 |0 g. e6 C# M8 {1 V
148 - Spark - SQL - UDF.avi, r+ a4 Q! W* j& O6 ~: n% N# v
149 - Spark - SQL - UDAF - 方法重写 - 1.avi
150 - Spark - SQL - UDAF - 方法重写 - 2.avi& o2 q }1 [" t9 j* l
151 - Spark - SQL - UDAF - 原理的解释.avi
152 - Spark - SQL - UDAF - 强类型的UDAF.avi& [$ O( L" X4 u. c
153 - Spark - SQL - 通用的读取功能.avi
154 - Spark - SQL - 通用的保存功能.avi# ^- X+ x% P) T! i# J3 T, {, w
155 - Spark - SQL - 通用的保存&读取功能说明.avi
156 - Spark - SQL - CSV文件的读取.avi
157 - Spark - SQL - Mysql数据的读取&保存.avi+ x: c* N. D1 T6 @1 R: V+ i3 {# E
158 - Spark - SQL - 内置Hive的访问.avi
159 - Spark - SQL - 外置Hive的访问.avi
160 - Spark - SQL - 案例实操 - 模拟数据的生成.avi
161 - Spark - SQL - 案例实操 - SQL的编写和测试.avi! \3 t; W9 j5 m+ c7 [
512 - Spark - 考试题目 - 解析.avi4 e# C5 O2 I, O0 a9 T
513 - Spark - 课程内容回顾 - SparkSQL.avi+ ?: `% ~! @: ~' t, b0 Y* ?
514 - Spark - 课程内容回顾 - SparkSQL - UDAF.avi
day10
162 - Spark - SQL - 案例实操 - 聚合函数的编写 - 1.avi
163 - Spark - SQL - 案例实操 - 问题解释.avi8 E$ ?4 \& C8 L
164 - Spark - SQL - 案例实操 - 问题解释.avi
165 - Spark - Streaming - 介绍.avi
166 - Spark - Streaming - 概念和原理.avi$ |$ P2 g+ C* c1 H! k3 O6 W/ K
167 - Spark - Streaming - wordcount演示.avi T3 O% E+ j5 m) k+ r
168 - Spark - Streaming - wordcount问题说明.avi
169 - Spark - Streaming - wordcount解析.avi- w I& T! z& N; R3 |9 @
170 - Spark - Streaming - 队列采集数据.avi- t9 O1 f8 v1 B s
171 - Spark - Streaming -目录采集数据.avi
172 - Spark - Streaming -自定义数据采集器.avi1 V+ O' t6 K8 f
173 - Spark - Streaming - Kafka数据源.avi; X$ w. t- j4 _# P5 V4 i9 x
174 - Spark - Streaming - transform.avi: e: {/ \8 V( f; j8 q& i: a
175 - Spark - Streaming - join.avi
176 - Spark - Streaming - 有状态的计算updateStateByKey.avi
177 - Spark - Streaming - 有状态的计算window.avi
515 - Spark - 课程内容回顾 - SparkSQL.avi
516 - Spark - 课程内容回顾 - SparkSQL - 案例实操.avi
day11. ` R! U' N( E- B3 `/ F
178 - Spark - Streaming - 有状态的计算reduceByKeyAndWindow.avi
179 - Spark - Streaming - 输出.avi. `0 x9 Z. a3 B0 W( _% n) f
180 - Spark - Streaming - 优雅地关闭.avi9 S) X2 a$ r' E5 H% t6 W# x) h9 a
181 - Spark - Streaming - 优雅地关闭 - 演示.avi( t: H7 D0 g" i: o. O4 J
182 - Spark - Streaming - 优雅地关闭 - 演示补充.avi4 p; ~* N5 W* x
183 - Spark - Streaming - 优雅地关闭 - 检查点操作.avi# S9 ?- `7 a7 }4 ^& z6 n' t) o$ c
184 - Spark - Streaming - 案例实操 - 搭建环境.avi# o: A+ K1 F- q& Y g k6 A
185 - Spark - Streaming - 案例实操 - 生成模拟数据 - 1.avi
186 - Spark - Streaming - 案例实操 - kafka数据读取和发送的封装.avi
187 - Spark - Streaming - 案例实操 - 测试数据的生产和消费.avi
188 - Spark - Streaming - 案例实操 - 生产数据 - 梳理 - 1.avi& T# I" \" A7 ^8 a0 T8 ~; ]
189 - Spark - Streaming - 案例实操 - 生产数据 - 梳理 - 2.avi6 z& o8 \ P2 w) G1 }1 [
190 - Spark - Streaming - 案例实操 - 生产数据 - 梳理 - 3.avi2 Q a% O7 o A7 E0 m7 }
191 - Spark - Streaming - 案例实操 - 需求一 - 需要介绍.avi
192 - Spark - Streaming - 案例实操 - 需求一 - 需求分析.avi
193 - Spark - Streaming - 案例实操 - 需求一 - 功能实现 - 1.avi( w) _! u3 A3 I4 B0 U# D
194 - Spark - Streaming - 案例实操 - 需求一 - 功能实现 - 2.avi$ Z3 ~1 i6 B& L2 c7 U; D: P
195 - Spark - Streaming - 案例实操 - 需求一 - 功能实现 - 3.avi5 A) v& \! z( \( [" {: n
196 - Spark - Streaming - 案例实操 - 需求一 - 流程梳理.avi: d. j) U/ }' L& \. d3 l2 ?' M- C
197 - Spark - Streaming - 案例实操 - 需求一 - 扩展.avi) ?$ q/ s9 z2 \- F
517 - Spark - 课程内容回顾 - SparkStreaming.avi' L$ W8 i, @( Z0 a* c# Q0 v
day12+ E/ T* y. G5 ~8 y D
198 - Spark - Streaming - 案例实操 - 需求二 - 功能实现.avi8 T" ]& l" e3 W& X$ N
199 - Spark - Streaming - 案例实操 - 需求三 - 需求分析.avi$ H6 |+ U" A2 p* G) A T7 I0 \
200 - Spark - Streaming - 案例实操 - 需求三 - 功能实现 - 1.avi
201 - Spark - Streaming - 案例实操 - 需求三 - 功能实现 - 2.avi
202 - Spark - Streaming - 案例实操 - 需求三 - 数据生成.avi& @7 l: [/ Z- X# B4 I2 u7 C
203 - Spark - 内核 - 知识点梳理.avi1 D) }$ }9 v, F+ K5 D
204 - Spark - 内核 - 知识点梳理 - 源码解析 - 提交参数的封装.avi* S* C. n5 x$ }5 a- K
205 - Spark - 内核 - 知识点梳理 - 源码解析 - 反射创建对象执行.avi
206 - Spark - 内核 - 知识点梳理 - 源码解析 - 向Yarn发送指令启动AM.avi
207 - Spark - 内核 - 知识点梳理 - 源码解析 - AM中启动Driver线程.avi
208 - Spark - 内核 - 知识点梳理 - 源码解析 - AM申请资源并对资源进行匹配.avi: W( S7 P5 Y* T8 U* E
209 - Spark - 内核 - 知识点梳理 - 源码解析 - AM向NM请求容器，启动Executor.avi
210 - Spark - 内核 - 知识点梳理 - 源码解析 - Executor反向注册后创建计算对象.avi
211 - Spark - 内核 - 知识点梳理 - 源码解析 - Driver向Executor发送Task并执行.avi
212 - Spark - 内核 - 知识点梳理 - 源码解析 - 问题解答.avi
213 - Spark - 内核 - 架构梳理 - Yarna - Cluster.avi* P5 g: E, [ `( M6 c- R) i) s
214 - Spark - 内核 - 通信 - 原理介绍.avi
215 - Spark - 内核 - 通信 - 源码解析.avi
216 - Spark - 内核 - 通信 - 课件梳理.avi+ Q' S+ p1 R. E8 H$ [, Z( r' ]4 D* K
518 - Spark - 课程内容回顾 - SparkStreaming - 案例实操.avi
2.资料.zip
|
