|
技术简介 1.传统的广告投放方式无法实现广告跟踪和效果评估，也给广告主带来了不必要的资金浪费；互联网技术的兴起，让传统的广告的投放方式从线下搬到了线上，大数据技术兴起，让不原本无法实现的广告跟踪和效果评估变成了现实； 2.精准广告推送数据分析平台是目前互联网广告投放的核心； 3.精准广告推送数据分析平台旨在利用大数据技术分析用户数据特征，根据用户特征进行精心的广告推送服务，如AnglelaBaby喜欢的口红，那么就给她推送口红的广告； 4.精准广告推送数据分析项目主要是Spark Transformations、Action、Broadcast、Spark Streaming、MLLib的技术点的综合案例实战，通过该项目实战让你的面试、就业不在是黄粱一梦。
课程大纲 | | | | 大数据Spark实战项目： 精准广告推送系统 DMP平台 | | | | | | | | | | | | | | | | | | | | | | | | | Flume自定义插件开发流程详解及实际场景应用；
source、channel、sink的使用详解及实战经验；
Flume HDFS sink深入剖析及实战经验；
数据存储目录结构设计； | | | | | | | | | | | | | | | Spark Transformations各算子在各业务模型中的实战应用；
Spark Action的实战应用最佳实践经验；
Spark SQL在项目数据分析业务场景中的各类复杂应用，如
如参与竞价数、竞价成功数、竞价成功率、ECPC、ECPM等。 | | | | | | 使用Spark Streaming结合Kafka对业务指标进行实时统计分析，并将计算的结果数据存储到Redis中
Kafka分区调优应用；
Kafka整合Spark Streaming的数据可靠性优化实战；
Kafka整合Spark Streaming的吞吐量协调优化实战；
Spark Streaming在复杂业务模型下的逻辑开发实战；
Spark Streaming线上环境各类复杂异常处理经验；
Spark Streaming线上环境各类监控、JVM优化经验 | | | | | | | 使用Spark Transformations、Action、Broadcast及外部爬虫抓到的网络数据进行处理分析将数据标签化 | | 使用Spark GraphX算法，对数据进行分析处理，识别出同一用户跨多个设备的问题 | | 使用GEOHASH算法结合HBASE解决用户的地理位置识别问题 | | 使用Spark Transformations、Action将上下文标签数据和统一用户数据进行合并 | | 将合并的用户标签数据存储到Hbase中，并根据日志动态扩列 | | 将Hbase中的标签数据按照日期自动衰减，形成当天最新的标签 | | | 使用Echarts、ELK将Hbase中的数据做可视化的web平台；
Echarts实际应用实战技能；
ELK实际应用实战技能； |
| | |
===============课程目录===============
1.大数据实战之精准广告推送实战---广告形式介绍.avi 2.大数据实战之精准广告推送实战---几个思考.avi 3.大数据实战之精准广告推送实战---互联网广告概念及表现形式.avi 4.大数据实战之精准广告推送实战---广告名词概念.avi 5.大数据实战之精准广告推送实战---DSP原理.avi 6.大数据实战之精准广告推送实战---DSP流程.avi 7.大数据实战之精准广告推送实战---DMP项目背景.avi 8.大数据实战之精准广告推送实战---DMP数据处理技术架构.avi 9.大数据实战之精准广告推送实战---DMP业务流程.avi 10.大数据实战之精准广告推送实战---指标说明.avi 11.大数据实战之精准广告推送实战---日志字段属性说明.avi 12.大数据实战之精准广告推送实战---项目Maven工程构建.avi 13.大数据实战之精准广告推送实战---将日志转换成Parquet格式.avi 14.大数据实战之精准广告推送实战---Parquet文件分区操作.avi 15.大数据实战之精准广告推送实战---Spark SQL操作Parquet--地域数据量分布统计.avi 16.大数据实战之精准广告推送实战---Spark Core算子操作原始日志--地域数据量分布统计.avi 下载地址：
| 
