证书查询

全国报名咨询热线
010-57197553

首页 / 大数据

亿级用户行为分析项目实战(Spark)课程方案

2021-06-04

课程时间:根据客户需求制定

费用:

地点:

  • 课程详情
  • 适用人群
  • 课程大纲
  • 课程收获

    1.获得近20小时Spark实战项目课程
    2.获得1个大项目4个子项目完整源码
    3.获得1-3年Spark项目开发经验



    课程特色

    1.课程可有偿直播讲解
    2.课程老师可收徒一对一辅导



    适用人群

    1.有java基础的学员
    2.有大数据基础的学员
    3.有spark基础的学员



    技术说明

    1. 开发语言:Java、Scala

    2. 开发工具:IDEA

    3. 主要技术:Hadoop2.6、Zookeeper-3.4.6、Flume1.8、HBase1.2.6、Kafka_2.11-1.0.0、Spark-2.3.0-bin-hadoop2.6

  • 1.有java基础的学员
    2.有大数据基础的学员
    3.有spark基础的学员
  • 第一章:项目需求分析与架构设计
    项目需求分析与架构设计 1.项目业务介绍
    2.技术选型与架构设计
    3.项目架构的过去与现在
    4.手机客户端到服务端通信过程与服务质量监控
    第二章:大数据采集集群设计与要求
    大数据采集集群设计与要求 5.数据采集设计与要求
    6.日志采集拓扑结构-数据高峰处理
    第三章:大数据测试集群与线上集群资源规划
    大数据测试集群与线上集群资源规划 7.大数据测试集群与线上集群资源规划
    第四章:华为手机客户端数据上报服务端【实战】
    华为手机客户端数据上报服务端 8.手机客户端数据上报应用开发
    9.手机客户端上报数据到服务端-本地测试
    10.手机客户端上报数据到服务端-服务端测试1
    10.手机客户端上报数据到服务端-服务端测试2
    11.手机客户端上报敏感数据真实流程
    第五章:Flume高可用集群采集华为手机业务数据【实战】
    Flume高可用集群采集华为手机业务数据 12.Flume最简数据采集
    13.Flume TailDirSource断点续传
    14.Flume TailDirSource源码解读
    15.Flume TailDirSource源码bug修改
    16.Flume TailDirSource 文件回滚验证源码bug修改
    17.Flume高可用分布式集群构建
    18.Flume集群接入手机客户端上报数据
    第六章:Kafka分布式集群实现华为手机数据交换【实战】
    Kafka分布式集群实现华为手机数据交换 19.Kafka集群可用性测试
    20.Flume与Kafka整合
    21.Kafka数据分区优化理论支撑
    22.Kafka分区优化源码开发
    23.Flume与Kafka分区优化测试
    第七章:HBase分布式数据库建模【实战】
    HBase分布式数据库建模 24.HBase数据库建模
    第八章:Spark Streaming实时项目工程开发【实战】
    Spark Streaming实时项目工程开发 25.相关集群参数集中管理
    26.生产环境中优雅停止Spark Streaming作业
    27.从HBase获取Kafka offset消费起始位置
    28.Spark Streaming消费kafka数据
    29.获取当前DStream每个批次的offset
    30.对数据做ETL
    31.华为手机业务统计分析
    32.业务数据入库HBase
    33.使用HBase维护kafka offset
    34.项目中kryo序列化使用
    35.Kafka分区限流
    36.HBase计数器应对高并发流
    第九章:项目工程本地测试与线上部署【实战】
    Spark Streaming实时项目工程开发 37.手机应用业务建表
    38.项目本地测试jar包冲突解决
    39.项目本地测试跑通
    40.项目打包上传至服务器
    41.Spark ON YARN安装部署
    42.YARN生产环境调度器配置与使用
    43.项目运行脚本开发及下线、线上配置切换
    44.Spark华为手机作业提交YARN运行
    45.Spark Streaming结合业务进行代码执行详解
    第十章:web用户行为web用户行为可视化项目接口开发【实战】