证书查询

全国报名咨询热线
010-57197553

首页 / 人工智能

构建企业级ELK日志运维平台课程方案

2021-06-04

课程时间:根据客户需求制定

费用:

地点:

  • 课程详情
  • 适用人群
  • 课程大纲
  • 课程介绍

    本课程重点构建ELK海量日志分析平台,包括Filebeat多数据源采集、打标记、多行异常信息整合,Logstash数据解析、过滤、清洗,ElasticSearch对数据进行存储、搜索以及分析,Kibana实现大数据分析和数据可视化。



    课程收获

    1.近20小时ELK精品课
    2.一套完整的项目实战案例源码
    3.3门系统完整实战课程
    4.从0开始,构建ELK海量日志分析平台



    项目核心技术及版本

    Java8,Filebeat6.6.1、Logstash6.6.1,ElasticSearch6.6.1,Kibana6.6.1
    Filebeat:轻量级的托运人,用于转发和集中日志数据。
    Logstash:监控、过滤、收集各种类型和渠道日志
    Elasticsearch:存储海量日志并提供实时搜索功能
    Kibana:提供Web管理界面,功能强大、操作方便,支持查询、统计、图表展现、监控、预警和权限管理。

    杨俊

    大讲台大数据高级讲师|原某广电数据咨询公司大数据高级架构师

     

    原某广电数据咨询公司大数据高级架构师 资深Java玩家,大数据技术狂热者。曾在北京某广电数据咨询公司担任大数据高级架构师,7年以上大数据实操经验, 经历过10个以上的重量级大数据项目。Hadoop源码级技术大咖,熟练使用Hadoop、Spark、Hive、HBase、Flume、Kafka等各大主流组件。谦虚亲和,崇尚实操至上的教学理念。受到学员一致好评。


  • 适用人群

    1、对大数据相关组件有了解的学员;

    2、有mysql等数据库基础的学员;

    3、对数据仓库感兴趣想转行的学员;

    4、想提升或者积累数据仓库经验的学员;
  • 开篇:课程介绍与安排
    课程介绍与安排 1.ELK课程介绍与安排
    课程一:ElasticSearch6.6.x速学实战
    ElasticSearch 概述 1.本章介绍
    2.ES产生背景
    3.ES介绍
    4.ES vs Solr
    5.ES vs 关系型数据库
    6.ES架构
    7.ES工作原理
    8.ES在大数据中的应用
    9.ES应用场景
    10.本章总结
    ElasticSearch单节点安装 1.本章介绍
    2.JDK安装
    3.ES安装配置
    4.常见错误解决
    5.web访问ES
    6.head插件介绍
    7.head插件安装
    8.head插件相关配置
    9.head插件启动运行
    10.本章总结
    ElasticSearch restful实操 1本章介绍
    2REST介绍
    3REST接口
    4ES创建索引库
    5ES创建索引库注意事项
    6ES 查询所有GET
    7ES DSL查询
    8ES MGET查询
    9ES HEAD使用
    10ES 更新操作
    11ES 删除操作
    12ES 批量操作
    13ES 版本乐观并发控制
    14本章总结
    ElasticSearch 核心技术 1.章节介绍
    2.ES Cluster
    3.ES Shards
    4.ES Replica
    5.ES Recovery
    6.ES Gateway
    7.ES Discoveryzen
    8.ES Transport
    9.ES Settings
    10.ES Mapping
    11.本章总结
    ElasticSearch Java 客户端开发 1.本章介绍
    2.ES Maven项目构建及依赖添加
    3.9200和9300端口区别与联系
    4.高级客户端与Transport Client
    5.高级客户端连接ES集群
    6.索引Index
    7.索引查询get
    8.索引判断exists
    9.索引更新update
    10.索引删除delete
    11.索引批量操作bulk
    12.索引批量查询mget
    13.SearchType类型与原理
    14.SearchType使用
    15.Query查询详解
    16.aggregation聚合案例(1)
    17.aggregation聚合案例(2)
    18.ES 分页
    19.多索引和多类型查询
    20.极速查询原理
    21.极速查询实现
    22.本章总结
    ElasticSearch 索引及分词 1.本章介绍
    2.正排索引与倒排索引
    3.索引分析模块组成
    4.索引和搜索过程
    5.停用词
    6.分词器介绍
    7.maven安装
    8.IK 分词插件源码编译与安装
    9.IK分词插件测试运行
    10.自定义IK词库
    11.热更新IK词库
    12.本章总结
    ElasticSearch 分布式集群安装部署 1.本章介绍
    2.ES 集群规划
    3.系统环境配置
    4.ES集群配置
    5.ES集群启动运行
    6.X-Pack安装
    7.Kibana安装
    8.本章总结
    Elasticsearch 性能优化 1.本章介绍
    2.ES 优化(1)
    3.ES 优化(2)
    4.ES 优化(3)
    5.ES 优化(4)
    6.ES 优化(5)
    7.本章总结
    课程二:构建ELK海量日志分析平台
    ELK项目需求分析与架构设计 1.ELK项目介绍
    2.ELK架构设计
    Filebeat数据采集 1.Filebeat配置详解
    2.Filebeat安装使用
    3.Filebeat 多input和output的使用
    4.Redis介绍、安装、配置与测试
    5.Filebeat与redis集成开发
    Logstash数据聚合与解析 1.Logstash安装使用
    2.Logstash file input使用
    3.Logstash与redis集成开发
    4.Logstash与ElasticSearch集成开发
    ELK海量日志分析平台构建 1.ELK整个项目流程打通
    2.Logstash filter插件之内置grok使用
    3.Logstash filter插件之自定义grok使用
    4.Filebeat 多数据源打标记
    5.Filebeat 打标记多数据源入库Redis
    6.Logstash 解析爬虫日志
    7.Logstash解析tomcat 日志
    8.Logstash 解析多数据源
    9.ELK海量日志平台完整构建
    ELK项目优化与总结 1.Kibana时间轴问题
    2.多行异常日志整合(1)
    3.多行异常日志整合(2)
    4.ELK项目总结
    课程三:Kibana6.6.x大数据分析与可视化
    大数据分析与可视化 1.Kibana介绍与数据准备(1)
    2.Kibana介绍与数据准备(2)
    3.Kibana介绍与数据准备(3)
    4.Kibana Discovery数据发现
    5.Kibana Visualize-Coordinate Map地图
    6.Kibana Visualize-Heat Map热力图
    7.Kibana Visualize-Line线性图
    8.Kibana Visualize-Pie饼图
    9.Kibana Visualize-visual Builder可视化生成器
    10.Kibana Dashboards仪表盘
    11.Kibana Timelion时间序列可视化
    12.Kibana Canvas大屏展示
    13.Kibana Machine Learning机器学习
    14.Kibana Dev Tools开发工具
    15.Kibana Monitoring集群监控
    16.Kibana Management管理工具
    17.Kibana其他功能(1)
    18.Kibana其他功能(2)