IT视频教程资源网

标题: Flink+ClickHouse 玩转企业级实时大数据开发 [打印本页]

作者: admin 时间: 2022-5-18 00:18
标题: Flink+ClickHouse 玩转企业级实时大数据开发



            课程目标
            从零开始，原理出发，案例驱动，吃透Flink开发方方面面



                     搭建Flink完整知识体系
                     · 快速入门Flink
· 轻松上手项目部署
· 全面掌握六大核心知识



                     实战企业级大数据项目
                     · 核心组件二次开发
· 结合ClickHouse开发企业级
  大数据实时场景
· 实时数仓项目拓展实践



                     提升实际问题解决能力
                     · 架构/框架选型?
· 升级、落地、性能调优？
· 技术大牛如何思考问题？







            课程亮点
            六大核心模块重点梳理，快速构建Flink完整知识体系
            逐步深入，直通企业面试题，轻松达到Flink中级开发水平



                        实时处理

                              实时处理核心API编程
                              自定义Source
                              自定义Function
                              自定义Sink
                              并行度



                        窗口及水印

                              时间语义
                              窗口概念&分类&分配器
                              Watermark
                              Window Function
                              综合编程



                        状态管理

                              状态是什么及分类
                              自定义状态管理
                              Checkpoint vs
                              SavePoint
                              重启策略
                              StateBackend





                        Table API&SQL处理

                              核心概念&编程模型
                              整合DataStream编程
                              整合Connector编程
                              整合Window编程
                              UDF编程



                        离线处理

                              离线编程模型
                              离线核心API编程
                              计数器
                              分布式缓存
                              广播变量



                        CEP

                              复合事件处理
                              个体模式&组合模式
                              模式检测
                              模式提取
                              风控实战





                  面试真题

                     1.Flink是如何保证Exactly-once语义的
                     3.谈谈对你Flink并行度的认识，如何设置并行度
                     5. Flink如何做到容错的
                     7. Flink分布式快照机制是如何实现的


                     2.Flink如何实现双流JOIN
                     4.Flink如何完成状态存储，各自的区别有哪些
                     6.在使用Flink时如何解决数据倾斜
                     8.Flink作业运行时有作业延迟，谈谈你的解决思路

                  ······

            项目实战：Flink+ClickHouse搭建大数据实时分析应用
            从架构思想到性能落地，系统指导开发实践




                     实现功能
                     解决问题
                     性能调优

                        · 数据清洗(同步、异步IO)

· 基于窗口的新老用户指标统计

(操作系统、省份、窗口维度)

· 热门分组TopN指标统计

· Flink整合CH完成明细数据并进行

多维度统计分析

· 基于CEP完成风控告警

· 基于Canal的实时数据同步

· 基于Flink的双流JOIN方案


                        · 基于Flink+CH通用实时解决方案

· Flink保证Exactly-once语义

· 自定义Source、Transformation、

Sink算子

· 彻底理解基于Flink的自定义状态

管理

· 窗口&水印&窗口函数综合使用

· 引入CH，解决实时多维度分析的

   痛点

· 基于Flink的CEP编程· 实时数仓

架构及选型

· 实时数仓的分层模型


                        · 布隆过滤器整合State编程解决

state过大的问题

· 使用Flink异步IO提升数据处理的

   性能

· Flink并行度调整



            适用大厂多，学透Flink == 打通大厂晋升跳槽通道
            快速变身大厂都在追的大数据人才






            课程大纲


                  第1章  Flink认知篇
                  第2章  Flink本地开发快速上手篇
                  第3章  Flink部署篇
                  第4章  Flink实时处理核心API基础篇
                  第5章  Flink实时处理核心API进阶篇
                  知晓大数据处业界中主流的分布式计算框架有哪些，引出本课程要学习的Flink框架。知道Flink框架是做什么的，在什么场景下使用的比较多。了解业务常见的实
时处理框架有哪些，并知道在大厂中都在使用Flink做什么。
                  通过Maven+IDEA构建基于Flink的开发工程，结合Flink官方提供的源码轮廓来构建我们的第一个实时和离线分析案例。
                  带领学员完成Flink环境的部署，理解Flink的架构，通过提交作业到Flink集群上来运行，并认识Flink UI上核心参数的意思。
                  介绍基于Flink的DataStream API内置的三大核心要素的编程：Source、Tranformation、Action。
                  介绍基于Flink的DataStream API的三大核心要素的的高级特性以及自定义实现对应的三大核心要素。
                  查看完整目录







                  专属服务
                  每个IT资源网课程，都是一个专业的技术社区
                  个性化增值服务，学习有保障更高效







                        答疑专区+技术社区
                        连百度谷歌都搜不到的问题，在这里讲
师都将耐心详细解答，更有小伙伴一起
交流互动，共同进步。



                        学练一体
                        课程不仅包括视频讲解，还提供相关
练习、巩固学习效果的环节。





                        源码开放
                        提供课程全套源下载包含：
全套组件封装镜像、私有仓库、各个服
务的镜像、项目源代码。



                        教辅材料
                        丰富的教辅材料实时上传。










                     适宜人群
                     1. 大数据领域从业者或想转型大数据开发的工程师
2. 想彻底学习Flink框架的小伙伴


                     技术储备要求
                     Java、Linux基本命令使用
Hadoop基本命令使用


                     技术参数
                     JDK: 1.8 Mavem：3.6.3 Hadoop: 3.2.2
Kafka：2.5.0 Flink：1.12 ClickHouse：21.4.5.46
Canal：1.1.4 Redis：5.x

欢迎光临 IT视频教程资源网 (https://zhilexue.tech/)