请选择 进入手机版 | 继续访问电脑版
查看: 277|回复: 0

基于企业案例实战深度剖析Spark内核Spark SQL\Streaming\GraphX\SparkR\机器学习

[复制链接]

9万

主题

9万

帖子

28万

积分

管理员

管理员

Rank: 9Rank: 9Rank: 9

积分
281531
QQ
发表于 2017-11-6 11:28:34 | 显示全部楼层 |阅读模式

[color=]顺应人群:
JAVA开辟经历或Scala开辟经历,较好领会Hadoop,Hive等利用经历。课程对于Spark初学者,Spark开辟职员及Spark运维职员都具有比力大的进修代价。
课程方针:
深入了解Spark的运转道理
学会搭建Spark,hadoop集群情况
完全把握Spark编程根本,领会Spark运维的根本常识
完成大数据入门,可逐步转岗大数据相关职位。
课程情况:
预备情况:CentOS,eclipse或IntelliJ IDEA, Scala,JDK,Maven,sbt,Hadoop,hive,倡议三台虚拟机。
[color=]课程简介:
本课程将会连系精典案例讲授Spark Job的全部生命周期,以及若何分别Stage,若何天生逻辑履行计划和物理履行计划。从Hash Shuffle到Sort Shuffle再到Tungsten Sort Shuffle具体分析Spark Shuffle机制的道理与演进,同时连系Yarn分析Spark的内存模子以及若何停止相关调优,其中两节课首要先容Spark Streaming利用方式,分析通用流式处置系统的关键题目以及Spark Streaming对响应题目标处理计划,如窗口,乱序,Checkpoint等,并分析Spark Streaming与Storm和Kafka Stream各自的优弱点和适用处景。
最初将连系源码分析Spark SQL的道理,以及实现SQL引擎的一般方式,先容若何停止Spark SQL性能优化。并连系大量实在案例,分析若何处理数据倾斜题目从而进步利用性能。
游客,如果您要查看本帖隐藏内容请回复


streaming sql kafka, spark streaming jdbc, henta streaming, sparksql parquet, streaming shuffle
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|IT视频教程资源网 ( 粤ICP备2022015727号 )网站地图

GMT+8, 2024-3-28 23:28 , Processed in 0.189914 second(s), 24 queries .

快速回复 返回顶部 返回列表

客服
热线

微信 webshop6
7*24小时微信 客服服务

扫码添
加微信

添加客服微信 webshop6 获取更多

关注
公众号

关注微信公众号 webjianzhan