详细内容:当前的位置:首页 >> 公开课文字版
课程编号:39683 查看完整版课程大纲
时间地点:2016/1/10日 至 2016/1/11日 上海培训时长:2天
主讲老师:专家(查看该老师更多课程)
课程价格:¥5800元/位(更多优惠请致电020-31041068)
会员价格:¥5800元/位(免费注册博课会员)
课程类别:综合管理 (查看该类别更多课程)
所有排期: 2016/1/10至2016/1/11 上海
培训内容:

课程大纲:

时间内容















第一天第1个主题:Hadoop三问(彻底理解Hadoop)
1、Hadoop为什么是云计算分布式大数据的事实开源标准软件框架
2、Hadoop的具体是如何工作
3、Hadoop的生态架构和每个模块具体的功能是什么

第2个主题:Hadoop集群与管理(具备构建并驾驭Hadoop集群能力)
1、 Hadoop集群的搭建
2、 Hadoop集群的监控
3、 Hadoop集群的管理
4、集群下运行MapReduce程序

第3个主题:彻底掌握HDFS(具备开发自己网盘的能力)
1、HDFS体系架构剖析
2、NameNode、DataNode、SecondaryNameNode架构
3、保证NodeName高可靠性最佳实践
4、DataNode中Block划分的原理和具体存储方式
5、修改Namenode、DataNode数据存储位置
6、使用CLI操作HDFS
7、使用Java操作HDFS

第4个主题:彻底掌握HDFS(具备修改HDFS具体源码实现的能力)
1、RPC架构剖析
2、源码剖析Hadoop构建于RPC之上
3、源码剖析HDFS的RPC实现
4、源码剖析客户端与与NameNode的RPC通信

第5个主题:彻底掌握MapReduce(从代码的角度剖析MapReduce执行的具体过程并具备开发MapReduce代码的能力)
1、MapReduce执行的经典步骤
2、wordcount运行过程解析
3、Mapper和Reducer剖析
4、自定义Writable
5、新旧API的区别以及如何使用就API
6、把MapReduce程序打包成Jar包并在命令行运行

第6个主题:彻底掌握MapReduce(具备掌握Hadoop如何把HDFS文件转化为Key-Value让供Map调用的能力)
1、Hadoop是如何把HDFS文件转化为键值对的
2、源码剖析Hadoop读取HDFS文件并转化为键值对的过程实现
3、源码剖析转化为键值对后供Map调用的过程实现

第7个主题:彻底掌握MapReduce(具备掌握MapReduce内部运行和实现细节并改造MapReduce的能力)
1、Hadoop内置计数器及如何自定义计数器
2、Combiner具体的作用和使用以及其使用的限制条件
3、Partitioner的使用最佳实践
4、 Hadoop内置的排序算法剖析
5、自定义排序算法
6、 Hadoop内置的分组算法
7、自定义分组算法
8、 MapReduce常见场景和算法实现

第8个主题:某知名电商公司Hadoop实施全程揭秘(具备掌握商业级别Hadoop的分析、开发、部署的全过程的能力)
通过电商公司现场案例展示商业级别一个完整项目的分析、开发、部署的全过程


时间内容














第二天第9个主题:YARN(具备理解和使用YARN的能力)
1、YARN的设计思想
2、YARN的核心组件
3、YARN的共组过程
4、YARN应用程序编写

第10个主题:ResourceManager深度剖析(具备深刻理解ResourceManager的能力)
1、ResourceManager的架构
2、ClientRMService 与AdminService
3、NodeManager
4、 Container
5、 Yarn的 HA机制

第11个主题:NodeManager深度剖析(具备掌握NodeManager及Container的能力)
1、NodeManager架构
2、Container Management
3、Container lifecycle
4、资源管理与隔离

第12个主题:MapReduce的经典案例纯代码实战(初级)
1 MapReduce通过采集的气息温度数据分析每年的最高温度代码实战
2 MapReduce数据去重案例代码案例实战
3 MapReduce数据排序代码案例实战
4MapReduce平均成绩代码案例实战
第13个主题:MapReduce的经典案例纯代码实战(进阶1)
1 MapReduce求最大最小值案例代码实战
2 MapReduce TopN案例实战
3 MapReduce日志分析案例实战

第14个主题:MapReduce的经典案例纯代码实战(进阶2)
1 MapReduce Join操作案例代码实战
2 MapReduce Join优化案例实战
3 MapReduce 二次排序代码案例实战

第15个主题:MapReduce的经典案例纯代码实战(高级1)
1 MapReduce 自动连接操作案例代码实战
2 MapReduce 倒排索引案例实战
3 MapReduce 多维度排序代码案例实战

第16个主题:MapReduce的经典案例纯代码实战(高级2)
1 MapReduce MultipleInputs案例代码实战
2 MapReduce MultipleOutputs案例实战
3 MapReduce ChainMaper、ChainReducer代码案例实战

第12个主题:Spark的架构设计
1 Spark生态系统剖析
2 Spark的架构设计剖析
3 RDD计算流程解析
4 Spark的出色容错机制

培训师介绍:

Spark、Docker、Android技术中国区布道师。
Spark亚太研究院院长和首席专家,移动互联网、云计算和大数据技术领域集大成者。
当今云计算领域最火爆的技术Docker源码级专家和Docker技术在中国的最早实践者之一。
Cassandra和H技术在中国的最早实践者之一。
在Spark、Hadoop、Android、Docker等方面有丰富的源码、实务和性能优化经验。彻底研究了Spark从0.5.0到1.1.0共18个版本的Spark源码。Spark最佳畅销书《大数据spark企业级实战》作者,电子书《Spark GraphX大规模图计算和图挖掘》、《Spark实战高手之路》的作者,从2014年6月24日开始,在网上开启了免费的Spark公开课《决胜大数据时代Spark100期公益大讲堂》。
Hadoop源码级专家,曾负责某知名公司的类Hadoop框架开发工作,专注于Hadoop一站式解决方案的提供,同时也是云计算分布式大数据处理的最早实践者之一,Hadoop的狂热爱好者,不断的在实践中用Hadoop解决不同领域的大数据的高效处理和存储,现在正负责Hadoop在搜索引擎中的研发等,著有《云计算分布式大数据Hadoop实战高手之路---从零开始》《云计算分布式大数据Hadoop实战高手之路---高手崛起》《云计算分布式大数据Hadoop。实战高手之路---高手之巅》等;
国内最早(2007年)从事于Android系统移植、软硬整合、框架修改、应用程序软件开发以及Android系统测试和应用软件测试的技术专家和技术创业人员之一。
多款浏览器定制者,中国大陆HTML5的技术引领者。

培训对象:

所有对此感兴趣的对象

相关 大数据处理技术 ,大数据,课程: 点击查看更多相关课程
开课城市: