Hadoop、Spark源码编译

课程介绍

本课程将手把手带你搞定Hadoop、Spark 源码编译。Hadoop、Spark是一个分布式计算的框架。在实际工作中，我们会发现它们不能完全满足我们的需要，我们可能需要修改Hadoop、Spark的源代码并重新编译、打包。

Hadoop源码编译

Spark源码编译

讲师介绍

Felix

大讲台大数据特聘讲师 | 北京某移动应用平台大数据高级架构师

北京某移动应用平台大数据高级架构师 10年一线开发及项目管理经验，6年以上大数据系统架构及分析处理经验，骨灰级大数据玩家。曾就职于国内某TOP5的电信相关业务公司，负责对手机信息收集处理工作

对于Hadoop、Storm、Spark有较深研究。搭建、维护过上百节点集群，处理过PB级数据。因技术出色，多次在知名企业内部进行大数据技能培训，对一线企业大数据方面的技能需求非常了解。热爱分享，喜欢结合切身经历的大型项目经验来授课，用血淋淋的一线案例、真刀真枪的现场演示、实时的回馈指导赢得了很多学员的仰慕和好评。

免费视频这么多，为什么还要来大讲台？

智能化

学习任务智能推送

混合式

“图文+视频”混合式课件

答疑快

30分钟问答响应

实战多

3分理论7分实战

包学会

账号长期有效学会为止

课程大纲

Hadoop源码编译

1、检查并安装Gcc-c++
2、安装Maven
3、安装ProtocolBuffer
4、安装Cmake
5、安装Zlib
6、安装Openssl
7、安装Snappy
8、编译Hadoop
9、Hadoop本地库检测
10、Hadoop 配置Snappy压缩

Spark源码编译

1、Spark 版本选择
2、在线安装Git(root 用户下)
3、创建一个目录克隆Spark源代码
4、切换Spark分支
5、安装JDK
6、安装Maven
7、编译spark

你可能还喜欢的课程

【千元钜惠】资深大数据架构大佬全程直播，传授硬核技能：①OLAP/HTAP/湖仓一体等多种架构；②借FlinkCDC/Kylin/Hudi/Doris等打造数仓；③湖仓一体化项目落地实践；④基于Flink和StreamX打造低代码大数据中台

查看详情 QQ咨询

大数据实战精英+架构师班

查看详情 4个月
【千元钜惠】手握6000+节点的大数据运维大咖全程直播，4个月带你熟悉大数据集群规划、部署、监控、排错、容器化等技能，并完成3个商业项目。

查看详情 QQ咨询

大数据运维尖刀班

查看详情 4个月
【3重优惠】技术大牛组团授课，专讲大数据核心知识和大型项目实战，多台物理服务器数十个节点现场直播演示！企业级实战项目让你四个月掌握2年的项目经验！

查看详情 QQ咨询

大数据开发工程师特训营

查看详情 16周
【优惠活动】新东方、搜狗、腾讯等名企一线实战讲师授课，技“高”一筹！重在培养数据分析方法及思路，而不仅仅是学习技术及工具。带教多个互联网及金融领域企业真实项目，而不仅仅是讲理论和小案例。

查看详情 QQ咨询

数据分析特训营

查看详情 16周
本课程为大数据金融信贷项目实战课，着重讲解企业中常用的大数据技术理论与实战，如Hadoop、Hive、HBase、Sqoop、Flume、Kafka、Spark Streaming、Spark SQL、Spark Structured Streaming等。课程包含离线项目和实时项目，从项目业务需求、技术选型、架构设计、集群安装部署、集成开发以及项目可视化进行多方位实战讲解。

查看详情 QQ咨询

互联网金融信贷项目实战（Hadoop&Spark）

查看详情 38小时44分钟
干货多：15案例 + 3实战 + 2项目；
提升快：滴滴出行一线架构师传授实战经验，30小时多方位讲解数据仓库构建相关理论及实战内容
技术全：综合运用Hive/Flume/Kafka/Azkaban/Oozie/SparkSQL等技术；

查看详情 QQ咨询

基于大数据体系构建数据仓库

查看详情 32小时52分钟
本课程基于某电商公司运营实时分析系统（2B），对Flink进行系统讲解。通过本课程的学习，既能获得Flink企业级真实项目经验，也能深入掌握Flink的核心理论知识，还能获得Flink在生产环境中安装、部署、监控的宝贵经验，从而深入掌握Flink技术。

查看详情 QQ咨询

Flink电商运营项目实战

查看详情 50小时6分钟

他们在学

杭州-张浩
魏二
Ordinare
pxj
176****3478
25369
太阳&왕문천
一切从简
向日葵22127
23515
呆小木
fans-凡子
老浪花
Sloth
24056
振