?大數(shù)據(jù)在這個互聯(lián)網(wǎng)時代的重要意義，已經(jīng)無需再多贅述。阿里、騰訊、美團等幾乎你聽過名字的公司，都有自己的大數(shù)據(jù)平臺。

過去我們都關(guān)注大數(shù)據(jù)開發(fā)，隨著大數(shù)據(jù)平臺的逐漸完善，如何保障數(shù)據(jù)的安全、高效，如何保證系統(tǒng)架構(gòu)的平穩(wěn)運行，都成為各數(shù)據(jù)平臺的“心病”。

于是，大數(shù)據(jù)運維這個崗位一躍成為大數(shù)據(jù)領(lǐng)域的熱詞。很多公司會讓開發(fā)來兼大數(shù)據(jù)運維的工作，這對開發(fā)人員來說也是不小的挑戰(zhàn)。

相比大數(shù)據(jù)開發(fā)，大數(shù)據(jù)運維方向需要更多的經(jīng)驗積累，比如什么架構(gòu)才能支撐這個數(shù)據(jù)量、什么資源配置才能滿足分析需求，這需要你實際接觸過、操作過才能給出答案，而不是靠理論或者猜測。

專欄共七大模塊， 26 個課時，引用大量大數(shù)據(jù)運維的實戰(zhàn)案例，來講述大數(shù)據(jù)平臺的架構(gòu)設(shè)計與部署、大數(shù)據(jù)平臺的監(jiān)控告警、性能調(diào)優(yōu)，涵蓋了大數(shù)據(jù)運維工作的全方位技能點。

大數(shù)據(jù)運維實戰(zhàn)，給大數(shù)據(jù)工程師的運維修煉手冊課程目錄

[3075] 開篇詞：掌握大數(shù)據(jù)，把握未來.md

[3076] 第01講：大話 Hadoop 生態(tài)圈.md

[3077] 第02講：Hadoop 發(fā)行版選型和偽分布式平臺的構(gòu)建.md

[3078] 第03講：自動化運維工具 Anible 在部署大數(shù)據(jù)平臺下的應(yīng)用（上）.md

[3079] 第05講：手動模式構(gòu)建雙 Namenode+Yarn 的 Hadoop 集群（上）.md

[3080] 第07講：通過 Ambari 工具自動化構(gòu)建 Hadoop 大數(shù)據(jù)平臺和外圍應(yīng)用（上）.md

[3081] 第09講：如何通過 Hivetez 與 Hadoop 的整合快速實現(xiàn)大數(shù)據(jù)開發(fā)（上）.md

[3082] 第11講：HDFS 組件運行機制剖析及 HDFS Shell 的使用.md

[3083] 第12講：Hadoop 分布式資源管理器 Yarn、MR 運行機制剖析.md

[3084] 第13講：Spark Standalone 模式的構(gòu)建以及 Spark 與 Yarn 的整合.md

[3085] 第14講：HBae 與 Hadoop 的整合應(yīng)用實踐.md

[3086] 第15講：Flink Standalone、Flink on Yarn 集群構(gòu)建與應(yīng)用場景.md

[3087] 第16講：輕量級日志收集工具 Filebeat 應(yīng)用案例.md

[3088] 第17講：日志收集、分析過濾工具 Logtah 應(yīng)用實戰(zhàn).md

[3089] 第18講：Elaticearch 應(yīng)用架構(gòu)的實現(xiàn)與調(diào)優(yōu).md

[3090] 第19講：Kafka 應(yīng)用場景、集群容量規(guī)劃、架構(gòu)設(shè)計應(yīng)用案例.md

[3091] 第20講：日均數(shù)據(jù)量 30 億的 Filebeat+Kafka+Mirrormaker 跨機房實時日志傳送案例.md

[3092] 第21講：Filebeat+Kafka+Logtah+Elaticearch 構(gòu)建可視化日志分析系統(tǒng).md

[3093] 第22講：通過 Ganglia 實現(xiàn)對 HDFS、Yarn、Spark 運行狀態(tài)監(jiān)控.md

[3094] 第23講：Namenode、Datanode、Nodemanager 等服務(wù)狀態(tài)監(jiān)控策略.md

[3095] 第24講：通過 Kafka Eagle 實現(xiàn)對 Kafka 消息隊列的監(jiān)控.md

[3096] 第25講：Yarn 資源調(diào)度 Fair Schedule 與 Capacity Scheduler 配置選型.md

[3097] 第26講：HDFS 存儲權(quán)限 ACL 控制策略以及與系統(tǒng)權(quán)限整合應(yīng)用.md

[3098] 第27講：Yarn、HDFS、Kafka 內(nèi)存調(diào)優(yōu)策略以及性能瓶頸.md

[3099] 第28講：Hadoop 平臺常見故障匯總以及操作系統(tǒng)性能調(diào)優(yōu).md

[3100] 第29講：大數(shù)據(jù)平臺的硬件規(guī)劃、網(wǎng)絡(luò)調(diào)優(yōu)、架構(gòu)設(shè)計、節(jié)點規(guī)劃.md

[3101] 第30講：Hadoop 跨集群數(shù)據(jù)遷移應(yīng)用實踐.md

[3163] 第04講：自動化運維工具 Anible 在部署大數(shù)據(jù)平臺下的應(yīng)用（下）.md

[3208] 第06講：手動模式構(gòu)建雙 Namenode+Yarn 的 Hadoop 集群（下）.md

[3337] 第08講：通過 Ambari 工具自動化構(gòu)建 Hadoop 大數(shù)據(jù)平臺和外圍應(yīng)用（下）.md

[3338] 第10講：如何通過 Hivetez 與 Hadoop 的整合快速實現(xiàn)大數(shù)據(jù)開發(fā)（下）.md

[4445] 結(jié)語：大數(shù)據(jù)運維，大有作為.md

文檔

[3075] 開篇詞：掌握大數(shù)據(jù)，把握未來.mp4

[3076] 第01講：大話 Hadoop 生態(tài)圈.mp4

[3077] 第02講：Hadoop 發(fā)行版選型和偽分布式平臺的構(gòu)建.mp4

[3078] 第03講：自動化運維工具 Anible 在部署大數(shù)據(jù)平臺下的應(yīng)用（上）.mp4

[3079] 第05講：手動模式構(gòu)建雙 Namenode+Yarn 的 Hadoop 集群（上）.mp4

[3080] 第07講：通過 Ambari 工具自動化構(gòu)建 Hadoop 大數(shù)據(jù)平臺和外圍應(yīng)用（上）.mp4

[3081] 第09講：如何通過 Hivetez 與 Hadoop 的整合快速實現(xiàn)大數(shù)據(jù)開發(fā)（上）.mp4

[3082] 第11講：HDFS 組件運行機制剖析及 HDFS Shell 的使用.mp4

[3083] 第12講：Hadoop 分布式資源管理器 Yarn、MR 運行機制剖析.mp4

[3084] 第13講：Spark Standalone 模式的構(gòu)建以及 Spark 與 Yarn 的整合.mp4

[3085] 第14講：HBae 與 Hadoop 的整合應(yīng)用實踐.mp4

[3086] 第15講：Flink Standalone、Flink on Yarn 集群構(gòu)建與應(yīng)用場景.mp4

[3087] 第16講：輕量級日志收集工具 Filebeat 應(yīng)用案例.mp4

[3088] 第17講：日志收集、分析過濾工具 Logtah 應(yīng)用實戰(zhàn).mp4

[3089] 第18講：Elaticearch 應(yīng)用架構(gòu)的實現(xiàn)與調(diào)優(yōu).mp4

[3090] 第19講：Kafka 應(yīng)用場景、集群容量規(guī)劃、架構(gòu)設(shè)計應(yīng)用案例.mp4

[3091] 第20講：日均數(shù)據(jù)量 30 億的 Filebeat+Kafka+Mirrormaker 跨機房實時日志傳送案例.mp4

[3092] 第21講：Filebeat+Kafka+Logtah+Elaticearch 構(gòu)建可視化日志分析系統(tǒng).mp4

[3093] 第22講：通過 Ganglia 實現(xiàn)對 HDFS、Yarn、Spark 運行狀態(tài)監(jiān)控.mp4

[3094] 第23講：Namenode、Datanode、Nodemanager 等服務(wù)狀態(tài)監(jiān)控策略.mp4

[3095] 第24講：通過 Kafka Eagle 實現(xiàn)對 Kafka 消息隊列的監(jiān)控.mp4

[3096] 第25講：Yarn 資源調(diào)度 Fair Schedule 與 Capacity Scheduler 配置選型.mp4

[3097] 第26講：HDFS 存儲權(quán)限 ACL 控制策略以及與系統(tǒng)權(quán)限整合應(yīng)用.mp4

[3098] 第27講：Yarn、HDFS、Kafka 內(nèi)存調(diào)優(yōu)策略以及性能瓶頸.mp4

[3099] 第28講：Hadoop 平臺常見故障匯總以及操作系統(tǒng)性能調(diào)優(yōu).mp4

[3100] 第29講：大數(shù)據(jù)平臺的硬件規(guī)劃、網(wǎng)絡(luò)調(diào)優(yōu)、架構(gòu)設(shè)計、節(jié)點規(guī)劃.mp4

[3101] 第30講：Hadoop 跨集群數(shù)據(jù)遷移應(yīng)用實踐.mp4

[3163] 第04講：自動化運維工具 Anible 在部署大數(shù)據(jù)平臺下的應(yīng)用（下）.mp4

[3208] 第06講：手動模式構(gòu)建雙 Namenode+Yarn 的 Hadoop 集群（下）.mp4

[3337] 第08講：通過 Ambari 工具自動化構(gòu)建 Hadoop 大數(shù)據(jù)平臺和外圍應(yīng)用（下）.mp4

[3338] 第10講：如何通過 Hivetez 與 Hadoop 的整合快速實現(xiàn)大數(shù)據(jù)開發(fā)（下）.mp4

[4445] 結(jié)語：大數(shù)據(jù)運維，大有作為.mp4