- 課程詳情
- 上課校區(qū)(1)
Hadoop 作為開源的云計算平臺，為大數(shù)據(jù)處理提供了一整套解決方案，應用非常廣泛。Hadoop 作為一個 平臺框架，包括了如何存儲海量數(shù)據(jù)，如何處理海量數(shù)據(jù)，以及相應的數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)流處理、數(shù) 據(jù)分析和挖掘算法庫等等。本次培訓作為知識儲備，主要講解目前應用數(shù)據(jù)和大數(shù)據(jù)平臺的數(shù)據(jù)同步工作以 及了解大數(shù)據(jù)理論體系結構, 應用 Hadoop 2.0 的大數(shù)據(jù)框架結構，文本文件與 Hadoop/Hive/Sqoop 數(shù)據(jù) 遷，Hadoop 的思想、原理，以及重要技術等相關知識。
第一天
一、Hadoop 的基本框架 ：
大數(shù)據(jù)時代面臨的問題 ；當前解決大數(shù)據(jù)的技術方案 ；Hadoop 架構和云計算 ；Hadoop 簡史及安裝部署 ；Hadoop 設計理念和生態(tài)系統(tǒng)
二、HDFS 分布式文件系統(tǒng)：海量數(shù)據(jù)存儲的搖籃
HDFS 的設計目標 、HDFS 的基本架構 、 NameNode 名稱節(jié)點 、 SecondaryNameNode 第二名稱節(jié)點 、 DataNode 數(shù)據(jù)節(jié)點 、HDFS 的存儲模型 數(shù)據(jù)塊存儲 、 元數(shù)據(jù)存儲（空間鏡像與編輯日志） 、多副本存儲 多副本放置策略 多數(shù)據(jù)節(jié)點管理機制與交互過程 文件系統(tǒng)操作與管理 讀文件過程 寫文件過程（數(shù)據(jù)流管道） 數(shù)據(jù)完整性機制 數(shù)據(jù)校驗和 數(shù)據(jù)完整性掃描線程 元數(shù)據(jù)備份與合并 數(shù)據(jù)可靠性設計 安全模式（數(shù)據(jù)塊與節(jié)點映射關系管理） 心跳檢測機制（節(jié)點失效管理） 租約機制（多線程并發(fā)控制） 其它 HDFS 的安全機制 負載均衡 文件壓縮 操作接口與編程接口 HDFS Shell HDFS Commands 演練：HDFS 文件操作命令
三、MapReduce 分布式計算系統(tǒng)：海量數(shù)據(jù)處理的利器
MapReduce 的三層設計理念 、分布治之的設計思想（Map 與 Reduce） 、數(shù)據(jù)處理引擎（編程模型） 、 運行時環(huán)境（任務調度與執(zhí)行） 、MapReduce 的基本架構 、JobTracker 作業(yè)跟蹤器 、TaskTracker 任務跟蹤器 MapReduce 與 HDFS 的部署關系
四、Yarn：平臺
Yarn 平臺的搭建 、 Yarn 實例的運行 、Yarn 應用的監(jiān)控
-
廣州校區(qū)
地址：廣州市天河區(qū)翰景路1號金星大廈
電話：400-029-0976 轉 **** 查看號碼
授課老師 更多
-
艾彪
計算機技術培訓
云計算領域的先行者和實踐者iOS/Android技術顧問前端框架技術專家python爬蟲技術專家跨平臺移動開發(fā)技術專家為波導手機、中國銀行、中南空管局等諸多企、事業(yè)單位開發(fā)移動端項目。精通iOS、Android、PHP、Python、Node.JS,微信及 Html5等開發(fā)技術;精通angular，vueJS,React等主流前端框架以及前端框架的設計;多平臺架構設計協(xié)同開發(fā)倡導者，曾先后主持開發(fā)大型網(wǎng)絡游戲iOS和Android客戶端開發(fā)、海關移動查巡系統(tǒng)、中國銀行移動文檔查閱系統(tǒng)等。在 App Store發(fā)布多款應用軟件，擅長移動平臺的應用和移動架構的搭建，Python開發(fā)與數(shù)據(jù)分析，因長期研究手機和互聯(lián)網(wǎng)前端開發(fā)技術，所以在互聯(lián)網(wǎng)的安全、手機端安全方面也積累了不少實戰(zhàn)經(jīng)驗，現(xiàn)為中睿優(yōu)秀講師，首席企業(yè)移動開發(fā)顧問，前端開發(fā)，移動開發(fā)、移動安全方向培訓滿分講師。 詳細
-
陳國星
web前端開發(fā)培訓
研發(fā)迭代領域專家創(chuàng)業(yè)團隊管理領域專家阿里云企業(yè)級互聯(lián)網(wǎng)架構師阿里云受邀講師大數(shù)據(jù)架構研究者網(wǎng)絡安全領域專家，曾服務于某大型互聯(lián)網(wǎng)公司任安全事業(yè)部高級經(jīng)理曾參與廣東省智慧城市建設項目精通大型分布式互聯(lián)網(wǎng)應用架構設計與技術開發(fā)。對于大規(guī)模分布式架構、微服務架構、云計算與容器化技術、開發(fā)與運維一體化、應用系統(tǒng)安全與和架構設計、海量數(shù)量處理、大數(shù)據(jù)等方向特別有研究，尤其是偏后端的對于高并發(fā)系統(tǒng)上有豐富的架構和實施經(jīng)驗。擅長Java方向、軟件架構、微服務、軟件工程和研發(fā)團隊管理，長期為某上市集團公司提供架構顧問和服務支持，曾在麥當勞、迪士尼、中美史克、科海股份、中國電信、中國郵政、平安科技、南方航空、南方基金等公司做過上門的項目服務，咨詢及培訓服務過300多家成長型企事業(yè)單位?，F(xiàn)為中睿信息CTO，高級技術顧問，首席系統(tǒng)架構師和資深講師。 詳細
-
李巍
計算機技術培訓
Adobe中國認證產(chǎn)品專家Adobe中國認證設計師首席Web產(chǎn)品架構師。13年IT工作經(jīng)驗，9年培訓經(jīng)歷，長期從事互聯(lián)網(wǎng)項目策劃、前端架構、UI研究和UE設計及SEO。擅長將零亂的需求轉化為Web端表現(xiàn)及產(chǎn)品策劃、改進、搜索引擎營銷。為多個互聯(lián)網(wǎng)項目提供項目管理、UI/產(chǎn)品規(guī)劃部分的咨詢和團隊建設、專業(yè)的用戶體驗設計及改進和互聯(lián)網(wǎng)推廣團隊建設，曾一度被中南空管局、中外運、海關、招商基金等公司受信為受歡迎的產(chǎn)品經(jīng)理，歷來培訓有近1000場，通過培訓再反聘做產(chǎn)品或研發(fā)需求管理顧問的有近100個客戶，曾擔任過金山、淘寶、中南空管局、招商局集團等公司的產(chǎn)品顧問，現(xiàn)任中睿公司產(chǎn)品部總監(jiān)和優(yōu)秀講師。 詳細
關于我們 詳情
全面的IT服務提供商—中睿信息是一家專業(yè)的IT服務提供商，致力于解決企業(yè)信息化所遇到的棘手問題。公司與微軟（Microsoft）、甲骨文（Oracle）、思科（Cisco）、Pearson VUE等全球著名IT廠商建立長期的合作伙伴關系，業(yè)務涵蓋企業(yè)IT架構與應用服務、軟件研發(fā)顧問咨詢服務、數(shù)據(jù)庫服務、高級IT技術培訓、軟件項目研發(fā)、解決方案實施和就業(yè)培訓。公司擁有優(yōu)秀的技術團隊，掌握國際前沿技術，采用標準化的服務體系，為客戶高效、穩(wěn)定的IT運營提供強有力支撐，提升企業(yè)核心競爭力。服務客戶遍及各種行業(yè)，包括金融、通訊、制造業(yè)、政府、企事業(yè)單位。目前，中睿作為華南區(qū)實力強的IT服務商，已成為客戶優(yōu)秀IT服務商的優(yōu)選，并與上百家客戶建立了長期、多贏的戰(zhàn)略性合作。
