无码人妻A片一区二区三区_18禁裸乳无遮挡啪啪无码免费_91精品亚?影视在线?看_人人妻人人爽人人澡AV_国产精品人妻一区二区三区四区_午夜免费影视

中培偉業企業IT內訓課程
您現在的位置：首頁 > 企業內訓 > 大數據 > 大數據互聯網架構實戰-Redis&Mycat

大數據互聯網架構實戰-Redis&Mycat

2022-04-27 10:07:19　|　來源：中培企業IT培訓網
一、培訓簡述
通過本課程的學習，學員將獲得以下收益：
  • 掌握Redis安裝、配置和生產環境部署方案
  • 掌握Redis的數據類型的正確理解和使用
  • 理解Redis內存管理原理
  • 掌握Redis安裝、配置和生產環境部署方案
  • 掌握構建Redis的可擴展集群及高可用
  • 掌握Redis安裝、配置和生產環境部署方案
  • 掌握Mycat數據庫分庫分表實戰
  • 掌握Mycat生產環境下性能調優
  • 掌握Mycat生產環境下高可用方案。
二、培訓特色
  • PPT+教材+參考資料，理論講解
  • 提供配套的實驗環境
  • 場景+案例+模擬環境，動手實踐
  • 手把手解決問題+解決問題經驗分享。
三、培訓收益
  • 掌握基于大數據的體系架構、管理、部署，以及相應組件的原理和應用場景。
  • 讓學員具備部署基于企業大數據平臺環境的能力。
四、培訓時長
     共計4天，每天6課時

五、培訓大綱
模塊一：大數據實時計算引擎Storm
章 節 練習 學習目標與案例
Storm
  • 大數據實時計算框架簡介
  • Apache Storm體系結構
  • Apache Storm的偽分布模式的搭建
  • Apache Storm的全分布模式和HA
  • Storm的Demo演示
  • Storm集群在ZooKeeper上保存的數據結構
  • WordCount數據流動的過程
  • 開發自己的Storm的WordCount程序
  • 部署和運行Storm任務
  • Storm任務執行的過程與通信機制
  • 流式計算系統的典型的架構與集成Storm
    • 集成Redis
    • 集成HDFS
    • 集成HBase
 使用Storm進行大數據的實時計算
  • 掌握Storm的體系架構和功能。
  • 掌握大數據實時計算的典型架構
  • 京東大數據平臺的架構
 
 
模塊二：Spark基礎之Scala編程語言
章 節 練習 學習目標與案例
Scala編程語言
  • Scala語言基礎
  • Scala語言的面向對象
  • Scala語言的函數式編程
  • Scala中的集合
  • Scala語言的高級特性
 編程Scala程序 掌握Scala編程語言
 
 
模塊三：大數據執行引擎Spark Core
章 節 練習 學習目標與案例
Spark Core
  • 什么是Spark？
  • Spark的體系結構與安裝部署
    • Spark的主從架構
    • 什么是ZooKeeper
    • Spark HA的實現
  • 執行Spark Demo程序
  • Spark運行機制及原理分析
  • Spark的算子
  • Spark RDD的高級算子
  • Spark基礎編程案例
  • Spark性能診斷和優化案例
    • 系統死鎖的診斷和分析
    • 系統內存溢出的診斷和分析
  • 案例分享
    • 基于Spark的大數據平臺架構
 搭建Spark環境
使用Spark Core處理數據
  • 掌握Spark的體系架構和功能
  • Spark與Hadoop的對比
 
 
 
模塊四：數據分析引擎Spark SQL
章 節 練習 學習目標與案例
Spark SQL
  • Spark SQL基礎
    • Spark SQL簡介
    • 基本概念：Datasets和DataFrames
    • 測試數據
    • 創建DataFrames
    • DataFrame操作
    • Global Temporary View
    • 創建Datasets
    • Datasets的操作案例
  • 使用數據源
    • 通用的Load/Save函數
    • Parquet文件
    • JSON Datasets
    • 使用JDBC
    • 使用Hive Table
  • 性能優化
  • 在IDEA中開發Spark SQL程序
 使用Spark SQL處理數據
  • 掌握Spark SQL的體系架構和功能。
  • 典型的大數據分析引擎的對比
    • Hive
    • Spark SQL
    • Flink SQL
 
 
模塊五：流式計算引擎Spark Streaming
章 節 練習 學習目標與案例
Spark Streaming
  • Spark Streaming基礎
    • Spark Streaming簡介
    • Spark Streaming的特點
    • Spark Streaming的內部結構
    • 第一個小案例：NetworkWordCount
    • 開發自己的NetworkWordCount
  • Spark Streaming進階
    • StreamingContext對象詳解
    • 離散流（DStreams）：Discretized Streams
    • DStream中的轉換操作（transformation）
    • 窗口操作
    • 輸入DStreams和接收器
    • DStreams的輸出操作
    • DataFrame和SQL操作
    • 緩存/持久化
    • 檢查點支持
  • 高級數據源
    • Spark Streaming接收Flume數據
    • Spark Streaming接收Kafka數據
  • 性能優化
    • 減少批數據的執行時間
    • 設置正確的批容量
    • 內存調優
 使用Spark Streaming處理數據
  • 掌握Spark Streaming的體系架構和功能
  • 典型的大數據實時引擎的對比
    • Storm
    • Spark Streaming
    • Flink DataStream
 
 
模塊六：機器學習MLLib
章 節 練習 學習目標與案例
Spark  MLLib
  • 什么是MLLib？
  • MLLib中的常見算法
  • MLlib的應用案例：推薦系統的實現
    • 基于用戶的協同過濾
    • 基于物品的協同過濾
    • 基于ALS的協同過濾
    • 邏輯回歸算法
   掌握電商環境中推薦系統的實現。
 
 
模塊七：新一代大數據處理引擎Flink
章 節 練習 學習目標與案例
第3章：Flink的體系架構與部署
  • Flink簡介
  • Flink的體系架構
  • Flink的安裝與部署
  • Flink的分布式緩存
  • 對比：Flink、Storm和Spark Streaming
 安裝與部署Flink環境 掌握Flink的體系架構與生態圈組件
第4章：Flink on Yarn的實現
  • 什么是Yarn？與Yarn的體系架構
  • 部署Yarn
  • Flink on Yarn的兩種模式
    • 內存集中管理模式
    • 內存Job管理模式
  • Flink on Yarn兩種模式的區別
 部署Flink on Yarn 理解并掌握Flink on Yarn的兩種模式的特點
第5章：Flink HA的實現
  • 什么是HA？為什么需要HA？
  • 大數據分布式協調框架ZooKeeper
    • 什么是ZooKeeper
    • 搭建ZooKeeper環境
    • ZooKeeper的特性
    • 實現分布式鎖
  • 部署Flink HA高可用架構環境
 部署Flink HA環境 什么是HA？Flink HA的架構
第6章：Flink開發入門
  • Flink批處理開發
    • Java版本WordCount
    • Scala版本WordCount
  • Flink流處理開發
    • Java版本WordCount
    • Scala版本WordCount
  • 使用Flink Scala Shell
  • Flink的并行度分析
 搭建Flink開發環境并開發應用程序 掌握基本的Flink API編程
第7章：Flink DataSet API開發
  • Map、FlatMap與MapPartition
  • Filter與Distinct
  • Join操作
  • 笛卡爾積
  • First-N
  • 外鏈接操作
 基于DataSet API開發Flink離線計算應用 掌握常用的Flink DataSet API算子的作用
第8章：Flink DataStreaming API開發
  • DataSources
    • 基本的數據源示例
    • 自定義數據源
    • 內置的Connector
  • DataStream Transformation 轉換操作
  • Data Sinks
  • 集成Flink與Kafka
 基于DataSet Stream開發Flink離線計算應用 掌握常用的Flink DataStream API算子的作用
第9章：狀態管理和恢復
  • 狀態：State
    • Keyed State
    • Operator State
  • 檢查點：Checkpoint
    • 檢查點的配置：
    • state backend存儲模式
    • 修改State Backend的兩種方式
    • 示例
  • Restart Strategies（重啟策略）
 開發應用進行Flink的有狀態計算 理解并掌握Flink的狀態管理機制
第10章：Window和Time
  • 窗口：Window
    • Time Window示例
    • Count Window示例
  • Time：時間
  • WaterMark：水位線
    • Watermark的原理
    • Watermark的三種使用情況
    • 設置Watermark的核心代碼
    • 窗口的allowedLateness
   什么是Flink的窗口操作
第11章：Flink Table & SQL
  • Flink Table & SQL簡介
  • 開發Flink Table & SQL程序
  • 使用Flink SQL Client
 使用Flink SQL分析處理數據 掌握Flink的數據分析模塊
         
 
 
模塊八：大數據安全認證框架
章 節 練習 學習目標與案例
第1章：大數據安全框架
  • 大數據安全問題
  • 大數據安全管控措施
  • Kerberos安全認證機制
  • Sentry安全授權組件
    
 
（注：大綱還可根據需求進行調整）

主站蜘蛛池模板： 国产成人综合在线视频 | 亚洲AV成人影片在线观看 | 日本三级无码中文字幕 | 色综合天天综合高清网 | 亚洲女人一级片 | 成人免费一区 | 人妻被按摩到潮喷中文字幕 | 免费视频久久久 | 久久高清免费视频 | 久久99精品久久久久久按摩秒播 | 免费成人福利视频 | 国产精品二区影院 | 久久99视频免费 | 久久人人槡人妻人人玩夜色AV | 视频一区二区国产无限在线观看 | 欧美精品久久久久久久久久丰满 | 性色AV无码久久一区二区三区 | 一夜新娘第三季在线观看 | 色香婷婷综合激情网 | 人人看片人人看特色大片 | 亚洲精品蜜桃 | 国产精品乱码高清在线观看 | 欧美性受黑人性爽 | 欧日韩精品视频 | 欧美日本在线看 | 国产精品久久久久久久久久久不卡 | 黄色国产在线看 | 精品香蕉99久久久久成人网站 | 夜夜高潮次次欢爽AV女 | 亚洲av日韩av天堂久久 | av一线 | 精品美女一区二区三区 | 亚洲毛片多多影院 | 黄色一二区 | 亚洲国产果冻传媒av在线观看 | 免费国产精品久久久久久 | 上流社会韩剧免费观看 | 青青青草网站免费视频在线观看 | 青青草原在线视频播放 | 日韩欧美中文在线 | 青青视频国产 |