渴望技術轉型
轉換行業的IT小白
有一定技術基礎
希望增長經驗
接觸更廣技術面
從事一定年限技術開發
目標突破自我
學習大數據技術
突破職業瓶頸
從事大數據開發工作
深耕離線計算
期待轉型實時開發崗位
Linux、Flink
Java、ClickHouse
Redis、Kafka
等基礎框架
深入了解實時計算在大數據開發中的重要地位深入了解實時數據倉庫的建模理論
靈活應用Flink的的流式計算技術,靈活掌握自定義函數、狀態編程、CDC、CEP、Flink SQL等技術
多種技術框架協調配合、靈活應用,徹底了解HBase、Redis、ClickHouse等在實時計算中的應用
將實時數據倉庫與離線數據倉庫真正融為一體,融會貫通整個大數據開發的關鍵技術
數倉建模Flink計算Flink CEP可視化展示項目上線部署性能優化安全監控
使用HBase+Phoenix的組合存儲DIM層維度數據,大大提高響應速度;
項目涵蓋5大類用戶行為日志數據、34張真實開發場景下的業務數據表、幾十個Flink實時計算任務、上百個實時計算指標、上萬行實時開發代碼;
參照大廠實際數倉建模理論,分層構建實時數據倉庫,ODS層、DIM層、DWD層、DWS層、ADS層,分層計算,數據分流,提高效率,降低耦合度;
使用Flink CDC結合MySQL動態配置表,動態獲取維度表配置,實現數據動態自動分流;
使用FlinkCEP技術實現不同用戶行為模式的識別;
結合鍵控狀態KeyedState的狀態編程實現數據去重,計算去重類指標;
提供針對多種場景的雙流Join解決方案,深入分析各種解決方案的優劣,培養問題解決能力;
對各種指標計算需求提供Flink的Table API和Flink SQL兩種解決方案,滿足不同企業開發需求,培養多角度開發能力;
采用Redis進行旁路緩存,提高響應速度,并使用Flink提供的異步IO進行優化;
采用ClickHouse實現最終寬表數據的存儲,大大提高數據查詢效率,并為用戶提供即席查詢、可視化報表展示的多樣可能性;
采用SpringBoot編寫數據展示接口對接Sugar實現數據可視化大屏展示,熟練掌握數據展示接口的編寫流程;
基于企業級的海量數據分析任務,對CPU配置、內存分配、并行度配置、CheckPoint等方面進行廣泛的性能調優;
詳細講解生產環境中會產生的反壓問題,對反壓原因、反壓定位、反壓處理進行詳細分解;
多角度分析大數據分析中常見的數據傾斜問題,提供詳盡的問題定位策略和多種解決方案;
詳細講解生產環境中常見的故障:非法配置異常、Java 堆空間異常、直接緩沖存儲器異常、元空間異常、網絡緩沖區數量不足、超出容器內存異常、Checkpoint 失敗、Checkpoint 慢、Kafka動態發現分區、Watermark不更新、依賴沖突、超出文件描述符限制、臟數據導致數據轉發失敗等,令學員在短時間內掌握生產環境中常見到、難解決的開發難題,迅速增長經驗,提升能力。