99热这里有精品-夜夜嗨av色一区二区不卡-亚洲国产精彩中文乱码AV-日本japanese乳偷乱熟

金融審批實時數倉項目

金融審批實時數倉項目共分三大部分:實時數倉架構介紹、數倉模型搭建、Sugar可視化大屏展示。金融審批實時數倉項目延續了離線數倉的業務邏輯,以金融租賃業務線為主題,從審批流程一直到設備租賃,完整地對金融租賃業務進行了各個流程的實時數據分析。



項目以金融審批采集項目為前置基礎,使用采集項目中搭建的虛擬機環境,讀取采集項目實時監控的業務數據,對數據進行實時的分析計算,最終得到指標需求結果,寫出到Doris之后,使用Sugar進行可視化展示。

 

微信圖片_20230912145835.jpg



項目使用的框架包括:Hadoop、Kafka、Flume、Maxwell、Flink、HBase、Phoenix、Redis、Doris、Sugar等。整套教程通過精煉的業務體系邏輯,幫助學習者快速掌握實時數倉所使用的技術手段。

教程目錄

01.金融審批實時數倉課程介紹
02.采集平臺內容回顧
03.金融審批實時數倉搭建概念介紹
04.金融審批實時數倉基礎架構介紹
05.金融審批實時數倉具體開發層級介紹
06.數倉建模ER模型介紹
07.數倉建模ER模型三范式介紹
08.數倉建模維度模型介紹
09.維度建模事實表簡單概述
10.維度建模事務型事實表介紹
11.維度建模周期快照事實表
12.維度建模累積快照事實表
13.維度建模維度表設計流程
14.維度表設計規范化和反規范化
15.維度表設計維度變化的選擇
16.維度表設計多值維度和多值屬性
17.數倉分層規劃介紹
18.數倉構建流程簡單介紹
19.數倉構建數據調研
20.數倉構建明確數據域
21.數倉構建業務總線矩陣和維度模型設計
22.數倉構建指標分析和匯總模型設計
23.IDEA環境準備
24.Flink的環境準備
25.HBase的環境部署
26.Redis的環境部署
27.Doris的FE部署
28.Doris的BE集群安裝部署
29.Doris的BE集群bug解決
30.實時數倉ODS層開發
31.DIM_動態拆分維度表原理介紹
32.DIM_動態拆分維度表整體流程介紹
33.DIM_FlinkCDC的基礎介紹
34.DIM_FlinkCDC的使用演示
35.DIM_Flink讀取Kafka數據
36.DIM_整體流程介紹及封裝創建環境方法
37.DIM_工具類讀取Topic_db原始數據
38.DIM_讀取MySQL配置表數據
39.DIM_HBase創建關閉連接方法封裝
40.DIM_HBase創建表格的代碼實現
41.DIM_完成HBase創建表格的流程
42.DIM_合并兩條流的數據確定處理方法
43.DIM_處理合并流數據的核心方法編寫
44.DIM_初始化配置數據解決主流數據過早到的問題
45.DIM_寫出數據函數結構編寫
46.DIM_HBase刪除寫入數據方法編寫
47.DIM_數據寫出演示
48.DWD_整體流程介紹
49.DWD_讀取業務數據篩選業務表格
50.DWD_按照授信id進行分組
51.DWD_動態分流數據狀態介紹
52.DWD_完成數據分流的結構介紹
53.DWD_審批三種狀態的數據處理
54.DWD_添加批復狀態補全審批通過的信息
55.DWD_審批通過與新增授信合同制作數據先后問題
56.DWD_審批拒絕和審批取消的數據處理方式
57.DWD_批復數據后到的處理方式
58.DWD_授信表數據后到的處理編寫
59.DWD_審批域數據寫出到對應的Kafka主題
60.DWD_授信域數據分流寫出到對應的Kafka主題
61.DWD_合并合同制作及合同表數據流
62.DWD_分流處理租賃域數據架構
63.DWD_完成租賃域數據分流
64.DWD_租賃域數據寫出
65.DWD_數據測試及bug解決
66.DWS_審批通過各行業各方向各信審經辦窗口統計結構介紹
67.DWS_審批通過聚合讀取數據及類型轉換
68.DWS_審批通過數據分組開窗聚合
69.DWS_使用泛型異步讀取DIM層數據介紹
70.DWS_HBase的異步連接及讀取數據架構介紹
71.DWS_實現三級行業名稱和二級行業id的維度關聯
72.DWS_使用Redis實現旁路緩存優化
73.DWS_完成全部的維度關聯
74.DWS_自定義工具將Bean轉JsonString
75.DWS_自定義注解過濾不需要的屬性
76.DWS_將窗口聚合數據寫出到Doris中
77.DWS_審批取消各維度窗口聚合代碼編寫
78.DWS_審批取消業務關聯維度數據及寫出到Doris
79.DWS_審批拒絕窗口匯總聚合
80.DWS_信審經辦審批通過的窗口聚合數據
81.DWS_信審經辦業務員審批通過數據寫出
82.DWS_信審經辦粒度審批取消窗口匯總
83.DWS_信審經辦粒度拒絕窗口匯總
84.DWS_授信新增窗口匯總
85.DWS_授信占用窗口匯總
86.DWS_合同制作窗口匯總
87.DWS_合同簽約各窗口匯總
88.DWS_合同起租各窗口匯總
89.可視化_Sugar使用方式介紹
90.可視化_數據接口的結構介紹
91.可視化_內網穿透介紹
92.可視化_漸變色各方向審批通過圖形可視化展示

普陀区| 南丹县| 阳朔县| 汝城县| 平山县| 新宁县| 咸阳市| 阿勒泰市| 舒城县| 克什克腾旗| 岳阳市| 滨州市| 沂南县| 元氏县| 香格里拉县| 景泰县| 岫岩| 沅陵县| 兴海县| 高邮市| 伊宁市| 连云港市| 高雄县| 安吉县| 邛崃市| 民乐县| 开远市| 石家庄市| 建阳市| 马鞍山市| 襄樊市| 雅江县| 邵东县| 都兰县| 梁平县| 金秀| 淮阳县| 怀化市| 定安县| 枣庄市| 西充县|