千鋒教育-做有情懷、有良心、有品質的職業教育機構
這個問題，從本質上來講。想討論是數據模型設計里面的規范化和反規范化的問題。
從規范化的角度來講，數據倉庫的設計者是希望越規范越好，因為這樣會減少數據的冗余，而且也便于模型的擴展。從反規范化的角度來講，數據倉庫的使用者是希望使用越方便越好，他們并不太關系規范不規范冗余不冗余，只要用著方便就好。
這種情況在工作中是十分常見的，那么該怎樣來解決它？下面有兩個思路：
1. 兩種方式都存。雖然，這樣看起來會占用更多的存儲空間，但不失為一種合適的解決方案，因為寬表是通過別的表拼接而成的，因此寬表的存儲周期是可以短一些。
2. 只存多個維度表，通過視圖來創建寬表。
這種方式適合于寬表的查詢次數較少的情況。
比如在Hive中，寬表其實只是為了計算出來之后導入Es等系統中供其它系統查詢，那么久沒必要存儲一份寬表，直接通過視圖來封裝就可以。 另外，數據倉庫的設計，往往不能是以計算出幾張表就結束了，我們更應該提供的是數據服務，讓使用方都通過服務的方式來訪問我們的數據，而不是簡單地將表暴露出去。
當我們以數據服務的方式提供數據的時候，不管是易用性還是安全性都更容易得到滿足。
hive外部表是使用external關鍵字并指定一個hdfs目錄創建的表。hive內部表在創建時會在對應hive目錄下創建相應的文件夾，外部表則以指定文件夾為...詳情>>
2022-09-02 17:21:00
Checkpoint是為runtime準備的，Savepoint 是為用戶準備的。Checkpoint 機制的目標在于保證Flink作業意外崩潰重啟不影響exactly once 準確性，通...詳情>>
2022-09-02 16:59:22
State：指一個具體的Task/Operator的狀態。State可以被記錄，在失敗的情況下數據還可以恢復，Flink中有兩種基本類型的State： Keyed State， Op...詳情>>
2022-09-02 16:59:19
Flink 內部是基于producer-consumer模型來進行消息傳遞的，Flink的反壓設計也是基于這個模型。Flink 使用了高效有界的分布式阻塞隊列，就像 Jav...詳情>>
2022-09-02 16:59:16
雖說水位線(Watermark)表明早于它的事件不應該再出現，但是接收到水位線以前的的消息是不可避免的，這就是所謂的遲到事件。實際上遲到事件是亂...詳情>>
2022-09-02 16:59:00
京公網安備 11010802030320號