1. 數(shù)據(jù)傾斜

　　答案：避免熱點key設計，雙keyby設計

　　2. checkpoint優(yōu)化

　　答案：

　　1）降低Source的并發(fā)度、拉取頻率、拉取量

　　2）提高checkpoint發(fā)送頻率

　　3）提升同是處理線程數(shù)(實操)

　　4）提高checkpoint超時時間

　　3.如何保證數(shù)據(jù)質(zhì)量(數(shù)倉)？

　　答案：數(shù)據(jù)質(zhì)量：指我們數(shù)據(jù)加工、轉(zhuǎn)換、計算等整個流程中的數(shù)據(jù)正確性，主要體現(xiàn)在ODS層和ADS層急需要數(shù)據(jù)質(zhì)量，ODS主要判斷ODS中的數(shù)據(jù)和業(yè)務庫中的數(shù)據(jù)是否一致(條數(shù))，ADS層主要是看最終指標是否正確，也即入口和出口一定把質(zhì)量監(jiān)控好。

　　1）大公司就可以說是公司自研的數(shù)據(jù)質(zhì)量系統(tǒng)來保障數(shù)據(jù)質(zhì)量，保證ODS同步數(shù)據(jù)是否多少、可以配置ODS層數(shù)據(jù)量為上游數(shù)據(jù)的百分比、可以配置告警。如：業(yè)務庫訂單表今天3000萬條，但是采集到ODS層2000萬條，配置告警規(guī)則為業(yè)務庫orders/ods層orders=100%，這個時候肯定就要觸發(fā)告警，因為訂單涉及到錢，一條數(shù)據(jù)都不能丟。行為日志可以丟一些，自行根據(jù)需求設置即可。

　　2）小公司，就是將1步驟中的實現(xiàn)過程自己實現(xiàn)，比如第一個版本使用Shell腳本自己實現(xiàn)ODS層和ADS層數(shù)據(jù)質(zhì)量監(jiān)控的；第二版本自己寫的web項目來對數(shù)據(jù)質(zhì)量監(jiān)控，主要實現(xiàn)數(shù)據(jù)條數(shù)、同環(huán)比指標的一些監(jiān)控。或者使用開源的框架：Griffin或DolphinScheduler 3.0就有數(shù)據(jù)質(zhì)量功能了。

　　4.女生學習大數(shù)據(jù)技術可以嗎，會不會受到歧視？

　　答案： 女生學習大數(shù)據(jù)技術可以嗎，會不會受到歧視? - 擁抱大數(shù)據(jù)的回答 - 知乎

　　5.更新大數(shù)據(jù)隨堂視頻(zookeeper-功能介紹)

　　答案：zookeepr-功能介紹 - 擁抱大數(shù)據(jù)的視頻 - 知乎

　　6.更新大數(shù)據(jù)隨堂視頻(zookeeper-集群搭建)

　　答案：zookeeper-集群搭建 - 擁抱大數(shù)據(jù)的視頻 - 知乎 

　　更多關于大數(shù)據(jù)培訓的問題，歡迎咨詢千鋒教育在線名師。千鋒教育擁有多年IT培訓服務經(jīng)驗，采用全程面授高品質(zhì)、高體驗培養(yǎng)模式，擁有國內(nèi)一體化教學管理及學員服務，助力更多學員實現(xiàn)高薪夢想。