Spark Structured Streaming 優(yōu)勢(shì) 2022-08-11
增量查詢模型(Incremental query model)：Structured Streaming 將會(huì)在新增的流式數(shù)據(jù)上不斷執(zhí)行增量查詢，同時(shí)代碼的寫法和批處理 API (基于 ...詳情>
Spark讀取MySQL大表超時(shí)問(wèn)題 2022-08-11
場(chǎng)景為Spark讀取一張MySQL表(innodb引擎)， 數(shù)據(jù)量8000萬(wàn)，無(wú)自增ID，業(yè)務(wù)中一個(gè)字段為(訂單ID)主鍵。要將該表數(shù)據(jù)讀取后寫入到HDFS。詳情>
Spark 數(shù)據(jù)傾斜調(diào)優(yōu)10策（二） 2022-06-22
Spark通過(guò) textFile(path, minPartitions) 方法讀取文件時(shí)，使用 TextInputFormat。對(duì)于不可切分的文件，每個(gè)文件對(duì)應(yīng)一個(gè) Split 從而對(duì)應(yīng)一個(gè)...詳情>
凱哥 2022-01-14
原普科國(guó)際科技有限公司培訓(xùn)主管，曾任國(guó)內(nèi)航運(yùn)業(yè)高級(jí)研發(fā)經(jīng)理。多年軟件開發(fā)經(jīng)驗(yàn)和教學(xué)經(jīng)驗(yàn)，形成了一整套的成熟的教學(xué)體系。主持了金融信息...詳情>
Mill 2022-01-14
原某軟件、軟通公司項(xiàng)目高級(jí)開發(fā)工程師，有5年以上研發(fā)經(jīng)驗(yàn)，多年教學(xué)經(jīng)驗(yàn)，擁有多年的離線和實(shí)時(shí)開發(fā)經(jīng)驗(yàn)及項(xiàng)目實(shí)施經(jīng)驗(yàn)，精通Spark、Hadoop...詳情>
熱問(wèn)標(biāo)簽 更多>>
熱問(wèn)TOP榜
在線提問(wèn)
專業(yè)導(dǎo)師線上坐鎮(zhèn)，解答個(gè)性化學(xué)習(xí)難題
提交問(wèn)題
京公網(wǎng)安備 11010802030320號(hào)