黄视频网站在线免费观看-黄视频网站在线看-黄视频网站在线观看-黄视频网站免费看-黄视频网站免费观看-黄视频网站免费

千鋒教育-做有情懷、有良心、有品質的職業教育機構

手機站
千鋒教育

千鋒學習站 | 隨時隨地免費學

千鋒教育

掃一掃進入千鋒手機站

領取全套視頻
千鋒教育

關注千鋒學習站小程序
隨時隨地免費學習課程

當前位置:首頁  >  技術干貨  > 尋找熱門查詢,300萬個查詢字符串中統計最熱門的10個查詢

尋找熱門查詢,300萬個查詢字符串中統計最熱門的10個查詢

來源:千鋒教育
發布人:syq
時間: 2022-09-08 17:13:10 1662628390

  原題:搜索引擎會通過日志文件把用戶每次檢索使用的所有檢索串都記錄下來,每個查詢串的長度為1-255字節。假設目前有一千萬個記錄(這些查詢串的重復度比較高,雖然總數是1千萬,但如果除去重復后,不超過3百萬個。一個查詢串的重復度越高,說明查詢它的用戶越多,也就是越熱門),請你統計最熱門的10個查詢串,要求使用的內存不能超過1G。

尋找熱門查詢

  解答:

  由上面第1題,我們知道,數據大則劃為小的,如如一億個Ip求Top 10,可先%1000將ip分到1000個小文件中去,并保證一種ip只出現在一個文件中,再對每個小文件中的ip進行hashmap計數統計并按數量排序,最后歸并或者最小堆依次處理每個小文件的top10以得到最后的結。

  但如果數據規模比較小,能一次性裝入內存呢?比如這第2題,雖然有一千萬個Query,但是由于重復度比較高,因此事實上只有300萬的Query,每個Query255Byte,因此我們可以考慮把他們都放進內存中去(300萬個字符串假設沒有重復,都是最大長度,那么最多占用內存3M*1K/4=0.75G。所以可以將所有字符串都存放在內存中進行處理),而現在只是需要一個合適的數據結構,在這里,HashTable絕對是我們優先的選擇。

  所以我們放棄分而治之/hash映射的步驟,直接上hash統計,然后排序。So,針對此類典型的TOP K問題,采取的對策往往是: hashmap + 堆。如下所示:

  hash_map統計:先對這批海量數據預處理。

  具體方法是:維護一個Key為Query字串,Value為該Query出現次數的HashTable,即hash_map(Query,Value),每次讀取一個Query,如果該字串不在Table中,那么加入該字串,并且將Value值設為1;如果該字串在Table中,那么將該字串的計數加一即可。最終我們在O(N)的時間復雜度內用Hash表完成了統計;堆排序: 第二步、借助堆這個數據結構,找出Top K,時間復雜度為N‘logK。即借助堆結構,我們可以在log量級的時間內查找和調整/移動。因此,維護一個K(該題目中是10)大小的小根堆,然后遍歷300萬的Query,分別和根元素進行對比。所以,我們最終的時間復雜度是: O(N) + N' * O(logK),(N為1000萬,N’為300萬)。

  別忘了這篇文章中所述的堆排序思路: “維護k個元素的最小堆,即用容量為k的最小堆存儲最先遍歷到的k個數,并假設它們即是最大的k個數,建堆費時O(k),并調整堆(費時O(logk))后,有k1>k2>...kmin(kmin設為小頂堆中最小元素)。繼續遍歷數列,每次遍歷一個元素x,與堆頂元素比較,若x>kmin,則更新堆(x入堆,用時logk),否則不更新堆。這樣下來,總費時O(k*logk+(n-k)logk)=O(nlogk)。此方法得益于在堆中,查找等各項操作時間復雜度均為logk。”--第三章續、Top K算法問題的實現。

  當然,你也可以采用trie樹,關鍵字域存該查詢串出現的次數,沒有出現為0。最后用10個元素的最小推來對出現頻率進行排序。

tags:
聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。
10年以上業內強師集結,手把手帶你蛻變精英
請您保持通訊暢通,專屬學習老師24小時內將與您1V1溝通
免費領取
今日已有369人領取成功
劉同學 138****2860 剛剛成功領取
王同學 131****2015 剛剛成功領取
張同學 133****4652 剛剛成功領取
李同學 135****8607 剛剛成功領取
楊同學 132****5667 剛剛成功領取
岳同學 134****6652 剛剛成功領取
梁同學 157****2950 剛剛成功領取
劉同學 189****1015 剛剛成功領取
張同學 155****4678 剛剛成功領取
鄒同學 139****2907 剛剛成功領取
董同學 138****2867 剛剛成功領取
周同學 136****3602 剛剛成功領取
相關推薦HOT
日韩中文字幕在线亚洲一区| 日日日夜夜操| 欧美激情一区二区三区视频| 国产视频一区二区在线播放| 九九热精品免费观看| 台湾美女古装一级毛片| 国产伦久视频免费观看 视频 | 日韩专区一区| 韩国三级香港三级日本三级| 可以免费看污视频的网站| 日日日夜夜操| 日韩中文字幕一区| 超级乱淫黄漫画免费| 九九精品在线播放| 日韩专区一区| 可以免费看毛片的网站| 尤物视频网站在线观看| 韩国毛片免费| 精品视频一区二区三区| 亚洲不卡一区二区三区在线 | 久久福利影视| 99色视频在线观看| 国产一区精品| 久久福利影视| 一级女人毛片人一女人| 国产a网| 国产一区二区精品久久91| 毛片高清| 欧美日本二区| 精品视频在线观看一区二区 | 麻豆系列国产剧在线观看| 日韩欧美一及在线播放| 久久精品大片| 国产国语对白一级毛片| a级黄色毛片免费播放视频 | 国产成人啪精品| 亚洲精品中文字幕久久久久久| 亚洲第一色在线| 亚洲爆爽| 麻豆系列国产剧在线观看| 成人免费一级毛片在线播放视频| 欧美夜夜骑 青草视频在线观看完整版 久久精品99无色码中文字幕 欧美日韩一区二区在线观看视频 欧美中文字幕在线视频 www.99精品 香蕉视频久久 | 成人免费观看的视频黄页| 99热精品一区| 国产亚洲免费观看| 国产一级生活片| 亚洲第一页乱| 成人a大片高清在线观看| 国产91视频网| 午夜欧美成人久久久久久| 欧美激情一区二区三区视频| 亚洲精品中文字幕久久久久久| 欧美a免费| 成人免费观看男女羞羞视频| 日韩男人天堂| 一级片片| 999精品在线| 日韩免费在线视频| 香蕉视频三级| 久久99爰这里有精品国产| 国产91精品一区二区| 日本久久久久久久 97久久精品一区二区三区 狠狠色噜噜狠狠狠狠97 日日干综合 五月天婷婷在线观看高清 九色福利视频 | 日韩中文字幕一区| 精品国产香蕉在线播出| 色综合久久手机在线| 韩国三级视频网站| 欧美一级视| 午夜在线亚洲男人午在线| 99久久精品国产片| 精品国产一区二区三区国产馆| 国产成人女人在线视频观看| 九九免费高清在线观看视频| 99热精品一区| 国产a视频| 欧美激情中文字幕一区二区| 欧美激情一区二区三区视频 | 国产伦久视频免费观看 视频 | 麻豆系列 在线视频| 一级毛片视频在线观看| 国产视频网站在线观看| a级黄色毛片免费播放视频| 成人a级高清视频在线观看| 国产激情一区二区三区| 免费国产在线观看| 日韩一级黄色| 成人免费网站久久久| 二级片在线观看| 韩国三级一区| 黄视频网站在线免费观看| 精品国产亚一区二区三区| 午夜久久网| 日韩专区第一页| 四虎影视久久久| 91麻豆国产级在线| 亚洲女人国产香蕉久久精品 | 成人av在线播放| a级黄色毛片免费播放视频 | 精品国产一区二区三区免费| 九九九国产| 欧美激情一区二区三区在线| 九九精品久久| 色综合久久天天综合绕观看| 精品视频在线看| 精品国产一区二区三区久| 久草免费在线色站| 国产成人精品在线| 免费的黄视频| 一a一级片| 亚洲天堂免费| 韩国三级视频在线观看| 天天做人人爱夜夜爽2020毛片| 精品国产三级a| 欧美夜夜骑 青草视频在线观看完整版 久久精品99无色码中文字幕 欧美日韩一区二区在线观看视频 欧美中文字幕在线视频 www.99精品 香蕉视频久久 | 97视频免费在线| 色综合久久久久综合体桃花网| 欧美日本韩国| 亚洲 欧美 91| 欧美另类videosbestsex| 欧美另类videosbestsex高清| 欧美另类videosbestsex久久| 日日夜人人澡人人澡人人看免| 亚州视频一区二区| 成人免费高清视频| 久久国产影院| 午夜激情视频在线观看| 久久国产一区二区| 美女被草网站| 天堂网中文字幕| a级黄色毛片免费播放视频 | 色综合久久天天综线观看| 久草免费资源| 免费的黄视频| 99久久精品国产高清一区二区 | 好男人天堂网 久久精品国产这里是免费 国产精品成人一区二区 男人天堂网2021 男人的天堂在线观看 丁香六月综合激情 | 国产视频久久久| 国产一区二区精品久久91| 精品久久久久久中文字幕2017| 深夜做爰性大片中文| 欧美日本韩国| 可以在线看黄的网站| 国产高清在线精品一区二区| 久久精品大片| 天天色成人| 精品在线免费播放| 韩国三级一区| 黄色短视频网站| 国产91素人搭讪系列天堂| 日日夜人人澡人人澡人人看免| 日本在线不卡视频| 亚洲精品久久玖玖玖玖| 国产成人精品综合久久久| 欧美国产日韩在线| 黄视频网站免费| 国产高清在线精品一区二区| a级黄色毛片免费播放视频| 高清一级片| 国产视频一区在线| 日韩av成人| 亚欧视频在线| 四虎影视久久久| 免费一级生活片| 国产91精品一区二区| 可以免费在线看黄的网站| 精品久久久久久中文| 成人高清护士在线播放| 欧美18性精品| 国产极品精频在线观看| 一本高清在线| 免费的黄视频| 国产伦精品一区二区三区无广告| 久久国产精品自由自在| 999精品在线| 99久久网站| 精品国产一区二区三区免费| 午夜在线亚洲男人午在线| 美女免费精品视频在线观看| 欧美夜夜骑 青草视频在线观看完整版 久久精品99无色码中文字幕 欧美日韩一区二区在线观看视频 欧美中文字幕在线视频 www.99精品 香蕉视频久久 | 日韩专区在线播放| 九九久久99| 亚飞与亚基在线观看| 久草免费资源| 久草免费在线观看| 日韩男人天堂| 欧美另类videosbestsex久久| 天天做日日干| 国产不卡在线观看| 麻豆网站在线看| 精品久久久久久综合网| 99久久精品国产片| 四虎久久精品国产| 国产一级生活片| 99热精品一区| 国产激情一区二区三区| 你懂的在线观看视频| 欧美激情一区二区三区在线播放| 91麻豆爱豆果冻天美星空| 久久精品大片| 日韩中文字幕在线亚洲一区| 日本伦理黄色大片在线观看网站| 精品久久久久久综合网|