近日，快手?jǐn)?shù)據(jù)平臺(tái)部聯(lián)合“快手中學(xué)”，專題舉辦“快手大數(shù)據(jù)平臺(tái)架構(gòu)技術(shù)交流會(huì)”(Kuaishou Data Platform Architecture Conference)，吸引了各行業(yè)數(shù)據(jù)相關(guān)開發(fā)者的參與。

　　從hadoop到spark，再到flink，從kylin到druid，再到clickhouse，從離線數(shù)倉到實(shí)時(shí)數(shù)倉架構(gòu)，再到數(shù)據(jù)湖架構(gòu)，近10多年中，大數(shù)據(jù)平臺(tái)架構(gòu)經(jīng)歷了快速演變。各大互聯(lián)網(wǎng)公司或借助開源生態(tài)，或通過自研構(gòu)建大數(shù)據(jù)架構(gòu)系統(tǒng)，促進(jìn)數(shù)據(jù)相關(guān)業(yè)務(wù)的價(jià)值挖掘與發(fā)展，為公司的戰(zhàn)略發(fā)展、產(chǎn)品改進(jìn)、用戶增長帶來收益。

　　作為全球領(lǐng)先的生活分享社區(qū)，目前快手日活躍用戶超過3億，庫存短視頻數(shù)量超過200億條，直播日活超過1.7億，電商日活超過1億。在海量的UGC數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、用戶數(shù)據(jù)背后，支撐快手?jǐn)?shù)據(jù)業(yè)務(wù)的大數(shù)據(jù)平臺(tái)架構(gòu)系統(tǒng)，經(jīng)歷了幾個(gè)階段的高速發(fā)展。為此，交流會(huì)著重介紹了快手在大數(shù)據(jù)存儲(chǔ)、調(diào)度、計(jì)算上的技術(shù)挑戰(zhàn)、應(yīng)用、演進(jìn)與最佳實(shí)踐。

　　本次交流采取線下線上結(jié)合的參會(huì)方式。交流會(huì)開放了部分線下參會(huì)名額，所有現(xiàn)場觀眾需佩戴口罩，確保測溫和健康寶狀態(tài)正常，在簽署健康聲明后方可入場，入會(huì)就座時(shí)也均保持了一定間隔。此外，交流全程還通過“快手APP”直播，觀看總?cè)藬?shù)超1.5萬人。

　　交流過程中，該場出品人之一、快手平臺(tái)研發(fā)&數(shù)據(jù)平臺(tái)負(fù)責(zé)人韋彬首先致辭。他介紹，快手大數(shù)據(jù)平臺(tái)的使命是以領(lǐng)先的大數(shù)據(jù)技術(shù)，激活數(shù)據(jù)價(jià)值，賦能業(yè)務(wù)，打造快手核心競爭力。大數(shù)據(jù)團(tuán)隊(duì)從2011年創(chuàng)立之初沒有全職數(shù)據(jù)同學(xué)，到目前團(tuán)隊(duì)已逐漸完備。在快手做大數(shù)據(jù)有四個(gè)特點(diǎn)，一是數(shù)據(jù)規(guī)模大，對數(shù)據(jù)治理的要求很高；二是數(shù)據(jù)驅(qū)動(dòng)的文化深入人心，團(tuán)隊(duì)一直致力于對標(biāo)行業(yè)最好水平打造數(shù)據(jù)中臺(tái)；三是極度重視效率，確保數(shù)據(jù)平臺(tái)靈活可用；四是為滿足快手線上社區(qū)的場景，對數(shù)據(jù)的建模能力、應(yīng)用能力都有極高要求。

　　隨后，來自快手的分布式存儲(chǔ)高級(jí)研發(fā)工程師徐增強(qiáng)、離線計(jì)算引擎方向負(fù)責(zé)人王磊、分布式消息隊(duì)列高級(jí)研發(fā)工程師陳春斌，以及騰訊數(shù)據(jù)平臺(tái)部數(shù)據(jù)湖研發(fā)負(fù)責(zé)人邵賽賽，分別帶來主題演講。

　　徐增強(qiáng)從數(shù)據(jù)規(guī)模、挑戰(zhàn)和實(shí)踐等幾個(gè)方面，對快手分布式HDFS系統(tǒng)進(jìn)行了全方位解讀，并詳細(xì)介紹了快手EB級(jí)HDFS集群發(fā)展歷程中遇見一些核心問題的解決思路，如主節(jié)點(diǎn)擴(kuò)展性問題、主節(jié)點(diǎn)處理能力瓶頸問題、節(jié)點(diǎn)熱點(diǎn)問題、重要任務(wù)的分級(jí)保障問題等。

　　王磊介紹了快手Hive元數(shù)據(jù)在億級(jí)分區(qū)模的存儲(chǔ)使用上所面臨的總量多、增速快、壓力大等多方面挑戰(zhàn)，針對上述挑戰(zhàn)給出了快手所采取的系列優(yōu)化措施，包括讀寫分離、API性能優(yōu)化、流量分級(jí)控制、Federation水平擴(kuò)容等，從而達(dá)到提升Hive元數(shù)據(jù)服務(wù)穩(wěn)定性和性能的目標(biāo)。

　　陳春斌介紹了快手Kafka在業(yè)務(wù)快速增長過程中遇到的集群擴(kuò)容瓶頸、集群間資源利用率不均、業(yè)務(wù)接入效率低等問題，針對上述問題從集群水平擴(kuò)展性和topic水平擴(kuò)展性等方面對Kafka進(jìn)行針對性改造，從而達(dá)到平滑支撐業(yè)務(wù)快速增長和提高資源利用率的目的。

　　邵賽賽從數(shù)據(jù)湖技術(shù)需要具備的能力，如何構(gòu)建一個(gè)統(tǒng)一的數(shù)據(jù)湖存儲(chǔ)、并在其上進(jìn)行多種形式的數(shù)據(jù)分析角度切入，介紹了Iceberg的設(shè)計(jì)初衷、優(yōu)點(diǎn)及能力，使聽眾對表格式這一領(lǐng)域有了充分理解，并深入了解Iceberg的設(shè)計(jì)、實(shí)現(xiàn)、優(yōu)勢以及使用方式。

　　快手以技術(shù)為核心競爭力，十分重視技術(shù)創(chuàng)新和應(yīng)用，同時(shí)也希望通過更多更廣泛的技術(shù)交流，和業(yè)內(nèi)開發(fā)者分享經(jīng)驗(yàn)，碰撞出更多智慧火花，推動(dòng)技術(shù)不斷前進(jìn)�！翱焓种袑W(xué)”作為內(nèi)部專業(yè)人才培養(yǎng)平臺(tái)，旨在通過提供豐富多樣的專業(yè)課堂培訓(xùn)、比賽、技術(shù)交流，助力人才成長，提升專業(yè)能力和專業(yè)影響力。

　　今年7—8月，“快手中學(xué)”曾聯(lián)合快手大前端團(tuán)隊(duì)舉辦“快手大前端技術(shù)交流會(huì)2020”，受疫情影響僅做線上直播，而隨著疫情防控的逐步穩(wěn)定，為了給觀眾帶來更好的交流互動(dòng)體驗(yàn)，本次技術(shù)交流首次開放了部分線下參會(huì)名額。未來，由“快手中學(xué)”舉辦的技術(shù)交流還將以每季度一次的頻次長期開展。

（記者 趙琦）