近年來，圖神經網絡(GNN)在許多場景中得到廣泛應用，如社交網絡分析、推薦系統、自動駕駛等。然而，真實世界中龐大的數據量及圖結構顯著的不規則稀疏性，為圖神經網絡的低時延、高能效應用帶來了巨大的挑戰。隨著社會圖數據規模的爆炸式增長，解決圖神經網絡中超大規模數據量帶來的訪存及計算問題變得越發迫切。
 

　　中國科學院自動化研究所程健課題組聯合上海交通大學先進體系結構實驗室李鋼博士后中從圖神經網絡壓縮算法設計、專用推理架構設計及高效訓練框架設計三方面對圖神經網絡的高效計算進行了系統和深入地研究，取得系列進展。相關成果相繼發表于第11屆國際表征學習大會(ICLR 2023)、第30屆國際高性能計算機體系結構大會(HPCA 2024)和第29屆ACM架構支持編程語言和操作系統國際會議(ASPLOS 2024)，第一作者均為自動化所博士生朱澤雨。
 

圖1. 圖數據具有復雜的拓撲結構
 

　　在算法設計方面，研發團隊提出了端到端的圖拓撲自適應的混合量化算法A2Q，在保證模型精度的前提下極大地壓縮了圖數據。實驗結果表明，相比于使用FP32格式存儲的圖神經網絡模型，該壓縮方法能夠在精度幾乎無損的情況下實現高達18.6倍的壓縮比。
 

　　在專用推理架構方面，研究針對壓縮算法特性和圖數據特性設計了一款專用加速器MEGA。通過比特位自適應的存儲方式和高效的在線編解碼壓縮方法，最大限度減少了存儲碎片化，降低了數據傳輸開銷。此外，MEGA采用的Condense-Edge調度執行方式，能夠將稀疏的邊連接聚合在一起以增強訪問節點特征時的空間局部性，提升數據復用度。在與英偉達RTX3090GPU相當的峰值算力設定下，MEGA實現了121倍的推理加速及476倍的能效提升。
 

　　在高效訓練框架設計方面，研發團隊提出了全流程圖神經網絡訓練加速系統FastGL，極大地提升了圖神經網絡在超大規模圖數據上的訓練速度。與最先進的圖神經網絡訓練加速系統DGL對比，FastGL在多種超大規模圖數據和圖神經網絡模型上實現了平均2.2倍的加速效果，并且具有更好的擴展性，有利于應對未來圖數據規模持續增加的趨勢。
 

　　這一系列圖神經網絡大規模圖數據推理及訓練加速方面的研究成果相輔相成，具有貫穿算法、架構和GPU高效訓練框架的系統性優勢，為解決大語言模型推理中由超大規模參數量和超長KV cache引起的計算、訪存雙密集加速等問題提供了啟發。
 

　　發表該系列研究的國際會議HPCA、ASPLOS與ISCA、MICRO并稱為計算機體系結構領域的四大頂級會，是計算機體系結構研究的風向標，ICLR則為深度學習領域的頂級學術會議。
 

　　圖2. 研究發現聚合后節點特征的數值范圍與其拓撲特性強相關，基于此特性提出端到端的圖拓撲自適應的混合量化算法A2Q
 

圖3. MEGA加速器架構圖
 

圖4. 全流程圖神經網絡訓練加速系統FastGL訓練框架示意圖
 

　　論文信息：
 

　　[1] Zeyu Zhu, Fanrong Li, Zitao Mo, Qinghao Hu, Gang Li, Zejian Liu, Xiaoyao Liang, Jian Cheng. A2Q: Aggregation-Aware Quantization for Graph Neural Networks. ICLR, 2023
 

　　[2] Zeyu Zhu*, Fanrong Li*, Gang Li, Zejian Liu, Zitao Mo, Qinghao Hu, Xiaoyao Liang, Jian Cheng. MEGA: A Memory-Efficient GNN Accelerator Exploiting Degree-Aware Mixed-Precision Quantization. HPCA, 2024
 

　　[3] Zeyu Zhu, Peisong Wang, Qinghao Hu, Gang Li, Xiaoyao Liang, Jian Cheng. FastGL: A GPU-Efficient Framework for Accelerating Sampling-Based GNN Training at Large Scale. ASPLOS, 2024