• <th id="gdsto"></th><dd id="gdsto"><track id="gdsto"></track></dd>
  • <th id="gdsto"></th>
  • <rp id="gdsto"></rp>
  • 語種
    中文簡體 中文繁體 English
    營業廳
    網上營業廳 掌上營業廳
    返回頂部
    實“智”名歸!天翼云論文被國際頂會IEEE CVPR收錄!
    2024-04-22 云公司
    分享:
       

    近日,由天翼云彈性網絡產品線撰寫的《Small?Scale?Data-free?Knowledge?Distillation》長文被IEEE?Conference?on?Computer?Vision?and?Pattern?Recognition收錄。

    IEEE?CVPR是人工智能與模式識別技術領域的頂級國際學術會議,也是中國計算機學會CCF推薦的A類國際會議之一。該會議始于1983年,是業界公認的全球計算機視覺三大頂級會議之一。此次論文被IEEE?CVPR成功收錄,不僅展現了天翼云在AI領域的創新能力,也意味著中國企業在國際學術舞臺上的影響力日益增強。

    《Small?Scale?Data-free?Knowledge?Distillation》這篇長文提到,知識蒸餾技術(Knowledge?Distillation)可以利用預訓練的眾多網絡信息,在相同的訓練數據上訓練一個更小的新建特定網絡。傳統的知識蒸餾方法假設原始訓練數據總是可以獲得的,但在實際應用中,由于網絡用戶關注數據隱私和安全問題,通常無法獲取網絡的訓練數據集。為了放寬對獲取訓練數據的限制,零數據條件下的知識蒸餾技術應運而生。

    本論文提出了基于小規模逆向生成數據的零數據知識蒸餾技術(Small?Scale?Data-free?Knowledge?Distillation,下文簡寫為SSD-KD),引入了兩個相互依賴的模塊,顯著加快了逆向生成數據的質量和蒸餾范式的整體訓練效率。SSD-KD的第一個模塊依賴于一個新穎的調制函數,定義了樣本多樣性分布感知項和樣本難度分布感知項,以顯式方式共同平衡了逆向生成數據過程中的數據樣本分布。

    第二個模塊定義了借鑒強化學習優化策略的優先級采樣函數。該函數選擇適當的逆向生成樣本來更新動態重放緩沖區中的一部分現有樣本,進一步提高了逆向生成樣本在知識蒸餾中的采樣效率。得益于上述兩個模塊,本論文所提出的方法可極大地滿足客戶對于高性能、高效率的需求。一方面,SSD-KD可以在極小規模的合成樣本(比原始訓練數據規模少10倍)條件下進行網絡蒸餾訓練,使得整體訓練效率比眾多主流零數據知識蒸餾方法快一到兩個數量級,同時保持有競爭力的模型性能。另一方面,當放寬逆向生成樣本的數據規模到一個相對較大的數字(盡管仍然小于現有零數據知識蒸餾方法的規模)時,論文中提出的方法在更小的新建特定網絡的準確性上取得了大幅改進,并保持了整體訓練效率。該方法已在不同人工智能應用上進行實驗,驗證了方法的普適性。同時,天翼云將把論文中提出的人工智能模型訓練方法,應用于彈性網絡智能運維的深度學習模型訓練中,讓深度學習模型適配更多的彈性網絡環境,讓彈性網絡更高效,更智能。

    人工智能的蓬勃發展激蕩新一輪產業變革,天翼云彈性網絡產品線今后將持續發力云網絡領域的架構創新及高新技術預備研發,不斷攻堅提升云網絡的關鍵性能指標;針對廣泛的人工智能和機器學習業務應用,基于智能算力架構平臺,結合云網融合、智能運維等技術,賦予網絡在人工智能及大模型領域內模型的高可用、低時延和強魯棒等特性。

    面向未來,天翼云將通過不斷地科技創新與服務優化,推動云計算、人工智能等新興技術融合發展,為各行各業的數字化轉型提供更加智能、高效、安全的云服務體驗,為經濟社會的高質量發展注入源源不斷的新動能。

    掃一掃在手機打開當前頁
    播放亚洲男人永久无码天堂_国产高清在线精品一本大道_国产资源网中文最新版_亚洲中文字幕视频国产
  • <th id="gdsto"></th><dd id="gdsto"><track id="gdsto"></track></dd>
  • <th id="gdsto"></th>
  • <rp id="gdsto"></rp>