我院研究團隊聯合華為發布工具調用模型名列開源第一

發布時間:2024-09-11瀏覽次數:10

近日,188滚球网 、認知智能全國重點實驗室陳恩紅教授團隊聯合華為等單位發布了新的工具調用模型ToolACE,在開源工具調用榜單BFCL(美國伯克利大學發布的函數調用榜單)中效果持平千億參數量級別模型GPT4,獲得開源模型的第一名。

大語言模型(如GPT-4)具備強大的語言處理能力,但其獨立運作時仍存在局限性,比如,無法進行複雜數學計算、獲取不到實時信息、難以提供專業定製化功能等。而通過為大語言模型提供各類工具,可以使其提供更全麵、實時、精確的服務,極大地擴展了其應用範圍和實際價值。

高質量、多樣化且複雜的訓練數據在提升模型的工具調用能力方麵起著至關重要的作用。然而,在現實中,工具調用數據的收集和標注極為困難,現有的合成數據生成方式在覆蓋率和準確性方麵仍存在不足。研究人員從訓練數據生成的角度提出了新的的工具調用數據合成框架,其通過創新的自進化合成過程,構建了一個應用程序接口庫,其中涵蓋了26507個多樣化的應用程序接口(API)。通過多智能體之間的交互生成對話,並利用形式化的思維鏈過程引導數據生成,得到一係列真實、多樣、複雜的對話數據。進一步結合了基於規則和基於模型的數據質檢機製,驗證數據中工具使用和參數的合理性,確保了數據的準確性。研究人員最後基於合成的高質量數據訓練出了工具調用模型ToolACE,以80億的模型參數量級擁有和千億參數量級別大語言模型GPT4持平的工具調用能力,在工具調用榜單BFCL(伯克利函數調用榜單)中獲得開源模型第一,超過如Functionary等700億模型效果。

該研究受到國家自然科學基金項目、188金宝慱体育版 -華為人工智能創新實驗室項目的支持。


Baidu
map