連德富

E-Mail：liandefu@ustc.edu.cn

個人主頁：http://staff.ustc.edu.cn/~liandefu

主要研究方向：可信人工智能、高維向量檢索、機器學習理論

連德富，國家優青，中國科學技術大學特任教授，博士生導師，現任188滚球网副院長。曾任電子科技大學副教授、悉尼科技大學訪問學者，曾入選微軟亞洲研究院鑄星計劃。主要研究方向包括大規模分類、深度學習、因果機器學習等，研發了RecStudio開源推薦係統和FuxiTS時序預測和檢測係統，主持了國家自然科學基金優秀青年科學基金、麵上項目，科技部科技創新2030重大項目課題，國防科技173重點項目等。他在KDD、NeurIPS、TPAMI、TKDE等CCF-A類會議和期刊發表論文90餘篇。曾獲得教育部自然科學一等獎、CCF自然科學一等獎、安徽省教學成果一等獎、四川省教學成果二等獎、APWeb 2016最佳學生論文、WWW 2021最佳論文候選、WISE 2022最佳論文獎等。

導師選題：

量化大模型的持續學習方法研究	模型量化是一種通過減少模型存儲和計算需求來優化模型部署和應用的重要技術手段，它有望突破製約大模型部署的算力瓶頸，是當前大模型領域的前沿熱點方向。然而量化後的模型受限於模型精度與信息損失，往往難以有效適應端側用戶的新數據與新任務需求。本課題擬研究針對量化大模型的持續學習技術，有機融合模型量化與持續學習技術，突破模型空間有限，精度不足等技術挑戰，實現高效的能力擴展並避免原有能力的遺忘，以更好地服務用戶。
數據配比與增強對災難性遺忘的影響與泛化界研究	傳統機器學習主要關注模型對當前任務的適應性與泛化性，提升模型在目標數據集上的精度。在大模型時代，模型通用能力的維護至關重要的，要求在適應新數據或新任務的同事，最低程度影響過往任務性能的表現。目前，業界缺少從下遊訓練數據配比和增強角度對模型能力維護方麵的研究，本課題的目標是利用大模型原有的知識與能力，構建充分的理論與實踐框架完成數據增強，實現適應性與遺忘的精準權衡。
大模型訓練階段的災難性遺忘機理研究	大模型的構建通常分為多個階段，即預訓練、指令微調、RLHF。每個階段通過各自的訓練數據與損失函數，為模型構建不同方麵的功能。然而，不同訓練階段對模型在遺忘方麵的影響機理並不清晰，比如不同階段最容易遺忘的能力是什麼（表征？知識？推理路徑？）？不同階段的參數權重遷移情況？遺忘能否有統一的方式被避免？本課題的研究能夠幫我們建立對於大模型全流程的遺忘理解。
基於大模型與多智能體協同的自動化科研實踐框架	隨著大語言模型逐漸湧現出智能化的人機交互、推理決策及工具使用等能力，它們已成為各種自動化智能係統的核心組件。例如，手機中的虛擬助手自動排程、AI 驅動的編程智能體、《我的世界》遊戲中的智能功能等，均展示了大語言模型在多個領域的廣泛潛力。盡管其應用日益廣泛，研究表明大語言模型在執行複雜科研任務時仍有較大的提升空間。尤其是在跨學科協作與多智能體協同的科研場景中，現有智能係統尚無法完全滿足複雜科研的需求。本項目旨在構建一個基於大模型與多智能體協同的自動化科研實踐框架，以提升科研過程的效率與創新。通過結合大模型的語言理解與推理能力與科研任務的特性，如科研問題挖掘、相關方法調研、方法框架構建及實驗設計驗證，我們將重點研究如何優化多智能體間的協作、信息共享和任務分配策略，提升科研過程的自動化水平。同時，自動化科研實踐智能體有望幫助科研人員發現更多的科學問題與挑戰，實現在科研中科研的深度循環，持續推動科技進步。
基於強化學習的大模型智能體訓練方法研究	OpenAI 的 o1 大模型與 Google 的 AgentQ 大模型展示了強化學習在提升大模型推理能力方麵的巨大潛力。當前學界與工業界的前沿觀點都認為大模型的知識記憶能力與強化學習的自適應決策能力的融合是一個具有前景的路徑。然而如何實現兩者的有機融合，實現互補，仍然是一個具有挑戰的問題。針對這一問題，本課題擬從推理能力獲取的角度，進一步探索基於強化學習的大模型智能體訓練方法研究，進一步突破大模型在複雜推理方麵的瓶頸。
基於強化學習的大模型智能體高效推理方法研究	雖然 OpenAI 的 o1 大模型與 Google 的 AgentQ 大模型展示了強化學習在提升大模型推理準確度方麵取得巨大突破，然而推理的時滯非常大，製約其在應用中的推廣。本項目擬探索麵向該推理技術的高效計算與搜索方法，降低推理時滯。