近日，美國斯坦福大學李飛飛等百余位學者聯名發布《基礎模型的機遇與挑戰》一文，論述在人工智能基礎模型成為趨勢的環境下，其發展面臨的機遇與挑戰。文章指出，基礎模型的應用使得自監督學習+預訓練模型微調適配方案逐漸成為主流，并帶來了智能體認知能力的進步。但同時由于基礎模型的任何一點改進會迅速覆蓋整個AI社區，其隱患在于基礎模型的缺陷也會被所有下游模型所繼承。

斯坦福大學學者談到的基礎模型，國際上也稱預訓練模型，也被國內研究者稱為大模型。那么，什么是人工智能大模型，與小模型相比有哪些優勢?為何大模型會成為趨勢，在行業中有哪些應用?未來又面臨怎樣的機遇和挑戰?

像發電廠一樣源源不斷供應“智力源”

大模型成了最近AI產學界刷屏率頗高的詞匯。需要更大算力、更大數據集的大模型，為何可能是未來AI最好的伙伴?這要從AI開發者們的一次次挫敗與碰壁說起。

深度學習技術興起的近10年間，AI模型基本上是針對特定應用場景需求進行訓練的小模型。小模型用特定領域有標注的數據訓練，通用性差，換到另外一個應用場景中往往不適用，需要重新訓練。另外，小模型的訓練方式基本是“手工作坊式”，調參、調優的手動工作太多，需要大量的AI工程專業人員來完成。同時，傳統模型訓練需要大規模的標注數據，如果某些應用場景的數據量少，訓練出的模型精度就會不理想。

“小模型的這些問題，導致當前AI研發整體成本較高，效率偏低。由于AI人才短缺以及成本昂貴，對于中小行業用戶來說，小模型的這些問題阻礙了行業用戶采用人工智能技術的腳步，成為AI普惠的障礙。”北京智源人工智能研究院院長黃鐵軍在接受科技日報記者采訪時指出。

雖然，之前全球呈現“千村萬戶大煉模型”的熱鬧場面，但這種“自家煉鋼自己用”的作坊方式顯然不符合現代產業發展規律。

黃鐵軍進一步解釋道：“大模型可以解決這些問題，其泛化能力強，可以做到‘舉一反三’，同一模型利用少量數據進行微調或不進行微調就能完成多個場景的任務，中小企業可以直接調用，不需要招聘很多AI算法專業人員就能進行應用開發，顯著降低中小企業的研發門檻，促進AI技術落地。”

得益于這些優勢，人工智能的發展已經從“大煉模型”逐步邁向“煉大模型”的階段。以美國OpenAI、谷歌、微軟、臉書等機構為代表，布局大規模智能模型已成為全球引領性趨勢，并形成了GPT-3、Switch Transformer等千億或萬億參數量的大模型。可以說，人工智能大模型時代正在到來!

“人工智能大模型是‘大數據+大算力+強算法’結合的產物，是集成大數據內在精華的‘隱式知識庫’，也是實現人工智能應用的載體。大模型是連接人工智能技術生態和產業生態的橋梁，向下帶動基礎軟硬件發展，向上支撐了智能應用百花齊放，是整個人工智能生態的核心。”黃鐵軍表示。

北京智源人工智能研究院理事長張宏江博士指出：“未來，大模型會形成類似電網的智能基礎平臺，像發電廠一樣為全社會源源不斷地供應‘智力源’。”

超大模型“通用智能”能力應用前景廣闊

類比人的教育培養，大模型所完成的培訓就如同基礎性、通識性的大學本科培養，“學成”后的大模型具備處理一般事物的能力。如果要完成更專業、更高級的任務，大模型還需要“研究生”階段的專業培養。

黃鐵軍進一步指出：“AI大模型通常是在大規模無標注數據上進行訓練，學習數據中蘊含的特征、結構和知識。基于大模型進行應用開發時，將大模型進行微調(在下游針對特定任務利用小規模數據進行二次訓練)或者不進行微調，就可以滿足多種應用任務的需要。”

“從‘大煉模型’到‘煉大模型’，北京智能研究院推出的悟道系列大模型成為這一進程中的標志性成果。”張宏江指出，大模型、大平臺、大數據的系統性的生態蓬勃的發展勢頭，驗證了在AI研究與創業領域新機遇正在降臨。

在這一趨勢下，北京智源人工智能研究院2021年3月發布悟道1.0，是中國首個人工智能大模型，取得多項國際領先的AI技術突破;2021年6月發布的悟道2.0，參數規模達到1.75萬億，是OpenAI的GPT-3模型的10倍，一躍成為世界最大模型。

北京智源人工智能研究院學術副院長、清華大學教授唐杰表示，大模型可以包含更多數據，表示更多信息，模型往超大規模發展是一個必然的趨勢。智源在布局萬億級模型，包括配套的高性能算力平臺。目前，悟道團隊一方面擴大模型的規模，讓模型的表示能力更強，一方面針對實際應用，提高精度。此外，團隊還在模型微調算法上進行了創新，希望早日打通百億級模型和萬億級模型的橋梁。

“超大規模預訓練模型的出現，很可能改變信息產業格局，即基于數據的互聯網時代、基于算力的云計算時代之后，接下來可能將進入基于大模型的AI時代。”唐杰認為。

據介紹，超大規模智能模型的“通用智能”能力在醫療、金融、新聞傳播等行業應用前景廣闊。例如，在醫療健康領域，大模型在醫療數據格式化、病歷自動解讀與分析、自動問診系統等方面都可以發揮巨大效用。在金融、法律、財務、人力資源、零售等傳統行業領域，大模型能提供高性能的智能信息解析和提取、智能數據整合、自動機器翻譯、輔助決策等功能，提升業務流程效率和水平。在新聞傳播領域，基于模型可實現智能新聞線索收集、機器寫作、輔助編輯、虛擬主播等應用。目前，智源悟道大模型，也在為北京冬奧會提供新場景下的人工智能服務應用;并正在以大模型黑科技，開啟手機AI語音技術新路徑，賦能智能終端新一輪AI體驗革新。在9月24日舉行的2021中關村論壇“人工智能與多學科協同創新論壇”上，智源“悟道”大模型與OPPO小布助手合作，基于“悟道”大模型開啟“生成式回答系統”，全面功能上線后一舉解決了行業共通性的長尾問題，單條回答建設成本降低99%。

大模型面臨的機遇與挑戰

最近，斯坦福大學數十位研究者聯名發表《基礎模型的機遇和風險》綜述文章，認為大模型的特點之一是“同質化”，好處在于大模型的任何一點改進就可以迅速覆蓋整個AI社區。但同時，它也帶來一些隱患，大模型的缺陷會被所有下游模型所繼承。特點之二是海量數據訓練出的基礎模型具有“涌現”特性，也就是產生未曾預先設想的新能力，這種特性有望讓AI具備處理語言、視覺、機器人、推理、人際互動等各類相關任務的能力。因此這類模型將賦能各行各業，加快行業的智能化轉型，在法律、醫療、教育等領域都會帶來具有社會價值的影響。

但同時，如何應對大模型下游的傳播問題，進一步提高信息的精準性與適用性，以人工智能大模型技術激活各行各業?

黃鐵軍回答道：“這是學界現在所面臨的共同難題，未來應該從幾個方面來減輕甚至消除這類影響：首先就是要關注訓練數據的質量，目前一些模型具有的偏見其實都是由訓練數據本身所引發的，因此我們要在數據源頭上做好保障，既要量大，也要質高。第二，要加強對算法本身及模型內部運作機制的研究，目前深度學習算法的可解釋性等理論還在探討階段，對大模型的理論分析和缺陷查找能力提出了更大挑戰，這就需要加強基礎研究，以支撐大模型在那些可靠性要求更高行業中的應用。此外，模型的訓練過程中，要加入多模態的數據，比如文本、圖片、視頻等類型的輸入，通過多模態信息內在的多重關聯性降低大模型‘偏執’的概率。我們常說人要‘行萬里路，讀萬卷書’，大模型也一樣，會隨著算法的改進和‘閱歷’的增加越來越智能。”(科技日報記者 華凌)

關鍵詞： 人工智能 煉大模型 超大模型 通用智能