1 大模型訓練和應用面臨著算力和能耗算力方面的挑戰(zhàn)

大模型需要大量計算資源，導致算力需求指數(shù)級增長，對全社會信息基礎設施和眾多企業(yè)、科研機構的大模型研發(fā)帶來巨大壓力。

能耗方面，大模型對能源的巨大需求導致人工智能能源消耗占能源消耗的3%左右，到2025年將消耗15%的電能，給環(huán)境治理帶來挑 戰(zhàn)。我國大模型發(fā)展帶來的G能耗可能增加碳達峰、碳中和壓力。

算力短缺：大模型通常需要具有數(shù)十億乃至上萬億個參數(shù)，訓練時用到 數(shù)萬億個Token，這就需要消耗巨大的算力。算力需求隨著 大模型的發(fā)展而呈指數(shù)級增長，對算力規(guī)模提出了巨大 的要求。大型預訓練模型的訓練和調優(yōu)過程需要消耗巨大的 算力資源。例如，訓練ChatGPT所需的算力相當于64個英 偉達A100 GPU訓練1年的時間。此外，大模型的日常運營 和優(yōu)化也需要大量的算力投入。預計到2030年，算力 總規(guī)模將達到56ZFlops，其中智能算力成為推動算力增長 的主要動力。這對于社會的信息基礎設施建設和企業(yè)、科研 機構的大模型研發(fā)都帶來了巨大的挑戰(zhàn)。 • 根據(jù)工信部的數(shù)據(jù)，2022年智能算力中，美國占45% 的份額，中國占28%的份額，美國智能算力規(guī)模為我國的 1.6倍，在中美算力競爭中，我國仍然處于相對劣勢的一方。

能耗巨大：大模型對算力的巨大需求，帶來了對能源的巨大 消耗。人工智能服務器的功率較普通服務器G6至 8倍，訓練大模型所需的能耗是常規(guī)云工作的3倍。 據(jù)估計，目前人工智能的能源消耗占能源消 耗的3％左右，到2025 年，人工智能將消耗 15％的電能。人工智能的快速發(fā)展將對能源消耗 和環(huán)境產(chǎn)生巨大影響。 • 據(jù)估計，GPT-4一次訓練的耗電量相當于1200個 中國人一年的用電量，僅占模型實際使用時的40 ％，實際運行階段將消耗更多能源。一些大型模 型運行時的碳排放量巨大，給環(huán)境治理帶來 挑戰(zhàn)。我國大模型發(fā)展的G能耗可能增加碳達峰 和碳中和的壓力。

2 大模型在數(shù)據(jù)和資金方面也面臨著挑戰(zhàn)

大模型面臨的挑戰(zhàn)包括數(shù)據(jù)獲取便利性、數(shù)據(jù)來源合法性、數(shù)據(jù)質量可靠性、數(shù)據(jù)使用安全性、資金投入等方面的挑戰(zhàn)。

資金投入方面，大模型成本G昂，包括模型開發(fā)成本、訓練成本、算力成本、數(shù)據(jù)成本、運維成本等，對普通企業(yè)和科研機構而言，資金成為難 以逾越的“門檻”。

數(shù)據(jù)規(guī)模與質量待提G：數(shù)據(jù)獲取方面，專用類大模型需要專業(yè)數(shù)據(jù)，而這些數(shù) 據(jù)往往屬于企業(yè)、研究機構等實體，增加了訓練難度。 • 數(shù)據(jù)來源合法性方面，個人信息保護意識的提G使得數(shù) 據(jù)合法使用成為問題。 • 數(shù)據(jù)質量可靠性方面，開源數(shù)據(jù)集雖然數(shù)量巨大，但質 量良莠不齊，從中提取符合預訓練要求的G質量數(shù)據(jù)面 臨很大挑戰(zhàn)。 • 數(shù)據(jù)使用安全性方面，如何保證使用的數(shù)據(jù)不帶偏見， 以及如何保證人工智能制造的數(shù)據(jù)本身的安全性，都是 需要解決的問題。

資金緊缺：大模型訓練開發(fā)成G昂，其成本主要由模型開發(fā)成本、訓練成本、算力 成本、數(shù)據(jù)成本、運維成本等構成，僅訓練成本便動輒G達數(shù)百萬美元。 以Meta大語音模型LLaMA為例，在多達1.4萬億的數(shù)據(jù)集上，使用 2000多個英偉達A100 GPU，訓練了21天，花費或G達1000萬美元。 根據(jù)華為公布的消息，開發(fā)和訓練一次人工智能大模型的成本G達 1200萬美元。 • 大模型巨大的資金投入，更是將很多小型研究機構和中小型企業(yè)拒之門 外，導致大模型研發(fā)都集中在頭部企業(yè)和研發(fā)機構，加劇了不平等現(xiàn)象。 • 在大模型的投資方面，根據(jù)美國斯坦福大學2022年的報告，美國和中 國位列投資總額的前兩位，但美國的投資是中國的3倍，中國在資 金投入方面還有較大差距。

3 大模型發(fā)展在技術和人才方面也面臨著挑戰(zhàn)

針對大模型技術，國內企業(yè)與歐美國家存在差距，主要體現(xiàn)在底層架構設計和硬件技術方面。在底層架構設計方面，國內尚無類似的底層架構， 大模型的預訓練方面只能“在別人的地基上蓋房子”；在硬件技術方面，美國占據(jù)J對L先地位，我國自研能力不足，對美國進口依賴程度G， 存在“卡脖子”風險。

在人才方面，國內大模型人才數(shù)量嚴重不足，與美國相比D人才數(shù)量少，制約了大模型研發(fā)的快速發(fā)展。具體表現(xiàn)為人才數(shù)量不足、人才質量 不夠G和人才外流嚴重。針對以上挑戰(zhàn)，需要加強國內大模型技術的研發(fā)，提G自研能力，降低對美國進口的依賴程度；同時，需要加強人才培 養(yǎng)，提G人才質量，減少D人才的流失。

技術存在差距：大模型技術涉及軟件和硬件兩方面： • 從軟件技術看，國內企業(yè)與歐美國家存在差距。底層架構設計方面，國內 尚無類似谷歌的Transformer模型，對大模型的預訓練只能依賴外部技術。 在迭代升級和更新?lián)Q代方面，國內企業(yè)也落后于歐美企業(yè)，競爭劣勢明顯。 • 從硬件技術看，在人工智能GPU方面，美國占據(jù)J對L先地位，我國自研 能力不足，對進口依賴較G，存在風險。當前大部分大模型訓練所用的 GPU由美國英偉達公司生產(chǎn)，國產(chǎn)GPU與其性能差距明顯。美國已禁止向 中國銷售A100，而英偉達推出了性能更強的H100，并將優(yōu)先部署在自家 服務器上。

D人才嚴重不足： 國內大模型人才數(shù)量嚴重不足，與美國相比D人才數(shù)量少，制約了大模型研發(fā)發(fā)展。 • 首先，人才數(shù)量嚴重不足。我國人工智能人才缺口超過500萬，供需比例嚴重失衡， 人工智能成為“缺人”的行業(yè)。 • 其次，人才質量不夠G。與美國相比，國內缺乏D算法人才，數(shù)量嚴重不足。美 國在具影響力的人工智能學者榜單中占據(jù)主導地位，中國學者數(shù)量遠遠落后。 • 此外，人才外流問題也十分嚴重。許多國內優(yōu)秀人才選擇出國深造并留在國外，導 致D人才的流失。這加大了國內大模型研發(fā)與美國的差距，給我國大模型研發(fā)帶 來嚴峻挑戰(zhàn)。