暹罗猫

暹罗猫

2023 年，科技圈的“頂流”莫過於大模型。自 ChatGPT 的問世拉開大模型與生成式 AI 產業的發展序幕後，國內大模型快速跟進，已完成從技術到產品、再到商業的階段跨越，並深入垂直行業領域。

新技術的爆發，催生新的應用場景與產品模式，撬動影響全行業的智能化變革。滾滾趨勢下，作為從業者、創業者，將麵對怎樣的機遇和挑戰，又該如何破局迎來 AGI 新時代?

近日，「大模型時代的機遇與挑戰」騰訊雲 TVP AI 創變研討會在上海騰雲大廈舉行，特邀 AI 領域頂級大咖，圍繞大模型熱點話題進行深度分享與研討，共同探索大模型時代的未來風向。

大模型 —— 技術、價值、生態

IDEA 研究院認知計算與自然語言研究中心講席科學家、騰訊雲 TVP 張家興老師，帶來《大模型 —— 技術、價值、生態》主題分享。

談及 GPT 大模型誕生的曆程，張家興老師從十餘年在深度學習領域的資深研究經驗出發，用模型結構、訓練技術、算力 + 係統和數據四條主線來闡述整個技術發展的背後趨勢，並重點分享了幾個關鍵節點:

● 模型結構創新: 深度學習的興起推動了模型結構的創新，其中 Transformer 結構起到了關鍵作用。它突破了模型 1 億參數的瓶頸，統一了各種注意力機製的嚐試方法，也解決了任務設計的難題；

● 訓練技術突破: 標誌性事件是 2018 年 BERT 模型，張家興老師認為模型結構是物理基礎，而訓練技術使得人工智能具備特定能力；

● 算力與數據的進步: 底層的芯片不斷進步，性能提升了 100 倍以上。

張家興老師指出，任何一次大的技術範式的變化，都是一次類型的消失，或者都是一種走向統一的過程，大模型就是這樣的一種新的技術範式變化。在 ChatGPT 出現後，模型結構走向統一，之後就會快速“分歧”，整個技術領域重新分工，促使新的生產鏈的形成，這種變化標誌著大模型將成為一個新的產業。

在整個技術的範式變化過程中，張家興老師所帶領團隊研發的模型方向也在變化，從一開始的封神榜，到如今構建薑子牙係列專家大模型。張家興老師分析到，構建一個全能力的大模型存在一定挑戰，不同能力之間可能存在衝突和不兼容性，因此將各個能力拆分成獨立的模型，以便能夠專注於每個能力的發展。通過定製針對性的訓練策略，從而達到每個能力的最佳表現。

張家興老師認為，在“百模大戰”的競爭格局中，訓練技術的探索性極為重要。他強調，訓練技術本身即是一個探索的過程。在訓練過程中探索好的生成方式，並在人類反饋學習中引導模型的發展。

在大模型應用產品方麵。張家興老師提出從專家模型到客戶端進行層層封裝的思路:

第一層封裝是一體化封裝: 包括代碼模型及微調、應用和高效推理工具等，並設置好各種使用場景；

第二層封裝是模型和算力整合封裝: 張家興老師在這一方麵正在和騰訊雲展開合作，積極推進將模型和算力結合在一個大模型產品中提供給客戶，做到“開箱即用”。

AGI 時代的技術創新範式與思考

Boolan 首席技術專家、全球機器學習技術大會主席、騰訊雲 TVP 李建忠老師，帶來了題為《AGI 時代的技術創新範式與思考》的主題演講。

李建忠老師首先從產業的角度對技術的發展進行了時間線的梳理，他認為連接和計算都經曆了從 1.0 到 2.0 的革命性變化。1840-1940 年的這 100 年間是連接的 1.0 時代，電報之後電話、廣播、電視相繼誕生，是最早的連接技術。1946 年第一代計算機出現，而後大型機、小型機、微型機、PC 出現，這是計算的 1.0 時代。之後隨著 1995 年互聯網出現後，Web2.0、移動互聯網、雲服務問世，這是連接 2.0 時代，相比上一代，連接從單向走向雙向。再到 2017 年 Transformer 結構的出現，GPT 的迭代是計算 2.0 時代，這個時代還將繼續，李建忠老師認為按照過往技術發展的曲線，這個時間會持續到 2035 年左右。

同時，李建忠老師分析指出，在技術的發展過程中，呈現出一種連接和計算的“鍾擺”狀態。而這兩者之間的關係，他認為連接解決的是生產關係，而計算解決的是生產力的問題。連接模式的邏輯是提供信息供用戶決策，是廣告天然的土壤；而計算模式的邏輯是要用戶向機器提供數據來幫助決策，其商業模式更趨向收費。在計算邏輯下，效率優先，結果至上。

李建忠老師提出了範式轉換的“立方體”模型，在該模型中 X 軸代表人類需求，如信息、娛樂、搜索、社交、商業；Y 軸代表技術平台，即連接 1.0、計算 1.0、連接 2.0、計算 2.0;Z 軸代表媒介交互，如文字、圖片、音頻、視頻、三維等。他認為需求和技術的交叉點是創新的關鍵，同時強調媒介的變化對於產品和創新的影響。在智能時代，填充不同象限代表對應不同方向，比如大模型與不同領域結合，為其創新和產品發展提供新的思路。

基於此，李建忠老師總結了大模型具備四大核心能力:

● 生成模型: 是其最成熟和最強大的部分，能夠生成各種內容；

● 知識抽象: 壓縮人類知識，為知識密集型行業帶來革新；

● 語言交互: 是人機對話的核心，有巨大的想象空間；

● 邏輯推理: 具備邏輯、規劃、記憶能力，成為具身智能。

以大模型核心能力為支點與不同領域結合會帶來怎樣的創新機會? 李建忠老師以大模型應用層為切入點提出兩個主要方向：AI-Native 和 AI-Copilot。AI-Native 是指完全融入 AI 的新型產品或服務，高風險高回報。AI-Copilot 則是以漸進增強的方式，將 AI 能力嵌入現有的商業閉環中，並與現有的基礎設施兼容和擴展。

同樣，在軟件領域，李建忠老師分享了大模型為軟件開發帶來的三大範式轉換:

● 開發範式: 大模型將改變代碼編寫方式，從工程師寫代碼為主到 AIGC 生成代碼為主；

● 交互範式: 從圖形交互界麵 (GUI) 轉為自然語言交互界麵 (NUI), 包括 NUI+GUI 協同、渠道結構化輸入中間環節的變革，以及拆除孤立應用間的壁壘，實現應用和服務的無縫集成；

● 交付範式: 即用戶共創可塑軟件，這種開放性將使軟件的功能範圍變得更為廣泛。

李建忠老師認為，在未來的三到五年內，整個 AGI 產業的成熟度將達到一個新的高度，帶來巨大的創新機會。

利用無處不在的硬件算力和開放軟件解鎖生成式人工智能

英特爾院士、大數據技術全球 CTO、騰訊雲 TVP 戴金權老師，帶來《利用無處不在的硬件算力和開放軟件解鎖生成式人工智能》主題分享。

戴金權老師首先分享了英特爾團隊在生成式人工智能領域的工作。他提到，影響生成式 AI 的眾多因素中，算力是非常重要的支撐因素，英特爾針對端到端的 AI 的流水線如何提升效率、如何對 AI 加速進行了針對性的優化。

通過軟硬件結合，英特爾成功提高了 AI 深度學習的速度，甚至可以實現免費的軟件 AI 加速器；在生成式 AI 計算加速方麵，戴金權老師提到數據中心端是重點，它將有力支持大模型的訓練和超大規模推理。

在英特爾最近發布的 Gaudi2 深度學習加速器中，與 Hugging Face 合作進行模型優化。同時，英特爾在服務器上加入了 Intel AMX, 其由兩部分組成: 一個是 2D 的寄存器文件，另一個是矩陣加速支持。戴金權老師提到，這樣做的好處在於能夠在通用 CPU 的服務器上實現硬件加速的能力，在通用計算的場景下具有一定意義。

針對雲端存儲的用戶數據和私有化部署的大模型如何保障安全不泄漏的行業需求，戴金權老師分享到，通過硬件保護和軟件安全技術，可實現全鏈路的隱私保護，確保數據和模型在計算過程中對其他用戶不可見，隻在硬件保護的環境中進行計算，既保證了安全，又接近明文計算的效率。

為實現 AI 無所不在的願景，近期英特爾開源了基於 INT4 在 Intel CPU 上的大模型推理庫，支持在英特爾上跑超過百億參數的大模型，戴金權老師介紹並演示了其功能特性:

● 支持 INT3、INT4、NF4、INT8 等多種技術；

● 技術易於使用和遷移，可以加速任何基於 PyTorch 的大模型，並實現高效優化；

● 兼容社區常用的 API; 一兩行代碼即可遷移現有應用。

最後，戴金權老師表達了他對於大模型應用在從 PC 無縫擴展到 GPU 到雲這一未來趨勢的期待，這一新的應用場景值得大家共同去探索。

麵向大模型，如何打造雲上最強算力集群

騰訊雲高性能計算研發負責人 戚元覲老師，帶來《麵向大模型，如何打造雲上最強算力集群》的主題分享。

首先，戚元覲老師對深度學習與 AI 分布式訓練進行了介紹。他提到為了解決大模型訓練中語料數據集過大和模型參數劇增的問題，需要采用分布式計算。就此，戚元覲老師分享了當下大模型訓練中的一些分布式計算方案:

● 數據並行: 按照模型的數據集切分並發送到各個 GPU 上進行計算，每個 GPU 分別計算自己的梯度，再進行全局同步以更新模型參數；

● 模型並行-流水線並行: 按照模型的層級進行切分，不同部分將分配到不同的 GPU 上進行計算，進行梯度計算和傳遞；

● 模型並行-張量並行: 對模型進行更細粒度的切分，將模型的參數權重進行橫向或縱向的切分；

此外，還有如專家並行，由各個專家係統組成並路由到不同的係統中進行計算。

戚元覲老師提到，分布式計算可以充分利用多個 GPU 的計算資源，加快訓練速度，並解決單個 GPU 內存不足的問題。不同的方法適用於不同的場景和模型結構，選擇合適的並行策略可以提升訓練效率和性能。

分布式訓練方法對網絡通信有較高的要求，業內大都采用 3D 並行方式，特別是在 3D 並行的場景下，帶寬需求對於吞吐量是敏感的。在訓練中，想要不讓網絡成為計算的瓶頸，機器與機器之間的通信帶寬需要達到 1.6Tbps。

為了應對以上挑戰，騰訊雲推出了 AI 算力底座 —— 高性能計算集群 HCC, 可廣泛應用於大模型、自動駕駛、商業推薦係統、圖像識別等人工智能模型訓練場景，其具有以下特性優勢:

● 搭配高性能 GPU: 提供強大算力；

● 低延時 RDMA 網絡: 節點互聯網絡低至 2us, 帶寬支持 1.6Tbps-3.2Tbps;

● GpuDirect RDMA:GPU 計算數據無需繞行，跨機點對點直連；

● TACO 訓練加速套件: 一鍵提升人工智能訓練性能。

騰訊雲首發的 H800 計算集群采用多軌道的流量架構，能夠大大減少不必要的數據傳輸，提升網絡性能，在業界處於領先地位。

除了硬件支持外，騰訊雲還提供了自研的集合通信庫 TCCL, 得益於自研的交換機架構，TCCL 實現了端網協同，解決流量負載不均的問題，可以在雙網口環境下提升流量約 40%。同時提供拓撲感知親和性調度功能，旨在最小化流量繞行。它具有動態感知能力，可根據最優順序進行任務分配，避免通信數據擁堵。

戚元覲老師提到，騰訊雲的方案都采用雙上聯的網絡設計結構，相比單口訓練的可用性更高。數據存儲方麵，騰訊雲提供了 Turbo CF5 文件存儲方案和 COS 方案，通過多級加速提升數據訪問性能。

同時，為提高用戶的算力使用率，騰訊雲推出了 TACO Kit 加速套件，通過對內存和顯存的統一管理，減少數據的來回搬移，加快參數更新的速度；還有 TACO lnfer 推理加速，讓支持推理透明、加速，帶給用戶更好的體驗服務。

戚元覲老師總結到，騰訊雲高性能計算集群 HCC 方案能夠從數據讀取、訓練計算、網絡交換等多個層麵助力用戶又快又持續地完成每一個訓練任務，為用戶雲上訓練提供完整的流程支持。

探討辯論環節

主題分享結束後，主持人中國信通院低代碼 / 無代碼推進中心技術專家、騰訊雲 TVP 沈欣老師做了精彩的總結，他提到大模型的發展所帶來最核心和關鍵的影響是生產關係的變化。如“程序員是否會消失”這個問題，可以將程序員比喻成馬車時代趕馬的人，現在還會有養馬的人，但是他們已經被開車的人淘汰了。軟件開發行業將被 AI 重塑，這是未來的程序員所將麵對的迭代和變化挑戰。

隨後，迎來了火花迸發的探討辯論環節。主持人沈欣老師提出了頗具深度的四個開放話題與兩個辯論題目，現場嘉賓以小組形式，對各個話題展開了充分的討論，在熱烈的交流與辯論中碰撞出眾多精彩的觀點。

話題1: 隨著大模型的發展，未來將會形成怎樣的 AI 生態，會如何影響 IT 行業的格局?

來自第二組的發言代表，盛派網絡創始人兼首席架構師、騰訊雲 TVP 蘇震巍老師提出，AI 未來將重塑整個軟件行業的生態及商業模式，包括現在軟件應用的形態、互聯網運行的模式、用戶付費的方式等等。同時隨著 AI 進一步推動生產力發展，可以預見未來企業對人員的需求將發生極大的改變，程序員將在一定程度上減少。

蘇震巍老師進一步總結到，AI 會在三大方麵影響我們未來的商業和工作：AI 推動生產效率變革，影響生產力和生產關係的變化；獲取知識和使用知識的方式改變，效率提升；AI 會成為資產的一部分，數據確權等問題值得關注。

話題2:AI 算力的私有化部署和雲部署有哪些差異和優勢，分別更適合哪些場景?

第三組的發言代表，美團金融服務平台研究員、騰訊雲 TVP 丁雪豐老師，從成本、安全性和靈活性三個視角對 AI 算力的私有化部署和雲部署進行了比較。

● 從成本角度看: 雲部署對於中小企業而言，無論在硬件投入還是維護方麵都更符合當下企業的降本增效需求；

● 從安全性角度看: 他認為部分行業，如金融行業的的安全性和合規性要求極高，私有化部署更為適用；

● 從靈活性角度看: 公有雲不僅可以單純地按需提供算力，對於成熟的場景也能提供一站式解決方案，用戶可以根據實際需求選擇合適的使用方式，在滿足安全與合規的場景下更推薦選擇雲部署。

話題3: 企業應如何衡量 AI 的價值，如何量化成本結構和價值，在不同的業務有哪些案例?

來自第四組的發言代表，騰訊雲 TVP 徐巍老師提出以下五個評估維度: 是否為企業創造價值、節約成本、提升企業生產力、提升客戶滿意度，以及助力業務增長。徐巍老師補充到，不同企業和行業麵臨的挑戰和目標也各不相同，因此評估 AI 的價值需要結合其具體情況和目標進行綜合考量。

同時，就 ToB 和 ToC 的業務場景而言，在 ToB 領域，智能客服、數字人、AI 知識庫和企業培訓等已經被許多企業應用；在 ToC 領域，當下 AI 生成等是主流的應用場景。

談及 AI 的成本構成，徐巍老師認為當下主要包括算力成本、AI 技術的開發和維護成本，以及 AI 產品的運營和推廣成本。

話題4: 在大模型的熱潮下，大公司和創業公司分別有哪些可以切入的創新機遇?

第一組的發言代表，Boolan 首席技術專家、全球機器學習技術大會主席、騰訊雲 TVP 李建忠老師認為從數據的優勢角度看，當下 AI 領域的創新對大公司或成熟的公司友好，但從開源的角度來看，他認為對創業公司更友好。

李建忠老師以產品的發展模式展開闡述，AI-Native 的模式更適合創業型公司，因為麵對新事物的到來它們具備全新的起點和思維模式，而且一些創業公司的投入並不弱於大公司。

辯論題目 1: 未來大模型開源是主流 or 閉源是主流?

第一組的發言代表，Boolan 首席技術專家、全球機器學習技術大會主席、騰訊雲 TVP 李建忠老師是“開源方”，他首先定義了“主流”一詞: 用戶最多就是主流；他認為與閉源相比，開源可以實現邊緣層和模型層的良好標準化；同時開源能夠集合整個行業之力在一個點上進行優化，帶來更多的資源和投入；

隨後，來自第二組的發言代表，盛派網絡創始人兼首席架構師、騰訊雲 TVP 蘇震巍老師作為“閉源方”先就“主流”定義進行了反駁，他認為真正能夠有影響力推動整個行業變革，同時在商業上形成持久循環的，有更健康生態的才是主流，並以閉源的 ChatGPT4 為例進行了論證。他強調，大模型包含了模型本身和數據源，因此算法開源和成果的開源，並不就代表大模型的開源，並舉例了 Lama2 的各種限製。蘇震巍老師認為當前的一些所謂開源框架，被用作營銷工具，違背了開源的真正的精神。

之後“開源方”的李建忠老師進行了針對性反駁，他首先糾正了對方的“開源營銷說”，強調開源是生態級的革命。同時就 ChatGPT4 的例子，他認為其最初源頭是來自穀歌的開源，且 OpenAI 也在準備開源中。

“閉源方”的蘇震巍老師隨後補充，不否認開源的生態革命，但事實上很多開源是迫於競爭壓力下的搶占市場份額的商業行為。同時他表示，知識的共享並不代表是開源。

辯論題目 2: 更看好通用大模型賽道 or 垂直大模型賽道?

第三組的發言代表，美團金融服務平台研究員、騰訊雲 TVP 丁雪豐老師更看好通用大模型賽道，他認為從更大、更高的曆史觀視角看，通用大模型的發展是必然的，而且在應用層可以避免垂直大模型的局限性。同時未來隨著通用大模型的學習範圍不斷拓展，當前的垂直領域都將被覆蓋。

更看好垂直大模型賽道的第四組的發言代表，騰訊雲 TVP 徐巍老師則是從三個角度闡述他的觀點: 從商業模式看，垂直大模型有豐富的應用場景，可落地，商業模式經過驗證是成立的；從成本角度看，大模型的算力成本極高，垂直大模型的成本更加可控；從數據角度來說，作為大模型訓練極為重要的部分，通用大模型所需要的數據量巨大，數據源限製性高，垂直知識庫的可實現性更高。

隨後“通用大模型”方的丁雪豐老師進一步論述，通用大模型在當前 AI 領域的重要性不言而喻，它提供了技術基座，為各種應用提供了支持；而且，基礎的、通用的能力發展是自主可控的必然要求。

“垂直大模型”方的徐巍老師做了最後的補充，他認為從賽道生態角度來看，垂直大模型賽道的玩家更多，更能形成百花齊放的生態，帶來更高的商業價值和社會價值。

結語

本次研討會的探討與辯論話題沒有確定的答案，大模型發展方興未艾，將為每一個技術從業者、企業和行業都帶來新的影響。本次活動已圓滿落下帷幕，但騰訊雲 TVP 專家們對於技術的探索還將繼續，他們秉持著“用科技影響世界”的初心和願景，持續以創新之心積極擁抱大模型時代的變革與趨勢，以敬畏之意理性迎接未來的機遇和挑戰。

TVP, 即騰訊雲最具價值專家 (Tencent Cloud Valuable Professional), 是騰訊雲授予雲計算領域技術專家的一個獎項。TVP 致力打造與行業技術專家的交流平台，促進騰訊雲與技術專家和用戶之間的有效溝通，從而構建雲計算技術生態，實現“用科技影響世界”的美好願景。

廣告聲明：文內含有的對外跳轉鏈接（包括不限於超鏈接、二維碼、口令等形式），用於傳遞更多信息，節省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。