運算能力與人工智能

全面分析計算在人工智能發展中的作用、基礎設施需求及政策影響

By Jai Vipra & Sarah Myers West | AI Now Institute

出版日期:2023年9月

報告概覽

本報告探討計算能力(「compute」)在人工智能系統中的關鍵作用。隨著AI模型規模與複雜度提升,其運算需求正以空前速度增長,為技術、環境、經濟及政策領域帶來全新挑戰與影響。

我們剖析由硬件組件至數據中心的完整運算基礎設施架構,並探討運算限制與資源分配如何影響AI發展進程、參與者資格門檻,以及最終構建的AI系統類型。

關鍵數據點

運算需求增長

自2012年以來,訓練大型AI模型所需的運算量每3至4個月便翻倍一次,增長速度遠超摩爾定律。

能源消耗

訓練單一大型語言模型所消耗嘅電力,相當於超過100個美國家庭全年用電量。

市場集中度

僅三間公司就控制咗提供人工智能訓練基礎設施嘅雲端計算市場超過65%份額。

Carbon Footprint

到2025年,人工智能行業嘅運算需求可能佔全球電力消耗量高達3%。

主要洞察摘要

運算能力決定人工智能發展水平

計算資源嘅規模直接決定咗可以開發邊類人工智能模型同埋邊個有能力開發,形成咗巨大嘅入行門檻。

環境影響

人工智能系統對運算需求日益增長,帶來龐大環境代價,包括顯著嘅能源消耗同碳排放。

供應鏈脆弱性

AI運算依賴複雜的全球供應鏈,其製造環節高度集中且存在潛在單點故障風險。

政策滯後

現行政策框架未能跟上人工智能運算基礎設施的急速擴張,造成監管漏洞

Hardware Lottery Effect

AI研究方向深受現有硬件影響,適合當前運算基礎設施的研究方法往往獲得過多關注。

地緣政治影響

運算資源嘅掌控已成為國際競爭嘅關鍵因素,出口管制同產業政策正主導人工智能能力嘅獲取途徑。

Document Contents

報告目錄

1. 引言:運算能力在人工智能中的核心地位

運算能力已成為人工智能能力的基礎決定因素。有別於早期靠演算法創新推動發展的年代,當代人工智能的進步越來越依賴大規模運算資源。

這種轉變對誰能參與尖端人工智能研究、會開發出何種類型的人工智能系統,以及人工智能效益如何在全社會分配,均產生深遠影響。

2. How Compute Demand Shapes AI Development

最先進人工智能模型對運算能力嘅需求不斷攀升,形成巨大入行門檻,令開發資源集中喺資金雄厚嘅科技企業手中。

呢場運算能力競賽正影響研究方向嘅取捨,令學界傾向採用可隨運算能力擴展嘅方案,而非可能更高效但運算需求較低嘅方法。

  • 初創企業 vs 現有企業: 大型科技公司嘅運算優勢構成重要競爭壁壘
  • 研究方向: 運算密集型方法獲得不成比例的關注與資金
  • 全球分佈: 運算能力在全球分佈不均,影響哪些地區能夠參與人工智能發展

3. Measuring Compute in Large-Scale AI Models

人工智能訓練嘅運算需求通常以浮點運算(FLOPs)作為量度單位。當今最先進嘅模型需要進行10^23至10^25 FLOPs量級嘅訓練運算。

呢啲需求嘅增長速度遠超硬件效率嘅提升幅度,導致訓練尖端模型嘅成本出現指數級增長。

4. AI Compute Hardware Stack

人工智能硬件生態系統包含專為平行運算而優化的特殊處理器,尤其以GPU為主,並日益增加如TPU及其他AI加速器等領域專用架構。

不同硬件配置會針對人工智能生命週期的各個階段進行優化:訓練與推論各自具備獨特的效能及效率特徵。

5. Hardware Components and Supply Chains

人工智能硬件嘅全球供應鏈涉及設計、製造、組裝同分銷之間複雜嘅相互依存關係,每個階段都有明顯嘅地理集中性。

  • 晶片設計: 主要由NVIDIA、AMD同Google等公司主導
  • 製造: 高度集中於台灣(TSMC)同南韓(Samsung)
  • 封裝同測試: 主要分佈喺東亞同東南亞地區
  • 原材料: 對專門材料嘅依賴會為供應鏈帶來額外弱點

6. 數據中心基礎設施

數據中心係承載AI訓練與部署運算資源嘅實體基礎設施,其地理分佈、能源來源同冷卻系統會顯著影響AI運算嘅經濟效益同環境足跡。

各大科技公司越嚟越多咁開發專為AI工作量優化嘅專用數據中心,尤其注重供電同冷卻系統。

7. Environmental Impact and Sustainability

現代人工智能系統嘅計算強度產生咗重大環境外部性,包括:

  • 訓練同推理過程嘅顯著電力消耗
  • 數據中心冷卻系統嘅用水量
  • 硬件更新換代產生嘅電子廢物
  • 能源生產過程嘅碳排放

減輕這些影響嘅措施包括提升運算效率、將數據中心設於可再生能源豐富嘅地區,以及開發更可持續嘅冷卻技術。

8. 政策對應與管治

現行政策框架難以跟上人工智能運算基礎設施嘅快速擴張。主要政策考量包括:

  • 針對數據中心排放同能源使用嘅環境規例
  • 針對集中運算資源嘅反壟斷考量
  • 先進運算硬件的出口管制
  • 運算效率量度與匯報標準
  • 研究用運算基礎設施的公共投資

9. 結論與未來方向

運算能力已成為塑造人工智能發展與部署嘅關鍵因素。急劇上升嘅運算需求造成顯著准入門檻、環境挑戰同供應鏈脆弱性問題。

應對這些挑戰需要協調各方行動,包括提升效率的技術改進、管理外部性的政策對策,以及確保更廣泛獲取運算資源的結構性方案。

未來研究應聚焦於開發低運算需求的AI方法、改進運算效率的衡量標準,並設計運算資源分配與取用的管治機制。