機智情報站
Continuous Batching 最近成為不少 AI inference 團隊關注的關鍵字，原因很直接：它要解決的就是 idle GPUs 問題。當推理請求不是同一時間湧入，傳統 batching 會令 GPU 出現等待 request 的空檔，成本照付，但延遲與吞吐量未必跟得上；Continuous Batching 則把新 request 持續加進現有 batch，目標是在不白白浪費 GPU 時間的前提下，同時壓低 latency、提升 throughput。對正在看 vLLM、SGLang 或其他 LLM serving stack 的團隊來說，今次最值得先搞清楚的，不是名詞本身夠不夠新，而是它到底改善了哪一段推理瓶頸。
拆解AI推理「閒置」之謎：傳統批次處理點解唔夠效率？
要理解Continuous Batching嘅價值，我哋首先要睇吓傳統AI推理處理方式有咩問題。過往，為咗提高GPU嘅利用率，AI模型通常會採用「批次處理」（Batching）嘅方式，即係將多個用戶請求收集成一個「批次」，然後一次過送入GPU進行處理。呢個做法喺模型訓練時效率奇高，因為數據量通常好大而且穩定。
但當應用喺AI推理，特別係面對實時、非同步嘅用戶請求時，問題就浮現喇。講白啲，就好似巴士要等坐滿先開車一樣，如果請求唔係同步到，或者批次唔夠大，GPU就可能出現「等客到」嘅情況，導致大量閒置時間。而即使有請求，如果批次細，GPU嘅處理效率亦會大打折扣。結果就係，高延遲、低吞吐量，同時亦令你為GPU付出嘅成本，有一部分係白白浪費咗。
Continuous Batching：實時回應，榨乾GPU每一滴效能
由VentureBeat嘅報道可見，Continuous Batching技術嘅出現，就係為咗解決呢個困局。佢顛覆咗傳統「等齊人先開飯」嘅模式，改為「一有訂單即刻煮」。呢個技術嘅核心理念係：GPU唔需要再死等一個完整批次，而係當有請求到達時，就即刻將佢加入到當前正在處理嘅批次當中。透過動態管理GPU資源，佢可以做到：
- 大幅提升GPU利用率： 減少不必要嘅閒置時間，令GPU幾乎時刻都處於工作狀態。
- 顯著降低延遲： 請求幾乎實時處理，對於需要即時回應嘅AI應用（例如大型語言模型、智能客服）尤其重要。
- 增加吞吐量： 同時間可以處理更多嘅請求，應對高併發流量。
- 成本效益： 用更少嘅GPU資源，支撐同樣甚至更大規模嘅AI服務，直接降低營運開支。
呢個技術背後有vLLM、SGLang等開源框架嘅支援，佢哋透過巧妙嘅記憶體管理（例如PagedAttention同Blocked KV Cache），確保動態批次處理嘅高效運行。對於本地做AI應用嘅公司嚟講，呢個技術唔止係提升服務質素嘅利器，更係降低雲端GPU租用成本嘅關鍵。
對業界深遠影響：重塑AI產品策略與開發者生態
Continuous Batching嘅普及，唔止係技術層面嘅小修小補，直情係對AI服務商業模式嘅一次升級，並將對多個層面產生深遠影響：
- 企業IT策略： 企業可以重新評估GPU嘅採購同租用策略，以更少嘅資源支撐更大規模嘅AI應用。雲端服務商亦會因此提供更具競爭力嘅AI推理服務。
- 產品開發者： 開發者可以設計更複雜、更即時嘅AI功能，而唔需要過分擔心資源瓶頸。例如，實時生成式AI內容、高度互動嘅AI助手，用戶體驗將會大為改善。
- 市場競爭： 掌握並善用呢類優化技術嘅公司，喺AI服務市場上將擁有更大優勢，能夠提供更快、更平、更穩定嘅服務，從而吸引更多客戶。
可以預見，未來會有更多AI框架同雲端平台整合呢類技術，佢將逐漸成為AI推理服務嘅行業標準。香港嘅企業同開發者，密切留意並及早部署相關技術，絕對係提升競爭力嘅關鍵一步。