雲端科技

Duolingo 後端大革新|500+ 服務轉 Kubernetes,開發團隊點解要留意佢嘅三大部署重點|更新重點

Duolingo 後端大革新|500+ 服務轉 Kubernetes,開發團隊點解要留意佢嘅三大部署重點|更新重點 精選圖片

Duolingo 將超過 500 個後端服務遷移到 Kubernetes,對開發團隊影響深遠。今次革新採用 GitOps 搭配 Argo CD 提升部署效率,並全面轉用 IPv6-only Pods 簡化網絡,更引入「蜂窩式架構」增強系統…

Read More »

AI推理|Continuous Batching點樣扭轉GPU閒置困局,為AI應用慳錢提速?

AI推理|Continuous Batching點樣扭轉GPU閒置困局,為AI應用慳錢提速? 封面圖片 | 圖片來源:Photo by Unknown creator via Openverse (CC CC0 1.0)

AI推理成本高昂,部分原因係GPU喺傳統批次處理模式下大量閒置。最新Continuous Batching技術打破慣例,動態處理請求,大幅提升GPU利用率,降低延遲,增加吞吐量,為AI服務慳錢提速,重塑企業IT策略及開發者生態。

Read More »