臺師大科技系 PecuLab 蔡芸琤
當我們討論 LLM 的運作成本時,用類似於購車的比喻來解釋,應該就比較容易解釋
大家都知道,買一輛排氣量大的名車不僅要支付高昂的購車費用,還要考慮後續的油耗和保養成本
這樣的觀點同樣適用於 LLM 的訓練和部署過程
即便模型 Fine-Tune 完成後,仍需要持續投入資金來維持其在推論階段(部署)的運作,特別是在同時需要支援大量使用者的情況下
Fine-Tune 的成本分析
當進行 LLM 的 Fine-Tune 時,選擇的基礎模型參數量越大,所需的計算資源就越多。就像買車時排氣量大的車需要更大的油耗一樣,大模型需要更高的算力來進行訓練
如果模型過大,甚至可能會面臨硬體無法載入的情況。這樣的開銷可以類比為購買昂貴的豪華車
假設你選擇了一個 70 億參數(7B)的模型進行 Fine-Tune,並使用 AWS 的 ml.p4d.24xlarge
節點(包含 8 張 A100 GPU),每小時的運行成本約為 $32.77 美元。如果需要訓練 500,000 個 Token 的資料(大約相當於 500,000 個中文字,因為每個漢字大約對應 1 個 Token),訓練過程可能需要 10 小時。那麼總訓練成本將會是 $32.77 * 10 = $327.7 美元
部署的成本分析
當模型訓練完成後,下一步是部署,這相當於購車後的日常使用成本,比如油費和保養費。LLM 的部署成本主要取決於同時在線使用者的數量。假設你需要支援 1,000 名同時在線的使用者,每人進行語言模型查詢,這將需要較高的算力資源
如果你選擇使用 AWS 的 ml.g5.12xlarge
節點(擁有 4 張 T4 GPU),每小時的成本約為 $4.90 美元。假設每個節點可以支援 100 名同時在線使用者,那麼為了支援 1,000 名用戶,你需要 10 個節點。每天的運行成本將為 $4.90 * 10 * 24 = $1,176 美元
資料量對成本的影響
我們可以從書籍字數來進一步理解這樣的資料量。一本專業書籍的字數通常在 50,000 到 300,000 字 之間。假設一本 200,000 字的書相當於 200,000 個 Token,如果 Fine-Tune 資料集包括這樣幾本書,其 Token 數量很容易達到 500,000 Token
因此,LLM 的整體成本可分為兩個階段:
- 模型訓練階段:根據 AWS 的計價,Fine-Tune 500,000 Token 所需的算力成本約為 $327.7 美元(基於 70 億參數模型和 10 小時的訓練時間)
- 模型部署階段:若需要同時支援 1,000 名使用者,部署成本每天大約為 $1,176 美元
訓練與部署 LLM 的成本與資料量和使用者數量直接相關,就像名車的購置費和油耗隨著車型和使用情況而變化一樣
在實際應用中,根據資料量和需求量合理配置資源,能夠有效管理 LLM 的運行成本
以上只是一個推論的邏輯與示範,真正的花費還要自行替換不同硬體單價與不同資料量來重新計算