臺師大科技系 PecuLab 蔡芸琤
當我們討論 LLM 的運作成本時，用類似於購車的比喻來解釋，應該就比較容易解釋
大家都知道，買一輛排氣量大的名車不僅要支付高昂的購車費用，還要考慮後續的油耗和保養成本
這樣的觀點同樣適用於 LLM 的訓練和部署過程
即便模型 Fine-Tune 完成後，仍需要持續投入資金來維持其在推論階段（部署）的運作，特別是在同時需要支援大量使用者的情況下
Fine-Tune 的成本分析
當進行 LLM 的 Fine-Tune 時，選擇的基礎模型參數量越大，所需的計算資源就越多。就像買車時排氣量大的車需要更大的油耗一樣，大模型需要更高的算力來進行訓練
如果模型過大，甚至可能會面臨硬體無法載入的情況。這樣的開銷可以類比為購買昂貴的豪華車
假設你選擇了一個 70 億參數（7B）的模型進行 Fine-Tune，並使用 AWS 的 ml.p4d.24xlarge 節點（包含 8 張 A100 GPU），每小時的運行成本約為 $32.77 美元。如果需要訓練 500,000 個 Token 的資料（大約相當於 500,000 個中文字，因為每個漢字大約對應 1 個 Token），訓練過程可能需要 10 小時。那麼總訓練成本將會是 $32.77 * 10 = $327.7 美元
部署的成本分析
當模型訓練完成後，下一步是部署，這相當於購車後的日常使用成本，比如油費和保養費。LLM 的部署成本主要取決於同時在線使用者的數量。假設你需要支援 1,000 名同時在線的使用者，每人進行語言模型查詢，這將需要較高的算力資源
如果你選擇使用 AWS 的 ml.g5.12xlarge 節點（擁有 4 張 T4 GPU），每小時的成本約為 $4.90 美元。假設每個節點可以支援 100 名同時在線使用者，那麼為了支援 1,000 名用戶，你需要 10 個節點。每天的運行成本將為 $4.90 * 10 * 24 = $1,176 美元
資料量對成本的影響
我們可以從書籍字數來進一步理解這樣的資料量。一本專業書籍的字數通常在 50,000 到 300,000 字 之間。假設一本 200,000 字的書相當於 200,000 個 Token，如果 Fine-Tune 資料集包括這樣幾本書，其 Token 數量很容易達到 500,000 Token
因此，LLM 的整體成本可分為兩個階段：
- 模型訓練階段：根據 AWS 的計價，Fine-Tune 500,000 Token 所需的算力成本約為 $327.7 美元（基於 70 億參數模型和 10 小時的訓練時間）
- 模型部署階段：若需要同時支援 1,000 名使用者，部署成本每天大約為 $1,176 美元
訓練與部署 LLM 的成本與資料量和使用者數量直接相關，就像名車的購置費和油耗隨著車型和使用情況而變化一樣
在實際應用中，根據資料量和需求量合理配置資源，能夠有效管理 LLM 的運行成本
以上只是一個推論的邏輯與示範，真正的花費還要自行替換不同硬體單價與不同資料量來重新計算