11 1 月, 2024

Last Updated on 2024-01-11 by Clay

介紹

我之前曾寫了一篇介紹 vLLM 加速推理框架的筆記（使用 vLLM 進行大型語言模型（LLM）的高速推理），然而因受篇幅與時間限制，沒來得及探討更細緻的功能。