6 9 月, 2024

vLLM 加速推理框架中使用整合之 Outlines 工具進行解碼約束

Last Updated on 2024-09-06 by Clay

最近把不少 Outlines 的應用整合進了我當前工作流程中，其中我最常與 vLLM 一起使用的，不過其說明文件不知為何在 vLLM GitHub 上一直沒被 merge，所以我在設計流程時不得不一直拿一個被 rejected 的 PR 原始碼在看說明 XD