31 7 月, 2024

Last Updated on 2024-07-31 by Clay

介紹

HuggingFace 所提供的 TGI (Text Generation Inference) 是一個專門用來佈署、加速 LLM 推理服務的框架，以下是它的架構圖：