AI

介紹

HuggingFace 所提供的 TGI (Text Generation Inference) 是一個專門用來佈署、加速 LLM 推理服務的框架，以下是它的架構圖：

介紹

從去年開始我就對多模態（Multi-Modal）的 AI 模型充滿了熱忱與好奇，因為我是堅定不移的 AGI 派，認為 AI 目前的潛力仍然遠遠沒有抵達天花板；而 AI 當前的一大瓶頸與研究方向，自然就是整合了多種不同的模態（文字、圖像、音訊...）的模型應用了。

Meta AI 在近期開放了 Llama 3.1 的各種量級（405B、70B、8B），尤其是 405B 更是引人注目，可謂是開源的 LLM 第一次追上了如 GPT-4、Claude-3.5 等閉源的大型語言模型。而與此同時，Meta AI 也開源了一個小模型 Prompt-Guard-86M。