HuggingFace Text Generation Inference (TGI) 筆記
介紹
HuggingFace 所提供的 TGI (Text Generation Inference) 是一個專門用來佈署、加速 LLM 推理服務的框架，以下是它的架構圖：
Read More »HuggingFace Text Generation Inference (TGI) 筆記AI
使用文字檢索圖像: ColPali 多模態模型簡介
介紹
從去年開始我就對多模態（Multi-Modal）的 AI 模型充滿了熱忱與好奇，因為我是堅定不移的 AGI 派，認為 AI 目前的潛力仍然遠遠沒有抵達天花板；而 AI 當前的一大瓶頸與研究方向，自然就是整合了多種不同的模態（文字、圖像、音訊…）的模型應用了。
Read More »使用文字檢索圖像: ColPali 多模態模型簡介
Meta-llama–Prompt-Guard-86M: 提示防護的開源模型，偵測惡意攻擊 Prompt
Meta AI 在近期開放了 Llama 3.1 的各種量級（405B、70B、8B），尤其是 405B 更是引人注目，可謂是開源的 LLM 第一次追上了如 GPT-4、Claude-3.5 等閉源的大型語言模型。而與此同時，Meta AI 也開源了一個小模型 Prompt-Guard-86M。
Read More »Meta-llama–Prompt-Guard-86M: 提示防護的開源模型，偵測惡意攻擊 Prompt
Stable Diffusion ComfyUI 筆記 03 – 下載各種可以使用的模型
在使用 ComfyUI 生成圖片時，我們得借助各式各樣模型的能力，最終才能兜出一個完整的工作流；換句話說，這些所謂『各式各樣的模型』，加總在一起，才是所謂的 Stable Diffusion。而今天，我要介紹可以去哪裡下載到這些模型。
Read More »Stable Diffusion ComfyUI 筆記 03 – 下載各種可以使用的模型
Stable Diffusion ComfyUI 筆記 02 – 基本的工作流
介紹
上一回我們完成了 ComfyUI 的配置，現在我們可以開始建立一個最基本的工作流（workflow）。工作流是 ComfyUI 跟 stable-diffusion-webui 最不同的地方，ComfyUI 藉由不同卡片之間組成的流程，更容易讓人明白實際上 Stable Diffusion 的模型究竟是怎麼推理的、也更容易客製化做出更進階的效果。
Read More »Stable Diffusion ComfyUI 筆記 02 – 基本的工作流
Stable Diffusion ComfyUI 筆記 01 – 下載與環境安裝
什麼是 ComfyUI？
有在玩 Stable Diffusion AI 生圖的人可能都聽過 stable-diffusion-webui，它是一個支援 Stable Diffusion 模型架構的視覺化界面，讓使用者可以不必親自撰寫程式碼或是繁瑣的命令列操作，就可以讓 AI 模型進行生圖的推理。而 ComfyUI 則是另外一個稍微小眾一點的前端界面，不過憑著自由且能靈活客製化的特性，也迅速地收割了一波死忠的粉絲，基本上，可以視為是 stable-diffusion-webui 的更進階版本，也比較沒那麼親民。
Read More »Stable Diffusion ComfyUI 筆記 01 – 下載與環境安裝