HuggingFace Text Generation Inference (TGI) 筆記
Last Updated on 2024-07-31 by Clay
介紹
HuggingFace 所提供的 TGI (Text Generation Inference) 是一個專門用來佈署、加速 LLM 推理服務的框架，以下是它的架構圖：
Read More »HuggingFace Text Generation Inference (TGI) 筆記7 月 2024
使用文字檢索圖像: ColPali 多模態模型簡介
Last Updated on 2024-07-31 by Clay
介紹
從去年開始我就對多模態（Multi-Modal）的 AI 模型充滿了熱忱與好奇，因為我是堅定不移的 AGI 派，認為 AI 目前的潛力仍然遠遠沒有抵達天花板；而 AI 當前的一大瓶頸與研究方向，自然就是整合了多種不同的模態（文字、圖像、音訊...）的模型應用了。
Read More »使用文字檢索圖像: ColPali 多模態模型簡介
Meta-llama--Prompt-Guard-86M: 提示防護的開源模型，偵測惡意攻擊 Prompt
Last Updated on 2024-07-31 by Clay
Meta AI 在近期開放了 Llama 3.1 的各種量級（405B、70B、8B），尤其是 405B 更是引人注目，可謂是開源的 LLM 第一次追上了如 GPT-4、Claude-3.5 等閉源的大型語言模型。而與此同時，Meta AI 也開源了一個小模型 Prompt-Guard-86M。
Read More »Meta-llama--Prompt-Guard-86M: 提示防護的開源模型，偵測惡意攻擊 Prompt
[Python] 使用 httpx 取代 requests 進行異步請求
Last Updated on 2024-07-28 by Clay
在 Python 的程式開發中，我們經常使用 requests 模組進行 HTTP 請求；然而 requests 在真正串連前後端及不同服務時其同步請求方式可能成為瓶頸，我最近正是因為使用 requests 造成 K8s 的探針阻塞、進而導致所開發的服務容器被誤刪 —— 此時，httpx 可能是一個更適合的異步請求操作模組。
Stable Diffusion ComfyUI 筆記 03 - 下載各種可以使用的模型
Last Updated on 2024-08-12 by Clay
在使用 ComfyUI 生成圖片時，我們得借助各式各樣模型的能力，最終才能兜出一個完整的工作流；換句話說，這些所謂『各式各樣的模型』，加總在一起，才是所謂的 Stable Diffusion。而今天，我要介紹可以去哪裡下載到這些模型。
Read More »Stable Diffusion ComfyUI 筆記 03 - 下載各種可以使用的模型
Stable Diffusion ComfyUI 筆記 02 - 基本的工作流
Last Updated on 2024-07-31 by Clay
介紹
上一回我們完成了 ComfyUI 的配置，現在我們可以開始建立一個最基本的工作流（workflow）。工作流是 ComfyUI 跟 stable-diffusion-webui 最不同的地方，ComfyUI 藉由不同卡片之間組成的流程，更容易讓人明白實際上 Stable Diffusion 的模型究竟是怎麼推理的、也更容易客製化做出更進階的效果。
Read More »Stable Diffusion ComfyUI 筆記 02 - 基本的工作流
Stable Diffusion ComfyUI 筆記 01 - 下載與環境安裝
Last Updated on 2024-07-27 by Clay
什麼是 ComfyUI？
有在玩 Stable Diffusion AI 生圖的人可能都聽過 stable-diffusion-webui，它是一個支援 Stable Diffusion 模型架構的視覺化界面，讓使用者可以不必親自撰寫程式碼或是繁瑣的命令列操作，就可以讓 AI 模型進行生圖的推理。而 ComfyUI 則是另外一個稍微小眾一點的前端界面，不過憑著自由且能靈活客製化的特性，也迅速地收割了一波死忠的粉絲，基本上，可以視為是 stable-diffusion-webui 的更進階版本，也比較沒那麼親民。
Read More »Stable Diffusion ComfyUI 筆記 01 - 下載與環境安裝
PaddleOCR: 擅長中文光學字元辨識（OCR）的架構與模型
Last Updated on 2024-07-20 by Clay
介紹
最近我在探索一些用來進行光學字元辨識（Optical character recognition, OCR）的模型，早些年 OCR 是研究非常熱門的領域，畢竟是電腦視覺最早可落地應用的領域；但是到了今日，OCR 也已經是非常成熟的任務了，上網一找，便可以找到性能很好的開源模型。
Read More »PaddleOCR: 擅長中文光學字元辨識（OCR）的架構與模型
NuExtract: 使用大型語言模型進行資訊萃取
Last Updated on 2024-07-09 by Clay
介紹
在如今各種大型語言模型百花齊放的時代，各方研究者與企業都絞盡腦汁，想辦法將大型語言模型應用在手邊的工作中；但說句我個人的心裡話，現今各種語言模型的性能仍舊不夠強，其應用的場景很少，許多時候是遠遠比不上人類的。
但有一種任務類型是大型語言模型天生就相當合適的：任意場景的資訊萃取，也即是我今天想介紹的 NuExtract 模型。
Read More »NuExtract: 使用大型語言模型進行資訊萃取