Skip to content

7 月 2024

使用文字檢索圖像: ColPali 多模態模型簡介

Last Updated on 2024-07-31 by Clay

介紹

從去年開始我就對多模態Multi-Modal)的 AI 模型充滿了熱忱與好奇,因為我是堅定不移的 AGI 派,認為 AI 目前的潛力仍然遠遠沒有抵達天花板;而 AI 當前的一大瓶頸與研究方向,自然就是整合了多種不同的模態(文字、圖像、音訊...)的模型應用了。

Read More »使用文字檢索圖像: ColPali 多模態模型簡介

Meta-llama--Prompt-Guard-86M: 提示防護的開源模型,偵測惡意攻擊 Prompt

Last Updated on 2024-07-31 by Clay

Meta AI 在近期開放了 Llama 3.1 的各種量級(405B、70B、8B),尤其是 405B 更是引人注目,可謂是開源的 LLM 第一次追上了如 GPT-4、Claude-3.5 等閉源的大型語言模型。而與此同時,Meta AI 也開源了一個小模型 Prompt-Guard-86M

Read More »Meta-llama--Prompt-Guard-86M: 提示防護的開源模型,偵測惡意攻擊 Prompt

[Python] 使用 httpx 取代 requests 進行異步請求

Last Updated on 2024-07-28 by Clay

在 Python 的程式開發中,我們經常使用 requests 模組進行 HTTP 請求;然而 requests 在真正串連前後端及不同服務時其同步請求方式可能成為瓶頸,我最近正是因為使用 requests 造成 K8s 的探針阻塞、進而導致所開發的服務容器被誤刪 —— 此時,httpx 可能是一個更適合的異步請求操作模組。

Read More »[Python] 使用 httpx 取代 requests 進行異步請求

Stable Diffusion ComfyUI 筆記 03 - 下載各種可以使用的模型

Last Updated on 2024-08-12 by Clay

在使用 ComfyUI 生成圖片時,我們得借助各式各樣模型的能力,最終才能兜出一個完整的工作流;換句話說,這些所謂『各式各樣的模型』,加總在一起,才是所謂的 Stable Diffusion。而今天,我要介紹可以去哪裡下載到這些模型。

Read More »Stable Diffusion ComfyUI 筆記 03 - 下載各種可以使用的模型

Stable Diffusion ComfyUI 筆記 02 - 基本的工作流

Last Updated on 2024-07-31 by Clay

介紹

上一回我們完成了 ComfyUI 的配置,現在我們可以開始建立一個最基本的工作流workflow)。工作流是 ComfyUI 跟 stable-diffusion-webui 最不同的地方,ComfyUI 藉由不同卡片之間組成的流程,更容易讓人明白實際上 Stable Diffusion 的模型究竟是怎麼推理的、也更容易客製化做出更進階的效果。

Read More »Stable Diffusion ComfyUI 筆記 02 - 基本的工作流

Stable Diffusion ComfyUI 筆記 01 - 下載與環境安裝

Last Updated on 2024-07-27 by Clay

什麼是 ComfyUI?

有在玩 Stable Diffusion AI 生圖的人可能都聽過 stable-diffusion-webui,它是一個支援 Stable Diffusion 模型架構的視覺化界面,讓使用者可以不必親自撰寫程式碼或是繁瑣的命令列操作,就可以讓 AI 模型進行生圖的推理。而 ComfyUI 則是另外一個稍微小眾一點的前端界面,不過憑著自由且能靈活客製化的特性,也迅速地收割了一波死忠的粉絲,基本上,可以視為是 stable-diffusion-webui 的更進階版本,也比較沒那麼親民。

Read More »Stable Diffusion ComfyUI 筆記 01 - 下載與環境安裝

PaddleOCR: 擅長中文光學字元辨識(OCR)的架構與模型

Last Updated on 2024-07-20 by Clay

介紹

最近我在探索一些用來進行光學字元辨識(Optical character recognition, OCR)的模型,早些年 OCR 是研究非常熱門的領域,畢竟是電腦視覺最早可落地應用的領域;但是到了今日,OCR 也已經是非常成熟的任務了,上網一找,便可以找到性能很好的開源模型。

Read More »PaddleOCR: 擅長中文光學字元辨識(OCR)的架構與模型

NuExtract: 使用大型語言模型進行資訊萃取

Last Updated on 2024-07-09 by Clay

介紹

在如今各種大型語言模型百花齊放的時代,各方研究者與企業都絞盡腦汁,想辦法將大型語言模型應用在手邊的工作中;但說句我個人的心裡話,現今各種語言模型的性能仍舊不夠強,其應用的場景很少,許多時候是遠遠比不上人類的。

但有一種任務類型是大型語言模型天生就相當合適的:任意場景的資訊萃取,也即是我今天想介紹的 NuExtract 模型。

Read More »NuExtract: 使用大型語言模型進行資訊萃取