AI

深度神經網路訓練、微調的過程中，最重要也最稀缺的資源讓我來說肯定是 GPU 的 VRAM，所以讓每一位元真正發揮它的能力是非常重要的事情。

問題描述

最近我透過微調 Gemma-2 獲得了一些應用的不錯結果，然而卻在佈署上客戶的設備時發生各式各樣的錯誤，搞得我焦頭爛額的，目前網路上還沒有一個比較系統化的疑難雜症排除，故紀錄於此。

在將大型語言模型（Large Language Model, LLM）應用於實際場景時，經常不僅僅是讓模型自由發揮、任意生成文句 —— 我們也可能會希望模型返回特定的結構，比方說做選擇題、或是給一個評分。在這樣的情況下，transformers 架構的模型可以直接使用 outlines 這個工具。

現在 LLM 的服務已經涵蓋了各式各樣的領域，而提示注入（Prompt Injection）和越獄（Jailbreak）對 LLM 的威脅也是與日俱增，幾個月前甚至有客服 LLM 給了客戶錯誤的資訊導致權益受損呢（雖然那不是 Prompt 攻擊造成的）。

而 Microsoft 所開源的 BIPIA（Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models）評估方法，雖然已經是半年前的測試了，到現在也沒什麼大更新，但是應用在我手邊的任務中，仍不失為一個方便簡潔的測試方法。

介紹

HuggingFace 所提供的 TGI (Text Generation Inference) 是一個專門用來佈署、加速 LLM 推理服務的框架，以下是它的架構圖：

介紹

從去年開始我就對多模態（Multi-Modal）的 AI 模型充滿了熱忱與好奇，因為我是堅定不移的 AGI 派，認為 AI 目前的潛力仍然遠遠沒有抵達天花板；而 AI 當前的一大瓶頸與研究方向，自然就是整合了多種不同的模態（文字、圖像、音訊...）的模型應用了。

Meta AI 在近期開放了 Llama 3.1 的各種量級（405B、70B、8B），尤其是 405B 更是引人注目，可謂是開源的 LLM 第一次追上了如 GPT-4、Claude-3.5 等閉源的大型語言模型。而與此同時，Meta AI 也開源了一個小模型 Prompt-Guard-86M。