RAG-based LLM 是當前使用大型語言模型（Large Language Model, LLM）的一種知名架構，也就是通過『檢索』，來給模型提供訓練時所沒有的先驗知識，讓模型能夠在得知特定資訊的情況下進行問題的回答。
Read More »[論文閱讀] Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection
大模型的浪潮自從 2022 年 11 月 ChatGPT 的發布後便一發不可收拾，直到現在開源的大型語言模型（Large Language Model）的量級還在不斷增大，比方說 LLaMA-2-70B、以及 Falcon-180B 等等。
大型語言模型的性能自然是相當優秀的，可是往往需要耗費大量且價格昂貴的 GPU 記憶體，這使得一些邊緣運算裝置根本就不可能讓模型進行推理（inference） —— 更遑論訓練、微調自己的模型了。
Read More »[論文閱讀] QLoRA: Efficient Finetuning of Quantized LLMs
論文連結： https://arxiv.org/abs/2212.13345
本篇研究工作的作者是鼎鼎大名的深度學習之父 Geoffrey Hinton，最初撰寫本篇論文時仍是 Google Brain 的研究員（於 2023 年離開）。
Read More »[論文閱讀] The Forward-Forward Algorithm: Some Preliminary Investigation
最近的 Meta AI 真的是強到不行，似乎一瞬間站穩了 AI 研發巨擘的地位，而且還是樣樣開源的頂級標竿。從影像領域的能切割物件的 Segment Anything、到公開大型語言模型（Large Language Model）同時也是基石模型（fundational model）的 LLaMA（引起眾羊駝之亂的就是它！）、到最近能轉換 6 種模態（modals）的 ImageBind 跟語音模型計畫 （MMS）…… 只能說像我這種平凡人要努力跟上怎麼去使用都很費勁，更遑論試圖追逐他們的技術了。
Read More »ImageBind：能轉換多模態向量的模型使用心得筆記
