Skip to content

9 月 2023

使用 HuggingFace Transformer 中的 TextStreamer 和 TextIteratorStreamer 來實現串流式（stream）輸出生成 token

Last Updated on 2023-09-21 by Clay

前言

現在的生成式模型越來越厲害的，各個獨立研究人員也都部署起了一個又一個的開源大型語言模型（LLMs）。但是在使用大型語言模型做推理、生成回覆時，要是真要去等待一個比較長的輸出，那是真的挺花時間的。

Read More »使用 HuggingFace Transformer 中的 TextStreamer 和 TextIteratorStreamer 來實現串流式（stream）輸出生成 token

[論文閱讀] QLoRA: Efficient Finetuning of Quantized LLMs

Last Updated on 2023-09-21 by Clay

前言

大模型的浪潮自從 2022 年 11 月 ChatGPT 的發布後便一發不可收拾，直到現在開源的大型語言模型（Large Language Model）的量級還在不斷增大，比方說 LLaMA-2-70B、以及 Falcon-180B 等等。

大型語言模型的性能自然是相當優秀的，可是往往需要耗費大量且價格昂貴的 GPU 記憶體，這使得一些邊緣運算裝置根本就不可能讓模型進行推理（inference） —— 更遑論訓練、微調自己的模型了。

Read More »[論文閱讀] QLoRA: Efficient Finetuning of Quantized LLMs

支援 Python 語法、又有 C 速度的新程式語言 Mojo 環境配置筆記

Last Updated on 2023-09-13 by Clay

介紹

Mojo 是一名比較新的語言，是由 LLVM 之父和 Swift 之父 Chris Lattner 所開發。

之所以開發 Mojo，據稱是為了填補『研究』與『生產』的鴻溝，所以 Mojo 擁有 Python 般簡易的語法以及 C 的執行速度。當然，最主要的可能還是對於 AI 的優化 —— 現在 AI 的市場已經值得一門全新的程式語言了。

Read More »支援 Python 語法、又有 C 速度的新程式語言 Mojo 環境配置筆記
Exit mobile version