Skip to content

使用 HuggingFace Transformer 中的 TextStreamer 和 TextIteratorStreamer 來實現串流式（stream）輸出生成 token

使用 HuggingFace Transformer 中的 TextStreamer 和 TextIteratorStreamer 來實現串流式（stream）輸出生成 token

Last Updated on 2023-09-21 by Clay

前言

現在的生成式模型越來越厲害的，各個獨立研究人員也都部署起了一個又一個的開源大型語言模型（LLMs）。但是在使用大型語言模型做推理、生成回覆時，要是真要去等待一個比較長的輸出，那是真的挺花時間的。

Read More »使用 HuggingFace Transformer 中的 TextStreamer 和 TextIteratorStreamer 來實現串流式（stream）輸出生成 token

[論文閱讀] QLoRA: Efficient Finetuning of Quantized LLMs

Last Updated on 2023-09-21 by Clay

前言

大模型的浪潮自從 2022 年 11 月 ChatGPT 的發布後便一發不可收拾，直到現在開源的大型語言模型（Large Language Model）的量級還在不斷增大，比方說 LLaMA-2-70B、以及 Falcon-180B 等等。

大型語言模型的性能自然是相當優秀的，可是往往需要耗費大量且價格昂貴的 GPU 記憶體，這使得一些邊緣運算裝置根本就不可能讓模型進行推理（inference） —— 更遑論訓練、微調自己的模型了。

Read More »[論文閱讀] QLoRA: Efficient Finetuning of Quantized LLMs

支援 Python 語法、又有 C 速度的新程式語言 Mojo 環境配置筆記

Last Updated on 2023-09-13 by Clay

介紹

Mojo 是一名比較新的語言，是由 LLVM 之父和 Swift 之父 Chris Lattner 所開發。

之所以開發 Mojo，據稱是為了填補『研究』與『生產』的鴻溝，所以 Mojo 擁有 Python 般簡易的語法以及 C 的執行速度。當然，最主要的可能還是對於 AI 的優化 —— 現在 AI 的市場已經值得一門全新的程式語言了。

Read More »支援 Python 語法、又有 C 速度的新程式語言 Mojo 環境配置筆記

[Python] 使用 python-pptx 套件抽取 PPT 中的文字

Last Updated on 2023-07-20 by Clay

Introduction

最近在處理一些工作上的事情時，發現客戶可能有潛在性的『需要從 PPT 中抽取文字』的需求 —— 我詢問過 PM 和主管，他們表示讓客戶自己手動複製 PPT 簡報中的文字出來就好。除非客戶有想到，然後對我們提出使用程式抽取出來的要求。

Read More »[Python] 使用 python-pptx 套件抽取 PPT 中的文字
Exit mobile version