使用 HuggingFace Transformer 中的 TextStreamer 和 TextIteratorStreamer 來實現串流式（stream）輸出生成 token
Last Updated on 2023-09-21 by Clay
前言
現在的生成式模型越來越厲害的，各個獨立研究人員也都部署起了一個又一個的開源大型語言模型（LLMs）。但是在使用大型語言模型做推理、生成回覆時，要是真要去等待一個比較長的輸出，那是真的挺花時間的。
Read More »使用 HuggingFace Transformer 中的 TextStreamer 和 TextIteratorStreamer 來實現串流式（stream）輸出生成 token