[已解決] Mistral 經過 SFTTrainer 微調後不會輸出 eos_token `<|im_end|>`
Last Updated on 2024-02-20 by Clay
問題描述
HuggingFace 之前曾經發表過文章表示現在的 LLM最好是依照 ChatML 格式去訓練，在一般情況下，會按照 system、user、assistant 的三種不同角色來進行生成，格式如下：
Read More »[已解決] Mistral 經過 SFTTrainer 微調後不會輸出 eos_token `<|im_end|>`