PTT數位生活區 / Python

[問題] safetensors 轉gguf後 答非所問

看板Python作者 (鬼笑話)時間3月前 (2024/09/11 10:02), 3月前編輯推噓3(3推 0噓 2→)
留言5則, 1人參與, 3月前最新討論串1/1
不好意思 版上有人遇到這個問題嗎? 我之前準備了一個測試訓練 強化某問題(instruction) 模型是 Chinese llama 1.3B 然後再FT 後可以回答出該問題 但用llama.cpp轉gguf後答案整個歪掉 此外原本的許多問題都答不出來或答非所問 有人遇到這個問題嗎? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 73.202.231.110 (美國) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1726020135.A.78E.html
推
09/12 07:32, 3月前 , 1F
你要不要附上指令參數，可能跟 prompt format 有關
09/12 07:32, 1F
我用llama Factory 訓練的 你是說這個的參數嗎? 但是是轉gguf後才怪怪的 之前沒問題 ※ 編輯: gostjoke (73.202.231.110 美國), 09/12/2024 12:40:26
推
09/13 09:00, 3月前 , 2F
在 llama factory 文件中似乎沒有提到跟 gguf 有關
09/13 09:00, 2F
→
09/13 09:00, 3月前 , 3F
的章節，請問你是如何訓練模型並轉換成 gguf 格式的
09/13 09:00, 3F
Llama Factory訓練後產生safetensors檔 然後用llama.cpp(去github看)轉 要安裝cmake跟vs2022, 用linux環境會比較簡單 ※ 編輯: gostjoke (73.202.231.110 美國), 09/14/2024 00:03:23
推
09/14 04:08, 3月前 , 4F
你是用 llama.cpp 的 llama-cli 執行 .gguf 檔的嗎?
09/14 04:08, 4F
→
09/14 04:08, 3月前 , 5F
你是如何下指令參數的?
09/14 04:08, 5F
‣ 更多 gostjoke 的文章
文章代碼(AID): #1cuFedUE (Python)
Python 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 gostjoke 的文章
文章代碼(AID): #1cuFedUE (Python)