前言
花了10幾美金的chatgpt微調實錄,幫你趟了一次水,可以讓你少走一些彎路,節省時間和金錢.
需求背景:我有一本書,有幾十萬字,通過fine-tuning是不是可以讓chatgpt學會這本書的所有內容呢?本文花費十幾美金,幫你趟了一次路,避免再次踩坑。
微調步驟:
1、先寫一段Python腳本,把書本的文字進行分段,每段不超過800個token,把每個分段喂給chatgpt,讓他根據文本內容提出相關問題,把問題和答案記錄到文件all-800token.xlsx裡。格式如下:
2、然後把數據格式化為fine tune需要的jsonl格式
openai tools fine tunes.prepare data -f all-80gtoken.xlsx