模型简介
- 以千问2 1.5B基础模型,使用MODELSCOPE中提供的中医问答数据集,使用LLM FACTROY进行微调训练、合并,使用LLM CPP进行8位量化,原模型3.1G,量化后1.6G,可以供极低显存甚至手机端侧进行推理。(纯为学习跑通整个LLM微调、合并、量化整个流程,非商业目的)
一键运行(在CMD中输入)
ollama run modelscope.cn/tmouse/qwen2_1.5B_zhongyi:Q8_0
模型安装完后,在客户端(比如Cherry Studio,OpenWebUI等)选择Ollama为供应商,
然后添加模型:tmouse/qwen2_1.5B_zhongyi 即可。