小戴先生
Login

tmouse/qwen2_1.5B_zhongyi

Ollama
收藏: 4
下载: 109
大小: 1.7G
类别: LLM
更新: 2/26/2025

模型简介

以千问2 1.5B基础模型,使用MODELSCOPE中提供的中医问答数据集,使用LLM FACTROY进行微调训练、合并,使用LLM CPP进行8位量化,原模型3.1G,量化后1.6G,可以供极低显存甚至手机端侧进行推理。(纯为学习跑通整个LLM微调、合并、量化整个流程,非商业目的)

一键运行(在CMD中输入)

ollama run modelscope.cn/tmouse/qwen2_1.5B_zhongyi:Q8_0
模型安装完后,在客户端(比如Cherry Studio,OpenWebUI等)选择Ollama为供应商,
然后添加模型:tmouse/qwen2_1.5B_zhongyi 即可。

兼容机型

建议空闲内存不小于模型大小的1.2倍。