模型简介
- 基于Qwen2-7B模型,使用古文翻译腔数据集通过SWIFT finetune的模型,GGUF版本。模型使用llama.cpp转换,包括FP16,Q8_0,Q5_K_M, Q6_K_M, Q4_K_M等多个精度。
一键运行(在CMD中输入)
ollama run modelscope.cn/swift/qwen2-7b-classical-zh-instruct-GGUF:Q4_K_M
模型安装完后,在客户端(比如Cherry Studio,OpenWebUI等)选择Ollama为供应商,
然后添加模型:swift/qwen2-7b-classical-zh-instruct-GGUF 即可。