基本上就是按照这个视频进行的操作(视频等内容来自于B站UP主Jack-Cui↗)
一些摘抄
1、模型怎么不保存到C盘:关掉ollama之后,设置环境变量:OLLAMA_MODELS,环境变量的地址,改为你想要的地址,参考文章: https://blog.csdn.net/u012151594/article/details/142062199
2、怎么删除已经下载的模型,模型默认存放在了C盘,可以通过:ollama rm 模型名,删除新建的模型,但是缓存文件都还在,我的缓存文件放在C:\Users\Jack Cui\.ollama,找你对应的目录,删除即可。
3、本地部署 deepseek,也能联网,使用 page assist 的联网功能即可,page assist 默认用的是 google 浏览器,如果没有梯子,可以在设置中,修改使用的搜索引擎,用国内的。
4、不一定非得4090才能本地部署 deepseek,我的测试结果是:1.5b 模型,4GB显存就能跑。 7b、8b 模型,8GB显存就能跑。 14b 模型,12GB显存能跑。 32b 模型,24GB显存能跑。
5、A 卡也能跑,不过需要支持 rocm 的 ollama,B 站可以搜下其他人的教程。
6、本地部署能突破限制,但是需要自己设置 system 绕过规则,也可以自己 finetune 模型。
7、大家的配置文件 Furina,经常碰到问题,我上传一个我的,仅供大家参考(提取码: n4qi): https://pan.baidu.com/s/1CBq9RpoR2AbzGffqmJnJLg?pwd=n4qi
8、官方文档指导的Ollama的配置:一定要配置环境变量,否则会出现【403报错】
- 1.5b 模型,4GB显存就能跑。
- 7b、8b 模型,8GB显存就能跑。
- 14b 模型,12GB显存能跑。
- 32b 模型,24GB显存能跑。
参考内容
WebUI插件:Chrome应用商店搜「Page Assist」