尝试一下deepseek的部署
本文最后更新于 29 天前,其中的信息可能已经有所发展或是发生改变。

基本上就是按照这个视频进行的操作(视频等内容来自于B站UP主Jack-Cui↗

一些摘抄

1、模型怎么不保存到C盘:关掉ollama之后,设置环境变量:OLLAMA_MODELS,环境变量的地址,改为你想要的地址,参考文章: https://blog.csdn.net/u012151594/article/details/142062199

2、怎么删除已经下载的模型,模型默认存放在了C盘,可以通过:ollama rm 模型名,删除新建的模型,但是缓存文件都还在,我的缓存文件放在C:\Users\Jack Cui\.ollama,找你对应的目录,删除即可。

3、本地部署 deepseek,也能联网,使用 page assist 的联网功能即可,page assist 默认用的是 google 浏览器,如果没有梯子,可以在设置中,修改使用的搜索引擎,用国内的。

4、不一定非得4090才能本地部署 deepseek,我的测试结果是:1.5b 模型,4GB显存就能跑。 7b、8b 模型,8GB显存就能跑。 14b 模型,12GB显存能跑。 32b 模型,24GB显存能跑。

5、A 卡也能跑,不过需要支持 rocm 的 ollama,B 站可以搜下其他人的教程。

6、本地部署能突破限制,但是需要自己设置 system 绕过规则,也可以自己 finetune 模型。

7、大家的配置文件 Furina,经常碰到问题,我上传一个我的,仅供大家参考(提取码: n4qi): https://pan.baidu.com/s/1CBq9RpoR2AbzGffqmJnJLg?pwd=n4qi

8、官方文档指导的Ollama的配置:一定要配置环境变量,否则会出现【403报错】

  • 1.5b 模型,4GB显存就能跑。
  • 7b、8b 模型,8GB显存就能跑。
  • 14b 模型,12GB显存能跑。
  • 32b 模型,24GB显存能跑。

参考内容

DeepSeek R1,本地部署才是王道!↗

浅谈人工智能之基于ollama的常见变量设置↗

deepseek官网↗

Ollama官网↗

WebUI插件:Chrome应用商店搜「Page Assist」

暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇