有大佬推荐AI 涩涩聊天可以本地部署的模型吗？

lose0001

有大佬推荐AI 涩涩聊天本地部署的模型吗？我现在用的酒馆挂LM Studio

我试了十几个特化版有qwen2.5、llama3.2、qwen3、有16k 有8k都不太理想、要么语言逻辑混乱、要么速度慢的要死、


求大佬推荐、最好能有链接

djaafer

ryuuki2010 发表于 2026-5-5 10:06
首先不知道你GPU到底多大显存，我16G显存用这个模型Qwen3.5-9B-Q8_0.gguf，GGUF是破限的可以瑟瑟，你要是显 ...

大佬 我也用的9B 感觉5060TI 16  还可以往往上加点 比如14B

subi5460

还不如官方GROK，本地部署至少2块4090 24G。不然你那点字节，聊30段就用完了。

ryuuki2010

还有你说的语言逻辑混乱，需要你调温度才行

djaafer

ryuuki2010 发表于 2026-5-19 19:10
太大的模型 咱显卡会慢啊  只是聊天 没啥必要吧

此言差异啊  大佬 小模型回话快 可是常常不知所云 要不就是 极其极其极其极其极其极其极其  极其  .
.......
我现在主力14b 正在实验27B 和35bD 量化版怎么样

ryuuki2010

首先不知道你GPU到底多大显存，我16G显存用这个模型Qwen3.5-9B-Q8_0.gguf，GGUF是破限的可以瑟瑟，你要是显存足够大，可以考虑现在Qwen3.6 27B 35B

lose0001

ryuuki2010 发表于 2026-5-5 10:06
首先不知道你GPU到底多大显存，我16G显存用这个模型Qwen3.5-9B-Q8_0.gguf，GGUF是破限的可以瑟瑟，你要是显 ...

我CUP 5800X   显卡 9070xt   内存64G

ivan73

lose0001 发表于 2026-5-6 22:07
我CUP 5800X   显卡 9070xt   内存64G

要什么本地部署，deepseek v4 flash就可以1分钱一条。

lose0001

ivan73 发表于 2026-5-7 05:27
要什么本地部署，deepseek v4 flash就可以1分钱一条。

本地部署拓展性更好，可以外接很多东西

ryuuki2010

跑大模型只看你显卡，你显卡是A卡跑大模型限制不少，显存你也没说是多少的

lose0001

ryuuki2010 发表于 2026-5-7 13:20
跑大模型只看你显卡，你显卡是A卡跑大模型限制不少，显存你也没说是多少的 ...

9070tx不就只有一种现存规格么16G

lose0001

subi5460 发表于 2026-5-7 21:58
还不如官方GROK，本地部署至少2块4090 24G。不然你那点字节，聊30段就用完了。 ...

我明白你意思了 用挂API 玩酒馆 是吗？

5rtgg

gemma-4我本地部署用感觉还行，不知道会不会因人而异，我的配置比你差许多的

subi5460

lose0001 发表于 2026-5-7 22:43
我明白你意思了 用挂API 玩酒馆 是吗？

你就官方GROK，30美元一个月，随便玩。如果你买显卡，最起码要1万多

lose0001

subi5460 发表于 2026-5-10 11:00
你就官方GROK，30美元一个月，随便玩。如果你买显卡，最起码要1万多

有链接吗？能涩涩？

subi5460

lose0001 发表于 2026-5-17 11:48
有链接吗？能涩涩？

直接搜GROK

ryuuki2010

djaafer 发表于 2026-5-19 12:08
大佬 我也用的9B 感觉5060TI 16  还可以往往上加点 比如14B

太大的模型 咱显卡会慢啊  只是聊天 没啥必要吧

ryuuki2010

djaafer 发表于 2026-5-20 09:44
此言差异啊  大佬 小模型回话快 可是常常不知所云 要不就是 极其极其极其极其极其极其极其  极其  .
.... ...

还是需要设置 温度  别弄太高

djaafer

ryuuki2010 发表于 2026-5-20 18:53
还是需要设置 温度  别弄太高

温度太低就老是车轱辘话 一段一段的

ryuuki2010

djaafer 发表于 2026-5-20 23:18
温度太低就老是车轱辘话 一段一段的

在提示词中得让AI不得重复使用相同描述