作者： Jet L

惊闻B站有人出售百元本地部署教程，NND给我看笑了，什么都能卖钱是吧，当然不排除人家手把手教，提供足够的情绪价值。

但是如果你不想花钱，同时想提升一下英文水平和计算机熟练度，请跟着官方文档一步步进行，目前的文档已经相当详细且可行。

我们如果在Windows上进行部署和调试，推荐使用Open WebUi+Ollama的方式进行部署。

PS：其实更建议在Linux上进行部署，一键部署更加便利~

1、选择后端Ollama

在Ollama官网选择Win版本下载，会自动部署相关环境，在CMD或者中powershell可以按照对应的模型拉取到本地。

请根据自己的硬件量力而行。我的显卡为RTX3070 8G，按照ollama默认设置，运行7B已经亚历山大。

2、选择前端Open-WebUi

请根据您的系统，在Open-WebUi的官方文档，按照步骤，一步步来进行部署。

Win版本下按照官方建议，可以使用uv，在powershell中进行拉取和部署，其中对网络环境有一定要求。

3、启动Open-WebUi后的注意事项

Open-WebUi原版毕竟是国外软件，在国内这个环境启动还是有一点网络困扰的，尤其是有些文件是通过Github的地址获取的，请对自己的网络环境做出一些针对性的优化调整。

另外完成本地部署后，如果是启动在127.0.0.1上，那么检查ollama的端口是否running，一般按照官方部署都可以进行顺畅进行（只有国内这个网不太顺畅）

此外Open-WebUi默认检查OpenAi的API，这个选项可以在首次登陆后去管理员面板关闭，这样不会每次启动都遇到拉取模型缓慢、超时的情况。

4、其他分享

我的电脑采用13700K 32G DDR5 RTX3070 8G，但大模型运行需要大显存，8G显存只能算起步，参数量只能流畅运行7B左右的模型，因此一般的家用和办公电脑跑大模型都存在很大的限制。

RTX3070 8G跑DeepSeek-R1:7B的速度——显存爆满，ollama默认设置，显示CPU处理占用10%，GPU处理占用90%，常规问答的response token/s在39左右 ，prompt_token/s在2500左右。但是大模型性能存在一定的短板，长上下文效果不尽如人意。

RTX3070 8G跑DeepSeek-R1:14B，ollama默认设置命令行中速度可以接受，在WebUi中短回答response token/s约为14，较长的上下文降低到7不到，一半跑在GPU一半跑在CPU，长文本效果很差。

RTX3070 8G跑DeepSeek-R1:32B，ollama默认设置在命令行中速度还行，缓慢但可以简单对话，处理长文本速度基本不可用。若用13700K跑在CPU则32G内容跑满，速度也是非常慢。

在跑完Ai测试后，请关闭Ollama的进程，否则你将面临满占用的显存或内存~

5、体验

搭配Open-WebUi可以实现本地部署，多端使用，但是对体验影响更大的限制——模型本身——我们个人、及小公司的计算性能均没法有效支撑，本来大模型就是为了提升效率，本地部署一个跑的死慢的模型，对效率的提升实在是存疑。

当然我鼓励大家都去本地部署体验一下，从中也可以获得一些乐趣，但是如果到实际应用层面，大一些的模型硬件需求激增，小公司玩这个自建后端的硬件成本还是太高了。

因此，对小公司而言，可能选择一个大树，使用API，保护好自己的数据（真的是有价值的数据吗？）进行针对性的训练，拓展自己的RAG系统，做好本地化的情况下拥抱云计算，才是提升小公司效率的一条路吧。

但话说回来，小公司真的愿意为这个人工和软件成本付费吗？