本地部署 AI 和用云端服务，小公司怎么选

按 4 个维度分，结论会比较清楚。

硬件投入。本地要买卡，一台能跑 70B 模型的机器，起步 3 万元上下；云端按量付费，一个月几十元起。

数据边界。本地数据不出内网，适合合同、图纸这类内容；云端要看服务条款里的数据使用约定。

维护成本。本地要有人管驱动、显存、断电重启，云端这些都不用管。

能力上限。云端的大模型迭代快，本地一旦定版就停在那个版本。

50 人以下、没有专职运维的公司，先用云端；有明确的数据不出内网要求，再考虑本地，先从 1 台机器试。

按 1 年总花费算，云端大概 2000 到 5000 元；本地 3 万元的机器摊 3 年，每年 1 万元。

先看数据能不能出内网，算力排在第 2 位。

能出内网的场景很多：写文案、做会议纪要、整理表格、翻译资料。这些用云端，成本低，效果也好。

不能出内网的主要是客户名单、合同条款、未公开的图纸和配方。这类内容一旦上传，后面很难撤回。

算力要算清楚。跑 7B 模型，1 张 24G 显存的卡够用；跑 70B，至少 2 张，机器价格翻 3 倍以上。

隐性成本在更新。云端每隔几个月换一版，本地旧版本遇到新问题，答得会明显吃力。

我的建议是先划数据边界，再按边界选部署方式，顺序反了容易白买设备。

我们给一家 30 人的设计公司做过选型，前后比了 5 套方案。

他们的核心需求是看图改文案和整理客户会议记录，图纸涉密，会议记录不涉密。

最后走混合方案：图纸相关的用本地 1 台机器，其他走云端，本地那台 2.6 万元。

跑了 4 个月，本地机器利用率只有三成左右，主要用在图纸标注的辅助整理上。

复盘下来，一开始就上全套本地，预算要多花 8 万元，实际用得上的部分不到一半。

先按场景切，别按「公司要不要自己搞 AI」这种大问题切，切细了答案就出来了。

混合方案的维护量也小，本地那台 1 个月重启 2 次，其余都在云端跑。

4 个常见误判，看完能省一笔。

一是把显存当唯一指标。模型能加载不等于跑得快，长文本一进来，速度会掉到不能用。

二是低估电费和散热。一台带 2 张卡的机器，满载 800 瓦上下，机房空调也要跟着加。

三是以为本地更安全。硬盘不加密、日志不清理，本地一样会泄露，安全靠管理不靠机器位置。

四是拿演示效果做决策。演示用的是短问题，实际业务一次贴 5000 字，效果差得很远。

第 4 个坑最常见。让对方用你们自己的真实材料跑 10 个问题，比看 20 页方案有用。

演示时别用他们提前准备好的样例，那套数据跑了半年，任何方案都好看。