Skip to content

Granite 系:IBM 的企业级开源线,推理与智能体是新主场 ​

Granite 系模型档案:IBM 的企业级开源权重线。别的开源线拼参数、拼聊天体验,Granite 拼的是「企业敢不敢直接拿去用」:权重 Apache 2.0 全开放、IBM 给标准知识产权赔偿、检查点带密码学签名、首个通过 ISO 42001 认证的开源模型家族。2026 年 8 月的新主力 Granite 4.2 是原生推理模型,3B / 8B / 30B 三档,Ollama 一行就能跑。一页讲清擅长什么、多少钱、在哪用。

家族成员(2026 年 11 月) ​

模型定位一句话
Granite 4.2 30B旗舰推理档30B 参数,8B 与 30B 档多了智能体强化学习,改代码、跑终端、联网查资料是主场,厂商自报 SWE-Bench Verified 约 57 分
Granite 4.2 8B主力档8B 参数,单张主流显卡能跑,Ollama 默认档(ollama run granite4.2:8b),厂商自报 SWE-Bench Verified 约 47.67 分
Granite 4.2 3B轻量档3B 参数,笔记本就能跑,推理开关同样有,但没有智能体强化学习那一段训练
Granite 4.1上一代2026 年 4 月发布,3B / 8B 是纯 Transformer,30B 回到混合 Mamba 架构;4.2 的底座就是 4.1
Granite 4.0 H-Small混合架构老将2025 年 10 月发布,32B 总参数、推理时只激活 9B,混合 Mamba-2 架构,显存占用比纯 Transformer 少 70% 以上(IBM 口径)
Granite 4.0 H-Tiny / H-Micro / Nano边缘档Tiny 7B 总参数、1B 激活;Micro 3B;Nano 350M / 1B,跑在端侧设备与浏览器里
Granite 3.x更老一代3.0(2024 年 10 月)是企业级开源起点,3.2(2025 年 4 月)加了实验性推理与看图能力,旧教程里常见
Granite Guardian / Granite Vision安全与看图配套Guardian 是安全护栏模型,拦偏见、幻觉与隐私泄露;Vision 3.2(2B)专读企业文档里的表格、图表与扫描件

4.2 三档上下文都是原生 128K,模型卡注明可扩到 512K;4.0 的 H-Small 也是 128K。档位与命名以 IBM 官网与 Hugging Face 为准,动手之前再核对一次。

擅长什么 ​

  • 原生推理开关:4.2 三档都自带思考模式,默认先在 <think> 里一步步想再答;Ollama 里 /set think high 拉满推理深度、/set think low 轻想一下、/set nothink 直接答,简单问题不用为思考付时间。
  • 智能体任务是 8B 与 30B 的主场:这两档多训了一段智能体强化学习,在真实沙箱里练过改代码、用终端、联网查资料;3B 没训这一段,智能体任务别拿 3B 硬扛。
  • 工具调用与结构化输出:原生支持 OpenAI 格式的函数调用、结构化 JSON 输出与代码补全(FIM),接 RAG 与智能体框架不用绕路。
  • 企业合规是卖点:Apache 2.0 许可证、IBM 标准知识产权赔偿、检查点密码学签名、ISO 42001 认证;数据敏感、合规严的场景,Granite 是开源线里手续最齐的一家。
  • 12 种语言:英文、德文、西班牙文、法文、日文、葡萄牙文、阿拉伯文、捷克文、意大利文、韩文、荷兰文与中文,官方口径支持中文,微调也能再加语言。

在哪用 ​

  • Ollama 本地跑(推荐):ollama run granite4.2:8b(主力档)、ollama run granite4.2:3b(轻量档)、ollama run granite4.2:30b(旗舰档),第一次自动下载权重,下完就能聊天;想换好看的聊天界面,接 Cherry Studio 或 Chatbox,见 本地部署。
  • Hugging Face 权重:ibm-granite 主页下的权重可下载,vLLM(0.20 以上版本起优化支持)/ SGLang / Transformers 都能接;想自己搭服务或微调,从这里拿权重。
  • LM Studio 与 Docker Model Runner:图形界面或容器里直接拉模型,适合不想碰命令行的人。
  • watsonx.ai:IBM 自家云上直接调用各档位,企业与开发者走这一路,价格以官网实时页为准。
  • 没有官方聊天 App:Granite 没有像 ChatGPT、豆包那样的面向普通人的聊天入口,手机上想直接用,得走 Ollama / LM Studio 本地跑,或接 watsonx.ai API 的第三方客户端。

花多少钱(2026 年 11 月核实,以官网为准) ​

  • 权重免费:Granite 权重免费下载,许可证是 Apache 2.0,本地跑只花电费与硬件钱;商用、改权重、嵌进自己的产品都行,IBM 还给标准知识产权赔偿。
  • watsonx.ai:云端调用按量计费,价格以 IBM 官网实时页为准;个人用户一般用 Ollama 本地跑就够了。
  • 本地跑:8B 一档 4-bit 量化约 5~6GB 显存起,3B 档普通笔记本就能跑;30B 档面向企业级部署,个人单卡先上 8B,别硬上大模型。

先说清短板 ​

  • 中文不是主场:训练数据以英文与企业文档为主,中文日常对话没问题,但中文长文、中文专业写作别指望它比 Qwen 系 与 DeepSeek 系 强;中文是主力场景的话,先看这两家。
  • 没有官方聊天 App:想在手机上随手聊天,Granite 不如 DeepSeek 系 与 豆包系 顺手;它首先是给开发者与企业准备的权重,不是给普通人准备的聊天产品。
  • 3B 与 8B / 30B 有能力断层:3B 没经过智能体强化学习,改代码、跑终端这类任务别拿 3B 档去对标 8B;选档位先看任务,别只看参数。
  • 基准分是厂商自报:SWE-Bench Verified、AIME25(30B 档厂商自报约 89.17 分)、BFCL v4 工具调用(30B 档厂商自报约 61.39 分)这些分数都是 IBM 自己测的,选型前先拿自己的任务实测,别只看榜单。

和其他几家怎么分工 ​

  • 企业私有化、合规严、数据不出内网的本地部署与智能体:Granite 系主场;企业检索增强与内部搜索对照 Cohere 系。
  • 本地跑小模型、数学代码小任务:Phi 系;本地跑更聪明的聊天与多模态:Qwen 系 与 Gemma 系。
  • 本地跑大模型、超长上下文:Llama 系 与 Kimi 系。
  • 日常免费聊天:DeepSeek 系;写代码求稳:Claude 系。
  • 断网、数据不出门:Granite、Qwen、GLM、Llama 等开源权重本地跑,见 本地部署。

相关页 ​

安装包每天自动更新 · 本站不出售任何账号、节点和 API Key · 关于梦箱