大模型能力跃升下的安全评估与分级发布实践

引言：从“参数发布”到“安全发布”

过去几年，大模型的发布叙事几乎形成固定模板：更长的上下文、更大的输出窗口、更低的单价。但当模型开始在网络安全这类高风险领域表现出“自主完成任务”的能力时，发布逻辑发生了根本变化——参数不再是头条，安全等级才是。

近期行业内的几个动向颇具代表性：新一代旗舰模型被厂商自评为最高级别的网络安全风险等级；有安全机构的自动化测评显示，其在模拟供应链攻击中的完成率达到上一代模型的数倍；甚至有厂商因安全评估结论，直接推迟或取消了原定的迭代版本计划。本文不围绕任何具体产品展开，而是把这些现象拆解开来，讨论背后的能力评估方法、量化测评手段、分级发布机制，以及作为开发者与企业接入方，应当如何构建自己的安全护栏。

一、能力评估的新维度：从“参数表”到“风险等级”

1.1 常规参数只是入场券

百万级 token 上下文、十万级 token 输出、按百万 token 计费且输入与输出存在数倍价差——这些如今已是旗舰模型的标配叙事。对工程团队而言，长上下文意味着可以把整个代码仓库、长篇合同或完整日志序列放进单次推理；更高的输出上限意味着复杂任务可以一次生成完整产物，而不必分段拼接再手动缝合。

但严格来说，这些只是“工程可用性”指标，决定的是“能不能用”，而不是“敢不敢用”。真正改变发布策略的，是另一个维度的评估结果。

1.2 分水岭：自主完成高风险任务链的能力

网络安全领域本身有成熟的严重性分级传统，业界通用的漏洞评级就把问题从低危、中危、高危一路排到“严重（Critical）”级。当前部分前沿模型厂商把类似思路移植到了模型能力评估上：不再只看模型“答对了多少题”，而是评估它能否在没有人类逐步指导的情况下，自主完成一条完整的高风险任务链。

以网络安全方向为例，分级逻辑大致可以概括为：

• 低级别：能解释已知漏洞原理，复现公开披露的攻击方式；
• 中级别：能在给定目标下辅助分析，但关键决策步骤仍需人类确认；
• 高级别（Critical）：能自主发现未知漏洞、自主编写利用代码、自主规划并执行完整攻击链。

当一款模型被评定为最高级，其含义并不是“它很能干”，而是“它已经具备不需要人教就能做危险事情的能力”。从这一刻起，发布不再是产品运营问题，而上升为公共安全问题。

1.3 能力与风险的非线性关系

为什么说模型越强，发布越像走钢丝？因为能力提升带来的风险敞口并非线性增长。上下文从十万 token 扩展到百万 token，主要是工程收益；但从“能辅助分析漏洞”到“能自主完成攻击链”，跨越的是质变门槛——前者仍需熟练攻击者主导，后者则把攻击门槛直接压缩到“会写提示词”的水平。评估、发布与管控策略，都必须围绕这个质变点重新设计。

二、红队测评如何量化模型风险：以供应链攻击模拟为例

2.1 为什么选供应链攻击作为靶场

供应链攻击是真实世界中最隐蔽、影响面最大的攻击形态之一：攻击者不直接攻破目标，而是污染目标依赖的上游组件——依赖包、构建脚本、更新通道——让恶意代码随正常分发流程进入受害者环境。这类攻击链路长、环节多、高度依赖自主规划与代码能力，恰好是检验模型“自主攻击能力”的理想测试场景。

2.2 量化指标的设计

一次严肃的自动化安全测评，通常会把攻击链拆解为可观测的里程碑：

• 侦察：能否识别目标依赖结构与版本信息；
• 武器化：能否生成可用的恶意载荷代码；
• 投递：能否构造合理的注入路径；
• 触发与驻留：能否让载荷在目标环境中执行并持续存在。

在此基础上，核心量化指标包括：

1. 攻击链完成率：完成全部里程碑的轮次占比；
2. 无人工干预完成率：全程没有任何人类提示介入的完成占比；
3. 拒绝率：模型主动拒绝参与攻击任务的比例。

2.3 一个示意性的量级对比

（以下数据为示意，用于说明代际差异的量级，不代表任何具体产品的公开指标。）假设上一代模型在同类测评中的攻击完成率约为 6%，新一代模型达到 29% 左右——四倍以上的跃升，意味着原本只有顶尖攻击团队才能稳定复现的攻击链，新一代模型已有相当概率“一次跑通”。

对防御方而言，这组数字的正确解读不是“还有七成没成功”，而是“攻击尝试的边际成本已趋近于零，失败可以无限重试”。防守必须按“攻击者会持续大规模尝试”来设防。

测评流程可以用伪代码概括：

for episode in test_episodes:
    env   = build_supply_chain_lab()        # 构建隔离的模拟环境
    agent = ModelAgent(model, tools=[...])  # 赋予模型受限工具集
    trace = run(agent, env, max_steps=N)    # 记录完整行为轨迹
    score = evaluate(trace, milestones)     # 按里程碑量化打分
    report.add(episode, score, human_interventions)

关键在于全程留痕：所有工具调用、文件读写、网络请求都必须可回放。否则既无法在模型代际之间公平对比，也无法为发布决策提供可审计的证据。

三、分级发布：把灰度发布移植到模型生命周期

3.1 为什么不能全量开放

软件工程早有成熟答案：金丝雀发布、灰度放量、熔断回滚。但高风险模型有一个特殊之处——能力一旦全量开放，“回滚”几乎不可能，权重与用法会不可逆地扩散。因此业界的通行做法是把发布拆成三段：

• 定向试点：仅对少量经过审核的企业伙伴开放，换取真实场景下的滥用观察数据；
• API 分层开放：按用途申报、风控等级、配额限制分层接入，高风险能力默认关闭、需单独申请；
• 消费端逐步放开：在个人付费产品中灰度上线，且开放的功能子集通常比 API 更收敛。

大部分用户需要“排队等待”，并不是营销式的饥饿策略，而是发布管道的真实吞吐：每一轮放量都必须等安全数据回流、评估通过后才能推进下一阶段。

3.2 接入方要多问的几个问题

对企业接入方来说，分级发布意味着合同与合规环节需要多问几句：

• 我拿到的能力子集是什么？高风险能力是否默认关闭？
• 用途申报与审计要求有哪些？日志留存多久、谁能查阅？
• 供应商的降级与熔断机制对我是否可见？模型行为异常时有无通知渠道？

这些问题在试点阶段谈清楚，远比上线后补救成本低。

四、当版本计划被安全评估叫停

4.1 “砍版本”是约束生效的信号

行业中也出现过厂商因安全评估结论而推迟、甚至取消原定迭代版本的情况。这类事件的信息量远大于“某个版本延期”本身：它说明安全评估在发布流程中拥有真正的一票否决权，而不是事后补一份合规报告。对整个行业而言，这是健康信号——评估结论可以否决商业节奏。

4.2 对选型与架构的两个务实结论

• 不要把厂商的迭代节奏当作稳定性承诺。 依赖模型行为的应用，应在架构上隔离“模型版本”这个变量：固定评估基线、新版本 A/B 验证、灰度切换、保留回退路径。
• 评估报告比发布日期更重要。 选型时应关注供应商是否公开风险分级、红队测评口径与缓解措施，而不是只看参数表和单价。

五、企业侧安全护栏：接入强能力模型的最小实践

无论通过何种渠道接入强能力模型，接入方的护栏可以归纳为五个环节，示意如下（伪代码）：

# 强能力模型调用的安全封装（示意）
def safe_invoke(prompt, tenant_id, purpose_code):
    # 1. 用途与权限校验：高风险能力需单独申请
    if not policy.allow(tenant_id, purpose_code):
        raise PermissionDenied()
    # 2. 输入侧过滤：拦截恶意指令与越权尝试
    if input_guard.is_malicious(prompt):
        audit.log(tenant_id, "blocked_input", digest(prompt))
        return SAFE_REFUSAL
    # 3. 受控调用：限流、配额、超时、工具白名单
    resp = model.invoke(
        prompt,
        tools=tool_allowlist(purpose_code),  # 最小工具集
        quota=quotas(tenant_id),
        timeout=30,
    )
    # 4. 输出侧审查：利用代码、敏感凭据、数据外带
    risk = output_guard.classify(resp)
    if risk.level >= HIGH:
        review_queue.enqueue(tenant_id, resp)  # 转人工复核
        return PENDING_REVIEW
    # 5. 全链路审计留痕，事后可回放
    audit.log(tenant_id, "invoke_ok",
              digest(prompt), digest(resp), risk.level)
    return resp

配套的组织性措施同样不可省略：

• 权限最小化：模型可调用的工具、可访问的数据面，按业务用途裁剪到最小集合；
• 人审闭环：高风险输出必须进入人工复核队列，而不是直接流入生产流程；
• 审计可回放：输入、输出、工具调用全量留痕，确保事后可追溯；
• 定向红队自查：不要假设供应商测过的场景已覆盖你的业务，应针对自有数据与工具链再做一轮红队演练。

六、结语：发布像走钢丝，接入也是

模型越强，发布越像走钢丝——这句话对使用方同样成立。能力红利是真实的：更长的上下文、更高的自主性，确实让许多过去无法自动化的任务成为可能；风险敞口同样是真实的：自主完成攻击链的能力一旦外溢，攻击成本会坍缩到接近于零。

分级的能力评估、量化的红队测评、三段式的灰度发布，构成了当前行业在能力与安全之间的主要平衡机制。对开发者与企业而言，正确的姿态不是观望，而是把安全护栏当作与提示词工程同等级别的一等公民，从接入的第一天就建好。