大模型直接修改权重：权重空间编程初探

一、神经网络权重从哪里来

神经网络的权重是一组数值，决定输入如何逐层变换为输出。目前常见的获得方式有三类。第一类是优化算法，例如基于梯度下降的训练，根据损失函数反复调整参数。第二类是超网络或专门的生成模型，学习直接输出另一个网络的权重。第三类是编译器，把形式化的程序规格转换为等价的网络结构和参数。

这三类方式有一个共同点：权重由自动化过程产生，人通常只能通过数据、目标函数和超参数间接影响结果，很难逐个参数地理解其含义。

二、从优化文本产物到优化权重

近几年，大语言模型已经被用于改进提示词、围绕提示词搭建的程序、运行框架，以及模型训练的代码与超参数。这类做法的价值在于，人可以用自然语言描述目标，模型负责提出具体改动，再由评测结果驱动迭代。

过去，这类方法主要用于文本产物，原因在于文本产物缺少像梯度那样成熟、明确的优化信号。权重则不同，它们是连续数值，本来就能用梯度方法更新。于是出现了一个自然的问题：如果大语言模型能够读懂权重的结构，它能否像修改代码那样修改权重？

人无法手工优化大规模神经网络的权重，因此这部分工作长期由算法完成。如果模型能参与其中，人与模型的分工将发生变化。

三、什么是权重空间编程

权重空间编程（Weight-Space Programming）指的是：用自然语言描述行为目标，由模型读取网络的参数表示，判断其行为成因，再提出或生成参数改动。这里的编程对象从源代码变成了权重矩阵。

它与传统流程有三点主要差别。

• 信号来源不同。传统方法依赖梯度和大量样本，权重空间编程依赖模型对结构和行为的推理能力。
• 改动粒度不同。改动可以限定在少量参数上，范围比整体重训练更可控。
• 验证方式不同。模型的推理本身不保证正确，每次改动都必须通过评测确认效果。

下面的示意流程展示了这一闭环。函数名仅用于说明步骤，并非实际接口。

# 示意流程：函数名用于说明步骤，并非实际接口
def weight_space_edit(model, goal, eval_suite, budget):
    baseline = eval_suite.run(model)                  # 记录修改前的基线成绩
    report = summarize_weights(model)                 # 提取各层统计与结构信息
    plan = propose_edits(report, goal, budget)        # 模型给出修改方案
    candidate = apply_masked_edits(model, plan)       # 仅修改允许范围内的参数
    result = eval_suite.run(candidate)
    if result.score > baseline.score and result.regressions_ok:
        return candidate
    return model                                      # 未通过评测则保留原模型

四、已公开的初步实验结果

据一项研究的公开描述，研究团队进行了两组实验。

第一组针对一个参数规模较小的开源语言模型。研究者让大模型检查该模型的内部权重，定位到导致其反复陷入推理循环的参数问题。随后，只修改约0.016%的参数，模型在一项数学推理评测集上的成绩从7.9%提升到48.1%，指令遵循能力约提升近两倍。报告称，整个过程没有重新训练模型，也没有使用梯度下降。

第二组尝试从零生成一个游戏策略网络。报告称，在没有训练数据、梯度和训练过程的条件下，生成的网络表现超过了经过一亿步近端策略优化训练的基线模型。

引用这些结果时需要注意三点。第一，它们来自早期实验的描述，目前缺少独立复现。第二，评测集上的提升不等于通用能力的全面提升。第三，参数改动的具体方法、评测细节和对照设置需要原始材料才能判断。因此，应把这些数字表述为报告中的结果，而不是已被验证的通用结论。

五、技术机理：模型为什么可能读懂权重

权重并非杂乱的数字。它们组织为层、矩阵和注意力头，结构有规律可循。预训练过程使模型学会了模式识别，也积累了代码和数学结构方面的推理经验。因此，模型有可能把权重的统计特征，例如某些行或列的范数分布、某些注意力头的异常激活模式，与模型的外在行为关联起来。

这一推断仍是假设，需要通过实验检验。一个可操作的检验思路是：先构造行为异常的模型，再比较模型对权重特征的解释与人工分析结果是否一致。

循环输出问题的常见成因包括以下几类：

• 解码阶段对重复内容缺乏有效抑制，导致同一片段被反复生成。
• 某些注意力路径过度强化上一步的输出，形成自我放大的循环。
• 训练数据中存在大量重复模式，模型学到了过强的续写惯性。

如果能把问题定位到具体结构，修改范围就可以大幅缩小。这也是权重空间编程相对于整体微调的潜在优势。

六、工程实践：构建可验证的权重修改流程

若要在实际项目中尝试权重修改，建议按以下六个步骤推进。

1. 建立基线。在覆盖目标能力和已知风险的评测集上记录成绩，范围应包括数学推理、指令遵循、安全拒答和常规问答。
2. 备份与版本化。修改前保存原始权重并记录校验值，每次改动生成差分记录，便于追溯。
3. 限定修改范围。用掩码声明允许修改的参数子集，避免无关层被改动。
4. 小步迭代。每次只改动少量参数，逐轮验证效果。
5. 回归测试。除目标指标外，检查其他能力是否出现退化。
6. 可回滚。保留一键恢复到原始版本的能力，并在发布前完成复核。

下面的代码示例展示了掩码更新与改动比例统计。改动比例应作为报告的必要指标，以便审计。

import numpy as np
def apply_masked_update(weights: dict, new_values: dict, masks: dict) -> dict:
    """仅在掩码为 True 的位置写入新值，并返回改动统计。"""
    changed_counts = {}
    for name, values in new_values.items():
        mask = masks[name]
        updated = weights[name].copy()
        updated[mask] = values[mask]
        weights[name] = updated
        changed_counts[name] = int(mask.sum())
    total_params = sum(w.size for w in weights.values())
    changed_total = sum(changed_counts.values())
    return {
        "changed_params": changed_counts,
        "changed_ratio": changed_total / total_params,
    }

七、风险与边界

权重修改的风险与其收益同样值得重视，主要包括以下几点。

• 隐蔽行为。小范围修改可能引入在常规评测中不显现的副作用，需要对抗性测试和分布外测试来覆盖。
• 评测过拟合。针对特定评测集的优化可能只提高该集的分数，不代表真实场景的改善。
• 可解释性有限。模型给出的理由本身也需要检验，不能直接作为修改依据。
• 授权与合规。修改他人或第三方模型的权重，必须取得明确授权，并遵守相关许可条款。
• 自我改