Work

如何科研（CS版）

如何创新

描述一个方法对于现有方法所改进的五个维度：Performance, Assumption, Generalization, Efficiency, Capability.

对于一个学习或控制系统：

M=(X,T,E,R,A,Y)\mathcal{M} = \left( \mathcal{X}, \mathcal{T}, \mathcal{E}, \mathcal{R}, \mathcal{A}, \mathcal{Y}\right)
  • X\mathcal{X}: 输入空间与观测形式。
  • T\mathcal{T}: Task，任务集合。
  • E\mathcal{E}: Environment，环境、数据或部署条件。
  • R\mathcal{R}: Resource，可用资源。
  • A\mathcal{A}: Assumption，成立所需的先验或假设。
  • Y\mathcal{Y}: 系统输出。

系统质量可以理解为：

Q(U)=(P,A,G,E,C)\mathcal{Q}(\mathcal{U}) = \left(\mathcal{P}, \mathcal{A}, \mathcal{G}, \mathcal{E}, \mathcal{C}\right)
  • P\mathcal{P}: Performance，在既定任务和条件下结果有多好。
  • A\mathcal{A}: Assumption，为得到这些结果，预先要求什么条件成立。
  • G\mathcal{G}: Generalization，离开训练条件后，结果还能保持多少。
  • E\mathcal{E}: Efficiency，为得到结果，需付出多少资源。
  • C\mathcal{C}: Capability，系统究竟能完成哪些类型的任务。

科研假设 Hypothesis

科研假设不是一个性能目标，也不是一个方法设计，而是一个关于变量之间关系，系统化机制或因果结构的可检验命题：

H:(C,X,M,Y)H: \left(C, X, M, Y\right)
  • CC：Condition，假设成立的前提与适用条件。
  • XX：研究者主动关注或改变的因素。
  • MM：Mechanism，从X到Y的作用机制。
  • YY：可以测量的结果。
  • HH：对这一关系做出可检验陈述。

什么样的假设是可靠的，应当满足这些性质：Grounded, Specific, Mechanistic, Falsifiable, Measurable, Bounded, Nontrivial.

  1. 有依据 Grounded

假设必须建立在已有的证据上，而非直觉的，证据来源通常包括：

  • 既有文献中的规律。
  • 已有的数学理论或物理规律。
  • 初步试验和数据观察。
  • Baseline的系统性失败。
  • 领域知识与任务结构。

可靠假设不是要求这些证据已经“证明”，而是要求他们能够使假设具有合理性。

  1. 具体 Specific

假设必须明确指出：

  • 改变什么变量
  • 影响什么结果
  • 影响方向是什么
  • 在哪些条件下成立
  • 通过什么机制发生

比如不充分表达：XX, 而一个严格的表达应形如C→∂Y∂XC\rightarrow \frac{\partial{}Y}{\partial{X}} 或 C∧X1>X0C \land X_1 > X_0.

假设越模糊，越难验证，也越容易在实验后任意解释。

  1. 具有机制 Mechanistic

假设不能只描述相关性，还应尽可能说明中间过程。

X→Z1→Z2→YX \rightarrow Z_1 \rightarrow Z_2 \rightarrow Y

其中ZiZ_i是中间机制变量，如果只提出X→YX \rightarrow Y，即使实验发现YY改善，也不能确定是预期机制导致的。

  1. 可证伪 Falsifiable

一个科学假设必须允许存在模型观察结果，使研究者承认它是错误的。形式上，需要存在观察集合O∈Oreject⇒P(H∣O)\mathcal{O} \in \mathcal{O}_{reject} \Rightarrow P(H \mid O)下降。 提出假设应同时写出：

  • 什么结果支持它
  • 什么结果削弱它
  • 什么结果直接否定它
  1. 可测量 Measurable

假设中的概念必须能够转化为操作性定义。抽象变量ZZ必须对应某种可观测量。

Z→Z^=ψ(O)Z \rightarrow \hat{Z} = \psi (\mathcal{O})

其中O\mathcal{O}是实际观测数据，ψ\psi是测量规则。需要明确：

  • 用什么指标测量
  • 测量误差多大
  • 指标是否真实代表目标概念
  • 是否存在多个代理指标
  • 指标是否会被其他变量污染
  1. 有边界 Bounded

科研假设不应生成在所有条件下都成立，应明确适用域。边界包括：

  • 数据分布
  • 模型类别
  • 环境条件
  • 噪声范围
  • 任务类别
  • 计算预算
  • 优化是否充分
  • 可观测性条件
  1. 非平凡 Nontrivial

科研假设应当产生新的、非显然的预测。需要说明：

  • 哪类信息
  • 为什么是有效信息
  • 何种条件下有效
  • 是否存在冗余或噪声
  • 代价是什么
  • 为什么现有方法没有利好。

如何提出假设

通过逐步压缩问题空间得到。

一：精确定义待解释现象

定义一个稳定、可复现的现象。设系统性能为P=f(ω)P=f(\omega)，其中ω\omega包含所有实验条件，需要确定现象是否满足P(ωa)≠P(ωb)P(\omega_a) \neq P(\omega_b)，且差异不是由随机波动造成的。应明确：

  • 现象是什么
  • 在什么条件下出现
  • 出现频率是什么
  • 是否可以复现
  • 是否是局部现象还是普遍现象
  • 哪个评价维度发生变化
  • 变化量和方差是多少

如果现象本身不稳定，后续提出的机制很可能是在解释噪声。

二：区分症状和根因

观察到的失败通常只是症状。设最终失败变量为Y，他可能由多个因素共同决定

Y=F(X1,X2,...,Xk,ϵ)Y = F\left(X_1, X_2, ..., X_k, \epsilon \right)

需要构建候选原因合集

H={H1,H2,…,Hm}\mathcal{H} = \left\{H_1, H_2, \ldots, H_m \right\}

每个候选假设都应该能够解释已观察到的现象。然后排除与证据矛盾的解释，这一过程本质上是溯因推理。

三：建立因果或机制链

将问题写成：X→Z→YX \rightarrow Z \rightarrow Y。其中：

  • XX：直接可修改的设计因素
  • ZZ：理论上真正影响的中间变量
  • YY：最终性能或行为结果

然后逐段检查是否有理论依据、数据或领域知识支持，以及是否具有合理逻辑。完整假设不应依赖一个巨大的跳跃，而应该分解为多个较小的、可验证的命题。

四：寻找必要条件和替代解释

大多数机器学习研究中的因素既不完全必要，也不完全充分，而是在概率意义上改变结果。

五：将假设变成可推导预测

假设必须导出比“最终性能会上升”更具体的结果。得到ZZ相对XX的变化量和变化机制。还可以导出：

  • 性能在哪些条件下提升
  • 在哪些条件下提升消失
  • 哪个中间指标先变化
  • 改变量与效果之间是什么关系
  • 是否存在阈值、饱和区间和边际递减
  • 失败模式应如何应对

这些成为假设的可观测后果。

六：写出反事实

假设需要回答：如果这个机制不存在会发生什么。

七：评估假设价值

从四个维度评价假设：

  • 重要性：若成立能解释或改善多大的问题
  • 不确定性：现有知识是否尚未解决
  • 可检验性：能否设计清楚的验证
  • 可行性：资源是否允许

理论检验

或称理论分析。理论工作能做的是：

  • 检查假设是否内部一致
  • 在明确假设条件下推导结论
  • 证明某些性质或边界
  • 排除逻辑上不可能的机制
  • 产生可供实验检验的预测
  • 解释方法为什么可能有效
  • 说明结论在哪些条件下实效

第一层：定义一致性

需要明确：输入空间、输出空间、参数空间、数据分布、任务目标、损失函数、评价指标、算法、假设条件、随机变量、优化目标。

若符号和对象没有严格定义，后续推到通常知识表面数学化。

第二层：逻辑可行性

检查假设中的机制是否可能成立。若设计机制链X→Z→YX \rightarrow Z \rightarrow Y，则应分析：

  • XX是否确实能够改变ZZ
  • ZZ是否包含影响YY的信息
  • 这种影响是否会被其他误差抵消
  • 这种影响是否会被其他误差抵消
  • 是否存在退化情形
  • 是否存在不可识别性
  • 是否存在信息缺失
  • 是否存在理论上无法区分的解

第三层：形式化命题

将文字假设转化为数学命题。经典形式包括：

风险比较

R(fnew)≤R(fbase)−ΔR(f_{new}) \le R(f_{base}) - \Delta

上届改善

R(f)≤R^(f)+B(n,F,δ)R(f) \le \hat{R}(f) + \mathcal{B}(n, \mathcal{F}, \delta)

并证明新想法使得Bnew<BbaseB_{new} < B_{base}

不变性 对于变换群g∈Gg \in G:

ϕ(gx)=ϕ(x)\phi (gx) = \phi (x)

或等变性：

ϕ(gx)=ρ(g)ϕ(x)\phi (gx) = \rho (g) \phi (x)

稳定性

∣∣f(x+δ)−f(x)∣∣≤L∣∣δ∣∣||f(x+\delta) - f(x)|| \le L||\delta||

收敛性

lim⁡t→∞∥θt−θ∗∥=0\lim_{t\rightarrow \infty} \lVert\theta_t - \theta^*\rVert = 0

复杂度

Tnew(n)<Tbase(n)T_{new}(n) < T_{base}(n)

在渐进或实际条件下成立。

可观测性或可识别性

若两个潜在状态产生相同观测：

p(o∣z1)=p(o∣z2)p(o|z_1) = p(o|z_2)

则无法仅由oo唯一恢复状态。理论分析应明确需要哪些额外条件才能识别。

理论分析的主要形式

  1. 严格证明

在明确假设集合A\mathcal{A}，证明结论QQ，证明必须保证每一步来自：

  • 以定义对象
  • 已知定理
  • 已给假设
  • 合法推理规则

其价值在于给出确定性结论，但结论只在假设成立时有效。

  1. 上届或下界分析

无法精确求解时，可以证明：

L≤Q≤UL \le Q \le U

研究者需要分析新方法是否改善了界。边界分析不一定能精确解释实际性能，但是可以揭示参数、复杂度、噪声和样本量之间的关系。

  1. 局部近似与扰动分析

若系统过于复杂，可在某个工作点附近分析：

f(x+δ)≈f(x)+Jf(x)δf(x+\delta) \approx f(x) + J_f(x)\delta

其中Jf(x)=∂f∂xJ_f(x)=\frac{\partial f}{\partial x}是Jacobian。

这样可以研究输入扰动如何传播到表示、预测或控制输出。但局部近似必须注明适用条件∣∣δ∣∣||\delta||。其中：

  1. 信息论分析

可以研究表示保留了多少任务相关信息：I(Z;Y)I(Z;Y)。以及包含了多少输入冗余I(Z;X)I(Z;X)。以及包含了多少输入冗余

  1. 几何分析

研究表示空间、流形、距离、变换和对称性。几何理论适合解释：

  • 不变性
  • 等变性
  • 局部连续性
  • 状态空间结构
  • 优化路径
  • 动作空间约束
  1. 控制理论分析

机器人控制问题可能需要讨论：

  • 稳定性
  • 可控性
  • 可观测性
  • Lyapunov条件
  • 闭环误差
  • 时延
  • 扰动
  • 模型不确定性
  • 安全约束

设闭环系统为：xt+1=F(xt,π(xt),wt)x_{t+1}=F(x_t, \pi (x_t), w_t)，理论分析可能要求证明误差有界：

∥et∥≤β(∥e0∥,t)+γ(∥w∥∞)\lVert e_t\rVert \le \beta(\lVert e_0\rVert, t) + \gamma(\lVert w\rVert_{\infty})

或某个Lyapunov函数满足：

V(xt+1)−V(xt)<0V(x_{t+1}) - V(x_{t}) < 0

这类分析用于说明策略不仅平均表现好，而且闭环行为不会失控。

  1. 统计学习理论分析

关注经验风险与真实风险之间的关系：

R(f)−R^(f)R(f) - \hat R(f)

可以使用：

  • VC维
  • Rademacher复杂度
  • PAC框架
  • 稳定性分析
  • 集中不等式
  • Beyesian界
  • Margin理论

目的不是为了“加一个复杂公式”，而是解释为什么有限数据能够泛化，哪些复杂度控制有效，样本量如何影响误差，模型容量与风险如何权衡。

  1. 因果分析

若假设声称某因素造成结果变化，理论上应区分P(Y∣X)P(Y|X)与P(Y∣do(X))P(Y|do(X))，前者是观察相关，后者是干预效应。