机器翻译，未经母语人士审校。以英文版为准。

场景类别页面在GitHub上编辑来源：docs/kinds/by-kind/impairment-eval.md

impairment-eval（场景类型）

引擎v0.40.0的场景类型，所属系列为压制干扰、欺骗干扰与频谱。仅供参考：研究与工程工具的分析输出，不是经型式认可的导航设备，也不是生命安全服务。此处每个标签均由引擎或验证矩阵给出；除非矩阵另有说明，一个类型即为MODELLED（标签如何获得，见README的Evidence一节）。

作用#

机器学习射频损伤检测评估试验平台（13494）：生成带标签的、有参数依据的合成语料（nominal/jamming/spoof-time/spoof-position/multipath），用与检测器无关的测试框架对检测器（energy|agc|sqm|parity|fused）评分，并报告AUC/ROC/混淆矩阵 + 目标Pfa下的各类Pd，以及分布内与分布外的乐观差距。仅有MODELLED工作特性——绝不使用外场/IQ数据，不给出好/坏结论。

scenarios/impairment-eval.toml的一次运行汇总为：impairment-eval | detector fused(max-z) | AUC 0.998 in / 0.981 out (gap 0.017) | Pd 0.99 Pfa 0.05 @ target 0.05 | 1000 cases | MODELLED synthetic

输入#

来自模式（kshana kinds --json）：

  • 必填字段：无
  • 可选字段：seed、n_per_class、nominal_cn0_dbhz、meas_noise、detector、target_pfa、shift_severity_scale、optimism_tol

示例scenarios/impairment-eval.toml设置了以下内容等：

字段 取值 单位
detector fused 文本
kind impairment-eval 文本
meas_noise 0.6 未说明
n_per_class 200 计数
nominal_cn0_dbhz 45 dB-Hz
optimism_tol 0.05 未说明
seed 42 未说明
shift_severity_scale 0.5 1
target_pfa 0.05 1

运行#

kshana scenarios/impairment-eval.toml

给出什么#

该次运行的标量结果，单位为引擎所给出的单位：

结果 取值 单位
auc 0.997719 1
corpus.n_cases 1000 计数
corpus.n_per_class 200 计数
detector fused(max-z) 文本
distribution_shift.auc_in 0.997719 1
distribution_shift.auc_out 0.981131 1
distribution_shift.note auc_out采用更细微的调谐外区 文本
distribution_shift.optimism_gap 0.016587 1
distribution_shift.optimistic false 标志
distribution_shift.shift_severity_scale 0.5 1

引擎给出的结果标签：MODELLED — 合成的、有参数依据的语料（绝不使用外场/IQ数据）；仅有工作特性，不给出好/坏结论

引擎为scenarios/impairment-eval.toml（类型impairment-eval）生成的图表

证据#

MODELLED 1 · VALIDATED 2：列出此类型的验证矩阵各行。

  • VALIDATED AUC（Mann-Whitney，并列取 ½）、阈值处的混淆矩阵、P_d/P_md/P_fa/精确率/准确率/F1测试：eval_metrics_reference.rs。
  • VALIDATED区分真实带标签异常的ROC AUC + 自助法置信区间；透明检测器（复现标签）测试：opssat_ad_reference.rs。
  • MODELLED带标签的合成损伤语料 + 与检测器无关的ROC/AUC/混淆矩阵/Pfa-Pmd测试框架；泄漏防护、分层划分、分布偏移（分布内与分布外工况）乐观性报告。

本次运行实际涉及的各行，以及矩阵为每行给出的参考基准（oracle）（公开来源在矩阵中列出）：

  • VALIDATED AUC（Mann-Whitney，并列取 ½）、阈值处的混淆矩阵、P_d/P_md/P_fa/精确率/准确率/F1。参考基准（oracle，ExternalDataset）：scikit-learn 1.9.0（Pedregosa等，JMLR 2011）——独立的库，完全吻合
  • MODELLED确定性、场景哈希、SBOM加跨平台golden门限。参考基准（ExternalDataset）：SBOM与官方CycloneDX 1.5 JSON Schema（加有效的SPDX标识符）一致，这是已发布的外部标准，整个依赖图上零验证错误；FoM确定性与逐字节可复现性部分仍是固定的自洽性检查，因此该行仍为MODELLED
  • MODELLED带标签的合成损伤语料 + 与检测器无关的ROC/AUC/混淆矩阵/Pfa-Pmd测试框架；泄漏防护、分层划分、分布偏移（分布内与分布。参考基准（oracle，InternalConsistency）：闭式AUC界（Mann–Whitney）+ 完美参考基准检测器；语料为合成数据（有参数依据，不是外场/IQ数据）

局限#

本次运行自身的报告所说的未建模或未经独立验证的内容：

  • MODELLED — 合成的、有参数依据的语料（绝不使用外场/IQ数据）；仅有工作特性，不给出好/坏结论（结果label）
  • 仅有MODELLED工作特性——绝不使用外场/IQ数据，不给出好/坏结论。（类型目录（kshana kinds --json））
  • 如实说明范围：仅有MODELLED工作特性。语料是合成的、有参数依据的（由Kshana的压制干扰/AGC/SQM/奇偶校验模型组合而成）——绝不是外场采集数据或原始IQ。该测试框架是裁判；它报告特性，不给出好/坏结论。运行：kshana scenarios/impairment-eval.toml（场景文件注释，第9至12行）
  • 可复现性与软件保障为MODELLED，而不是经独立验证：其中一项子声明经过外部核对，但整项能力由模型计算的部分组合而成，因此该能力仍属于由模型计算得出一级。（验证矩阵（docs/MODELLED-RATIONALE.md））
  • 机器学习射频损伤检测评估（13494）为MODELLED，未经独立验证：它是对照自身的闭式/解析恒等式检查的，能发现转录和系数错误，但不是外部参考基准（oracle）。（验证矩阵（docs/MODELLED-RATIONALE.md））

另请参阅#