机器翻译，未经母语人士审校。以英文版为准。

接收机信任度与海事在GitHub上编辑来源：docs/BENCH.md

kshana-bench

一套开放的任务、数据划分和指标，用于GNSS干扰检测和授时守时（holdover）。规范见bench/SPEC.md（版本2.0.0；文本和清单的许可：拟采用CC-BY-4.0 / CC0，所有者决定待定）。数据集许可审查见bench/LICENCES.md。各基线的判据在首次评分运行之前就已在xval/bench/PREREGISTRATION.md中确定，对于2.0.0，则在PREREGISTRATION-v2.md中确定，其结果见xval/bench/RESULTS-v2.md。

如该处所记录的判定：评分器判据、C1至C3以及D2达到判据；A2为NOT MET（agc_k_sigma的AUC为0.766，而测试集上要求至少0.80），D1为NOT MET（最大差距0.0301），任务 (b) 的R1为NOT MET（沿用，未重新运行）。没有放宽任何判据。

它是什么：用同一套指标代码在相同数据上比较各种方法的一种方式。它不是什么：产品排名、认可，或某种方法在现场有效的证据。每个得分均为MODELLED，得分描述的是一份日志或一个语料库，绝不是某个产品。Kshana的结果仅供参考。

kshana-bench任务D（乐观差距）的内置基线在测试集上的结果，来自引擎v0.40.0的一次真实运行（`kshana bench baseline`）。每组柱对分别是在分布内案例和偏移案例上的ROC曲线下面积；二者之差即乐观差距，容差为0.05。fused-max-z：0.998和0.983（差距0.015）；sqm-imbalance：0.882和0.882（差距0.001）；agc-excess：0.848和0.819（差距0.030）；raim-parity：0.682和0.672（差距0.010）；energy-cn0-drop：0.595和0.565（差距0.030）。这些标签是合成语料库的生成模型标签，绝非现场数据：MODELLED。仅供参考：由模型计算得出或对照所述参考测得，不是认可、认证或符合性声明。得分描述的是一份日志或语料库，绝不是某个产品。kshana-bench任务D（乐观差距）的内置基线在测试集上的结果，来自引擎v0.40.0的一次真实运行（`kshana bench baseline`）。每组柱对分别是在分布内案例和偏移案例上的ROC曲线下面积；二者之差即乐观差距，容差为0.05。fused-max-z：0.998和0.983（差距0.015）；sqm-imbalance：0.882和0.882（差距0.001）；agc-excess：0.848和0.819（差距0.030）；raim-parity：0.682和0.672（差距0.010）；energy-cn0-drop：0.595和0.565（差距0.030）。这些标签是合成语料库的生成模型标签，绝非现场数据：MODELLED。仅供参考：由模型计算得出或对照所述参考测得，不是认可、认证或符合性声明。得分描述的是一份日志或语料库，绝不是某个产品。

任务#

任务 单位 数据 主要指标
(a) 接收机日志上的检测 JammerTest 2024日志的一个历元 由scripts/fetch_jammertest2024.sh获取（GPL-3.0+，绝不内置） AUC
(b) IQ上的检测 一个场景的一个评分窗口 Kshana合成场景配方；TEXBAT仅作参考 每种告警类型的AUC
(c) 授时守时（holdover）预测 （卫星，起点） 300 s间隔的IGS钟差（已提交的摘录，哈希已固定） 3600 s时的RMSE
(d) 分布外乐观差距 一个合成案例 impairment-eval语料库，含分布内与分布外 输出的AUC及其差距

命令#

kshana bench spec
kshana bench cases --task d --split test --scale 0.5 --out cases/        # cases.json + truth.json
kshana bench cases --task c --split test --out cases/
kshana bench truth --task a --data <extracted JammerTest 2024> --split test --out truth.json
kshana bench score --truth truth.json --predictions my-scores.json --out my.result.json
kshana bench baseline --task d --split test --out results/               # the built-in baselines
kshana bench validate results/*.result.json
kshana bench leaderboard results/ --out bench/site/index.html
kshana bench seal --task d --seed-file secret.txt --new                  # owner: make a seed, print only its hash
kshana bench reveal-check --task d --seed-file secret.txt --commitment <hex>
kshana bench manifest --task a --data <extracted dir> --out manifest.json
kshana bench verify-manifest manifest.json --root <dir>

提交内容是一个文件（kshana-bench-predictions/1）：任务a、b和d用scores（每个案例编号一个数；数值越大越可能受损），任务c用predictions（各预测时长处的相位变化，单位ns）。结果文件（kshana-bench-result/1）写明规范版本、数据划分、真值和预测的SHA-256，以及各项指标。不同主版本规范的结果绝不放入同一张表。

诚实的局限#

  • 真实数据保留集（a和c）是公开的，因为任何人都可以下载这些数据。它们防止的是在看到得分之后才选择划分方式，而不是防止针对这些文件夹进行调参。任务 (d) 的封存保留集采用承诺与揭示方式：所有者只将哈希提交到bench/holdout/COMMITMENTS.json，并保管种子（目前尚未封存任何种子）。
  • 任务 (a) 的真值是事件日志中按计划安排的攻击时段，分辨率为一分钟，因此检测概率只是下界；事件级指标（延迟、漏检告警、虚警）将随kshana jammertest score的Jammertest评分器一并提供。
  • 任务 (b) 的IQ基线沿用自docs/design/DETECTION-ROC.md，v1未重新运行。
  • 任务 (d) 的语料库用于可分离性和流水线检查；其上的AUC是基于模型推导标签的AUC。