机器翻译,未经母语人士审校。以英文版为准。

基准测试

同样的日志,同样的规则。得分公开。

kshana-bench是一套固定的任务、数据划分和指标,用于GNSS干扰检测与授时守时(holdover),使不同方法可以在同一数据上比较。提交的是一个文件,不会代提交者运行任何内容。基线是引擎自带的监测器,其判据在首次计分运行之前就已写下。

01榜单

由引擎计分的结果文件。

kshana-bench排行榜

依据kshana-bench/2.0.0计分的结果文件。一行表示:该文件在该数据划分上得到该分数。这并不表示任何产品已被任何一方评级或认可,也没有任何机构被列为背书方。

仅供参考:依据明示的参照进行建模或测量,不是批准、认证或符合性声明。评分描述的是日志或语料,绝非产品。

任务(a):接收机日志上的检测

数据划分:dev
系统AUC虚警概率上限处的P_d(上界)出处真值SHA-256
kshana receiver-trust agc_k_sigma(0.35默认监测统计量) kshana-bench/2.0.00.9810.875已计分334946332bb0
kshana receiver-trust cn0_drop_db(0.35默认监测统计量) kshana-bench/2.0.00.9520.904已计分334946332bb0
kshana receiver-trust jam_ind_threshold(0.35默认监测统计量) kshana-bench/2.0.00.9090.147已计分334946332bb0
数据划分:holdout
系统AUC虚警概率上限处的P_d(上界)出处真值SHA-256
kshana receiver-trust agc_k_sigma(0.35默认监测统计量) kshana-bench/2.0.01.0000.000已计分38b7d5e8b158
kshana receiver-trust jam_ind_threshold(0.35默认监测统计量) kshana-bench/2.0.00.6100.148已计分38b7d5e8b158
kshana receiver-trust cn0_drop_db(0.35默认监测统计量) kshana-bench/2.0.00.5640.562已计分38b7d5e8b158
数据划分:test
系统AUC虚警概率上限处的P_d(上界)出处真值SHA-256
kshana receiver-trust cn0_drop_db(0.35默认监测统计量) kshana-bench/2.0.00.8640.522已计分ee721e0bf7dc
kshana receiver-trust agc_k_sigma(0.35默认监测统计量) kshana-bench/2.0.00.7660.000已计分ee721e0bf7dc
kshana receiver-trust jam_ind_threshold(0.35默认监测统计量) kshana-bench/2.0.00.5560.104已计分ee721e0bf7dc

任务(b):IQ上的检测

数据划分:test
系统AUC虚警概率上限处的P_d(上界)出处真值SHA-256
kshana iq监测器:cn0_drop(CUSUM) kshana-bench/2.0.00.785n/a沿用:docs/design/DETECTION-ROC.md第3节:tests/iq_campaign_roc.rs的R1测评活动,运行于2026-10-13;未针对bench v1重新运行。判据R1(AUC >= 0.95)NOT MET。000000000000

任务(c):授时守时(holdover)预测

数据划分:dev
系统RMSE 3600 s(ns)RMSE 300 s(ns)RMSE 7200 s(ns)出处真值SHA-256
kshana-bench基线:线性kshana-bench/2.0.00.1280.0190.198已计分2b71fa325bff
kshana-bench基线:二次kshana-bench/2.0.00.1350.0190.235已计分2b71fa325bff
kshana-bench基线:保持kshana-bench/2.0.026.8762.23853.778已计分2b71fa325bff
数据划分:test
系统RMSE 3600 s(ns)RMSE 300 s(ns)RMSE 7200 s(ns)出处真值SHA-256
kshana-bench基线:线性kshana-bench/2.0.00.1620.0230.243已计分b2ed58864e98
kshana-bench基线:二次kshana-bench/2.0.00.1830.0240.290已计分b2ed58864e98
kshana-bench基线:保持kshana-bench/2.0.024.6122.05049.314已计分b2ed58864e98

任务(d):分布外乐观性差距

数据划分:dev
系统分布内AUC分布外AUC乐观性差距标志出处真值SHA-256
impairment-eval基线:fused(max-z) kshana-bench/2.0.00.9980.9820.015在容差内已计分f69917c70201
impairment-eval基线:sqm-imbalance kshana-bench/2.0.00.8670.8660.001在容差内已计分f69917c70201
impairment-eval基线:agc-excess kshana-bench/2.0.00.8540.8280.026在容差内已计分f69917c70201
impairment-eval基线:raim-parity kshana-bench/2.0.00.6550.6420.013在容差内已计分f69917c70201
impairment-eval基线:energy(cn0-drop) kshana-bench/2.0.00.6100.5720.038在容差内已计分f69917c70201
数据划分:test
系统分布内AUC分布外AUC乐观性差距标志出处真值SHA-256
impairment-eval基线:fused(max-z) kshana-bench/2.0.00.9980.9830.015在容差内已计分1dddb8f6f0d5
impairment-eval基线:sqm-imbalance kshana-bench/2.0.00.8820.8820.001在容差内已计分1dddb8f6f0d5
impairment-eval基线:agc-excess kshana-bench/2.0.00.8480.8190.030在容差内已计分1dddb8f6f0d5
impairment-eval基线:raim-parity kshana-bench/2.0.00.6820.6720.010在容差内已计分1dddb8f6f0d5
impairment-eval基线:energy(cn0-drop) kshana-bench/2.0.00.5950.5650.030在容差内已计分1dddb8f6f0d5

除非某一行注明外部参考基准(oracle)一致,否则每个分数都是由模型计算得出。规范与清单的许可:拟采用CC-BY-4.0 / CC0,待所有者决定。真实数据holdout并不保密:见规范第4节。

02一行的含义

分数描述的是一份日志,而不是一个产品。

  • 一行表示:该文件在规范版本V下的数据划分S上得到X分。它并不表示某个产品已获认证、符合、认可或背书,也没有任何机构被列为背书方。
  • 数据为实录或合成数据,并在规范中注明。第三方数据绝不复制进代码仓库:清单和获取脚本以SHA-256锁定每个文件,并在使用数据之前记录各自的许可。
  • 实录日志的真值是测试计划的预定时隙,而不是记录下的实际播发时间,因此检测概率只是下界。规范在每项任务旁都有说明。
  • 封存的holdout只在排行榜轮次中计分,其随机种子在计分之后才公开。凡声称有某个数值的基线,其判据都在计分运行之前提交,事后绝不放宽;未达标者记录为NOT MET。
  • 结果文件中记录的结论:计分器判据、C1至C3和D2达到;A2为NOT MET(test划分上agc_k_sigma的AUC为0.766,判据要求至少0.80),D1为NOT MET(最大差距0.0301),任务(b)的R1为NOT MET(沿用,未重新运行)。没有任何判据被放宽。
  • 仅供参考:Kshana的结果是对照所述参考基准经模型计算或实测得出,不是认可或符合性声明。

自行运行:kshana bench score将提交文件和某个数据划分的真值转为结果文件;kshana bench leaderboard将结果文件渲染成本页面。