机器翻译,未经母语人士审校。以英文版为准。
01榜单
由引擎计分的结果文件。
kshana-bench排行榜
依据kshana-bench/2.0.0计分的结果文件。一行表示:该文件在该数据划分上得到该分数。这并不表示任何产品已被任何一方评级或认可,也没有任何机构被列为背书方。
仅供参考:依据明示的参照进行建模或测量,不是批准、认证或符合性声明。评分描述的是日志或语料,绝非产品。
任务(a):接收机日志上的检测
| 系统 | AUC | 虚警概率上限处的P_d(上界) | 出处 | 真值SHA-256 |
|---|---|---|---|---|
| kshana receiver-trust agc_k_sigma(0.35默认监测统计量) kshana-bench/2.0.0 | 0.981 | 0.875 | 已计分 | 334946332bb0 |
| kshana receiver-trust cn0_drop_db(0.35默认监测统计量) kshana-bench/2.0.0 | 0.952 | 0.904 | 已计分 | 334946332bb0 |
| kshana receiver-trust jam_ind_threshold(0.35默认监测统计量) kshana-bench/2.0.0 | 0.909 | 0.147 | 已计分 | 334946332bb0 |
| 系统 | AUC | 虚警概率上限处的P_d(上界) | 出处 | 真值SHA-256 |
|---|---|---|---|---|
| kshana receiver-trust agc_k_sigma(0.35默认监测统计量) kshana-bench/2.0.0 | 1.000 | 0.000 | 已计分 | 38b7d5e8b158 |
| kshana receiver-trust jam_ind_threshold(0.35默认监测统计量) kshana-bench/2.0.0 | 0.610 | 0.148 | 已计分 | 38b7d5e8b158 |
| kshana receiver-trust cn0_drop_db(0.35默认监测统计量) kshana-bench/2.0.0 | 0.564 | 0.562 | 已计分 | 38b7d5e8b158 |
| 系统 | AUC | 虚警概率上限处的P_d(上界) | 出处 | 真值SHA-256 |
|---|---|---|---|---|
| kshana receiver-trust cn0_drop_db(0.35默认监测统计量) kshana-bench/2.0.0 | 0.864 | 0.522 | 已计分 | ee721e0bf7dc |
| kshana receiver-trust agc_k_sigma(0.35默认监测统计量) kshana-bench/2.0.0 | 0.766 | 0.000 | 已计分 | ee721e0bf7dc |
| kshana receiver-trust jam_ind_threshold(0.35默认监测统计量) kshana-bench/2.0.0 | 0.556 | 0.104 | 已计分 | ee721e0bf7dc |
任务(b):IQ上的检测
| 系统 | AUC | 虚警概率上限处的P_d(上界) | 出处 | 真值SHA-256 |
|---|---|---|---|---|
| kshana iq监测器:cn0_drop(CUSUM) kshana-bench/2.0.0 | 0.785 | n/a | 沿用:docs/design/DETECTION-ROC.md第3节:tests/iq_campaign_roc.rs的R1测评活动,运行于2026-10-13;未针对bench v1重新运行。判据R1(AUC >= 0.95)NOT MET。 | 000000000000 |
任务(c):授时守时(holdover)预测
| 系统 | RMSE 3600 s(ns) | RMSE 300 s(ns) | RMSE 7200 s(ns) | 出处 | 真值SHA-256 |
|---|---|---|---|---|---|
| kshana-bench基线:线性kshana-bench/2.0.0 | 0.128 | 0.019 | 0.198 | 已计分 | 2b71fa325bff |
| kshana-bench基线:二次kshana-bench/2.0.0 | 0.135 | 0.019 | 0.235 | 已计分 | 2b71fa325bff |
| kshana-bench基线:保持kshana-bench/2.0.0 | 26.876 | 2.238 | 53.778 | 已计分 | 2b71fa325bff |
| 系统 | RMSE 3600 s(ns) | RMSE 300 s(ns) | RMSE 7200 s(ns) | 出处 | 真值SHA-256 |
|---|---|---|---|---|---|
| kshana-bench基线:线性kshana-bench/2.0.0 | 0.162 | 0.023 | 0.243 | 已计分 | b2ed58864e98 |
| kshana-bench基线:二次kshana-bench/2.0.0 | 0.183 | 0.024 | 0.290 | 已计分 | b2ed58864e98 |
| kshana-bench基线:保持kshana-bench/2.0.0 | 24.612 | 2.050 | 49.314 | 已计分 | b2ed58864e98 |
任务(d):分布外乐观性差距
| 系统 | 分布内AUC | 分布外AUC | 乐观性差距 | 标志 | 出处 | 真值SHA-256 |
|---|---|---|---|---|---|---|
| impairment-eval基线:fused(max-z) kshana-bench/2.0.0 | 0.998 | 0.982 | 0.015 | 在容差内 | 已计分 | f69917c70201 |
| impairment-eval基线:sqm-imbalance kshana-bench/2.0.0 | 0.867 | 0.866 | 0.001 | 在容差内 | 已计分 | f69917c70201 |
| impairment-eval基线:agc-excess kshana-bench/2.0.0 | 0.854 | 0.828 | 0.026 | 在容差内 | 已计分 | f69917c70201 |
| impairment-eval基线:raim-parity kshana-bench/2.0.0 | 0.655 | 0.642 | 0.013 | 在容差内 | 已计分 | f69917c70201 |
| impairment-eval基线:energy(cn0-drop) kshana-bench/2.0.0 | 0.610 | 0.572 | 0.038 | 在容差内 | 已计分 | f69917c70201 |
| 系统 | 分布内AUC | 分布外AUC | 乐观性差距 | 标志 | 出处 | 真值SHA-256 |
|---|---|---|---|---|---|---|
| impairment-eval基线:fused(max-z) kshana-bench/2.0.0 | 0.998 | 0.983 | 0.015 | 在容差内 | 已计分 | 1dddb8f6f0d5 |
| impairment-eval基线:sqm-imbalance kshana-bench/2.0.0 | 0.882 | 0.882 | 0.001 | 在容差内 | 已计分 | 1dddb8f6f0d5 |
| impairment-eval基线:agc-excess kshana-bench/2.0.0 | 0.848 | 0.819 | 0.030 | 在容差内 | 已计分 | 1dddb8f6f0d5 |
| impairment-eval基线:raim-parity kshana-bench/2.0.0 | 0.682 | 0.672 | 0.010 | 在容差内 | 已计分 | 1dddb8f6f0d5 |
| impairment-eval基线:energy(cn0-drop) kshana-bench/2.0.0 | 0.595 | 0.565 | 0.030 | 在容差内 | 已计分 | 1dddb8f6f0d5 |
除非某一行注明外部参考基准(oracle)一致,否则每个分数都是由模型计算得出。规范与清单的许可:拟采用CC-BY-4.0 / CC0,待所有者决定。真实数据holdout并不保密:见规范第4节。
02一行的含义
分数描述的是一份日志,而不是一个产品。
- 一行表示:该文件在规范版本V下的数据划分S上得到X分。它并不表示某个产品已获认证、符合、认可或背书,也没有任何机构被列为背书方。
- 数据为实录或合成数据,并在规范中注明。第三方数据绝不复制进代码仓库:清单和获取脚本以SHA-256锁定每个文件,并在使用数据之前记录各自的许可。
- 实录日志的真值是测试计划的预定时隙,而不是记录下的实际播发时间,因此检测概率只是下界。规范在每项任务旁都有说明。
- 封存的holdout只在排行榜轮次中计分,其随机种子在计分之后才公开。凡声称有某个数值的基线,其判据都在计分运行之前提交,事后绝不放宽;未达标者记录为NOT MET。
- 结果文件中记录的结论:计分器判据、C1至C3和D2达到;A2为NOT MET(test划分上agc_k_sigma的AUC为0.766,判据要求至少0.80),D1为NOT MET(最大差距0.0301),任务(b)的R1为NOT MET(沿用,未重新运行)。没有任何判据被放宽。
- 仅供参考:Kshana的结果是对照所述参考基准经模型计算或实测得出,不是认可或符合性声明。
自行运行:kshana bench score将提交文件和某个数据划分的真值转为结果文件;kshana bench leaderboard将结果文件渲染成本页面。