同じログ、同じルール。スコアは公開されています。

kshana-bench は、GNSS 干渉検出とタイミングのホールドオーバーについて、タスク、分割、指標を固定したセットであり、異なる手法を同じデータで比較できるようにするものです。投稿はファイル一つであり、投稿者に代わって何かが実行されることはありません。ベースラインはエンジン自身のモニターであり、合格基準は最初のスコア付き実行より前に書き残されています。

ボードを見る仕様を読む

01ボード

エンジンがスコア付けした結果ファイル。

kshana-bench リーダーボード

kshana-bench/2.0.0 のもとでスコア付けされた結果ファイル。一行は、このファイルがこの分割でこの数値を記録したことを示します。いかなる製品も誰かによって格付けまたは承認されたことを意味せず、推奨者として名前が挙がる組織もありません。

助言のみ：明示された参照に対してモデル化または測定したものであり、承認、認証、適合性の表明ではありません。スコアはログまたはコーパスを記述するものであり、製品を記述するものではありません。

タスク (a)：受信機ログでの検出

分割：dev
システム	AUC	P_fa 上限での P_d（上界）	来歴	真値 SHA-256
kshana receiver-trust agc_k_sigma（0.35 デフォルトのモニター統計量）kshana-bench/2.0.0	0.981	0.875	スコア付け済み	`334946332bb0`
kshana receiver-trust cn0_drop_db（0.35 デフォルトのモニター統計量）kshana-bench/2.0.0	0.952	0.904	スコア付け済み	`334946332bb0`
kshana receiver-trust jam_ind_threshold（0.35 デフォルトのモニター統計量）kshana-bench/2.0.0	0.909	0.147	スコア付け済み	`334946332bb0`

分割：holdout
システム	AUC	P_fa 上限での P_d（上界）	来歴	真値 SHA-256
kshana receiver-trust agc_k_sigma（0.35 デフォルトのモニター統計量）kshana-bench/2.0.0	1.000	0.000	スコア付け済み	`38b7d5e8b158`
kshana receiver-trust jam_ind_threshold（0.35 デフォルトのモニター統計量）kshana-bench/2.0.0	0.610	0.148	スコア付け済み	`38b7d5e8b158`
kshana receiver-trust cn0_drop_db（0.35 デフォルトのモニター統計量）kshana-bench/2.0.0	0.564	0.562	スコア付け済み	`38b7d5e8b158`

分割：test
システム	AUC	P_fa 上限での P_d（上界）	来歴	真値 SHA-256
kshana receiver-trust cn0_drop_db（0.35 デフォルトのモニター統計量）kshana-bench/2.0.0	0.864	0.522	スコア付け済み	`ee721e0bf7dc`
kshana receiver-trust agc_k_sigma（0.35 デフォルトのモニター統計量）kshana-bench/2.0.0	0.766	0.000	スコア付け済み	`ee721e0bf7dc`
kshana receiver-trust jam_ind_threshold（0.35 デフォルトのモニター統計量）kshana-bench/2.0.0	0.556	0.104	スコア付け済み	`ee721e0bf7dc`

タスク (b)：IQ での検出

分割：test
システム	AUC	P_fa 上限での P_d（上界）	来歴	真値 SHA-256
kshana iq モニター：cn0_drop (CUSUM) kshana-bench/2.0.0	0.785	n/a	引き継ぎ：docs/design/DETECTION-ROC.md の第3節、tests/iq_campaign_roc.rs の R1 キャンペーン、2026-10-13 に実行。bench v1 では再実行していません。基準 R1（AUC >= 0.95）は NOT MET でした。	`000000000000`

タスク (c)：タイミングのホールドオーバー予測

分割：dev
システム	RMSE 3600 s (ns)	RMSE 300 s (ns)	RMSE 7200 s (ns)	来歴	真値 SHA-256
kshana-bench ベースライン：線形 kshana-bench/2.0.0	0.128	0.019	0.198	スコア付け済み	`2b71fa325bff`
kshana-bench ベースライン：二次 kshana-bench/2.0.0	0.135	0.019	0.235	スコア付け済み	`2b71fa325bff`
kshana-bench ベースライン：保持 kshana-bench/2.0.0	26.876	2.238	53.778	スコア付け済み	`2b71fa325bff`

分割：test
システム	RMSE 3600 s (ns)	RMSE 300 s (ns)	RMSE 7200 s (ns)	来歴	真値 SHA-256
kshana-bench ベースライン：線形 kshana-bench/2.0.0	0.162	0.023	0.243	スコア付け済み	`b2ed58864e98`
kshana-bench ベースライン：二次 kshana-bench/2.0.0	0.183	0.024	0.290	スコア付け済み	`b2ed58864e98`
kshana-bench ベースライン：保持 kshana-bench/2.0.0	24.612	2.050	49.314	スコア付け済み	`b2ed58864e98`

タスク (d)：分布外の楽観ギャップ

分割：dev
システム	分布内の AUC	分布外の AUC	楽観ギャップ	フラグ	来歴	真値 SHA-256
impairment-eval ベースライン：fused(max-z) kshana-bench/2.0.0	0.998	0.982	0.015	許容差内	スコア付け済み	`f69917c70201`
impairment-eval ベースライン：sqm-imbalance kshana-bench/2.0.0	0.867	0.866	0.001	許容差内	スコア付け済み	`f69917c70201`
impairment-eval ベースライン：agc-excess kshana-bench/2.0.0	0.854	0.828	0.026	許容差内	スコア付け済み	`f69917c70201`
impairment-eval ベースライン：raim-parity kshana-bench/2.0.0	0.655	0.642	0.013	許容差内	スコア付け済み	`f69917c70201`
impairment-eval ベースライン：energy(cn0-drop) kshana-bench/2.0.0	0.610	0.572	0.038	許容差内	スコア付け済み	`f69917c70201`

分割：test
システム	分布内の AUC	分布外の AUC	楽観ギャップ	フラグ	来歴	真値 SHA-256
impairment-eval ベースライン：fused(max-z) kshana-bench/2.0.0	0.998	0.983	0.015	許容差内	スコア付け済み	`1dddb8f6f0d5`
impairment-eval ベースライン：sqm-imbalance kshana-bench/2.0.0	0.882	0.882	0.001	許容差内	スコア付け済み	`1dddb8f6f0d5`
impairment-eval ベースライン：agc-excess kshana-bench/2.0.0	0.848	0.819	0.030	許容差内	スコア付け済み	`1dddb8f6f0d5`
impairment-eval ベースライン：raim-parity kshana-bench/2.0.0	0.682	0.672	0.010	許容差内	スコア付け済み	`1dddb8f6f0d5`
impairment-eval ベースライン：energy(cn0-drop) kshana-bench/2.0.0	0.595	0.565	0.030	許容差内	スコア付け済み	`1dddb8f6f0d5`

行に外部オラクルが一致したと明記されていない限り、すべてのスコアはモデル計算によるものです。仕様とマニフェストのライセンス：CC-BY-4.0 / CC0 を提案中であり、所有者の決定待ちです。実データのホールドアウトは秘密ではありません。仕様の第4節を参照してください。

02行の意味

スコアが表すのはログであり、製品ではありません。

一行が示すのは、このファイルが仕様バージョン V のもとで分割 S において X をスコアしたということです。製品が認証済み、適合、承認済み、推奨されていることを示すものではなく、推奨者として名前が挙がる組織もありません。
データは記録されたものか合成されたもので、仕様に明記されています。第三者のデータがリポジトリにコピーされることはありません。マニフェストと取得スクリプトが各ファイルを SHA-256 で固定し、データを使用する前に各ライセンスを記録します。
記録されたログの真値は、実際の放送時刻の記録ではなく、試験計画で予定されたスロットです。そのため、検出確率は下限値です。仕様は各タスクの横にその旨を記しています。
封印されたホールドアウトは、リーダーボードのラウンドでのみスコア付けされ、そのシードはラウンド後に公開されます。数値を主張するベースラインの合格基準は、スコア付き実行の前に確定され、その後に緩められることはありません。未達は NOT MET として記録されます。
結果ファイルに記録された判定：スコアラーの合格基準、C1 から C3、および D2 は満たしています。A2 は NOT MET（test 分割で agc_k_sigma の AUC が 0.766、基準は 0.80 以上）、D1 は NOT MET（最大ギャップ 0.0301）、タスク (b) の R1 は NOT MET（引き継ぎであり、再実行していません）です。合格基準は緩められていません。
助言のみ：Kshana の結果は、示された参照に対してモデル計算または測定したものであり、承認や適合の表明ではありません。

ご自身で実行できます。kshana bench score は提出物と分割の真値から結果ファイルを作成し、kshana bench leaderboard は結果ファイルをこのページに描画します。