Maschinelle Übersetzung, nicht von einem Muttersprachler geprüft. Englisch ist die maßgebliche Fassung.
Gleiche Logs, gleiche Regeln. Ergebnisse offen einsehbar.
kshana-bench ist ein fester Satz von Aufgaben, Aufteilungen und Metriken für die Erkennung von GNSS-Störungen und für Timing-Holdover, damit sich verschiedene Methoden auf denselben Daten vergleichen lassen. Eine Einreichung ist eine Datei; im Auftrag des Einreichenden wird nichts ausgeführt. Basislinien sind die eigenen Monitore der Engine, mit Zielwerten, die vor dem ersten gewerteten Lauf festgehalten wurden.
Ergebnisdateien, von der Engine gewertet.
kshana-bench-Rangliste
Ergebnisdateien, gewertet nach kshana-bench/2.0.0. Eine Zeile besagt, dass diese Datei auf dieser Aufteilung diesen Wert erzielt hat. Sie bedeutet nicht, dass irgendein Produkt von irgendjemandem bewertet oder genehmigt wurde, und keine Organisation wird als Befürworter genannt.
Hinweis: aus einem Modell berechnet oder gegen angegebene Referenzen gemessen, keine Genehmigung, Zertifizierung oder Konformitätsaussage. Ein Wert beschreibt ein Log oder einen Korpus, nie ein Produkt.
Aufgabe (a): Erkennung auf Empfänger-Logs
| System | AUC | P_d bei P_fa-Obergrenze (obere Schranke) | Herkunft | Truth-SHA-256 |
|---|---|---|---|---|
| kshana receiver-trust agc_k_sigma (0,35 Standard-Monitorstatistik) kshana-bench/2.0.0 | 0.981 | 0.875 | gewertet | 334946332bb0 |
| kshana receiver-trust cn0_drop_db (0,35 Standard-Monitorstatistik) kshana-bench/2.0.0 | 0.952 | 0.904 | gewertet | 334946332bb0 |
| kshana receiver-trust jam_ind_threshold (0,35 Standard-Monitorstatistik) kshana-bench/2.0.0 | 0.909 | 0.147 | gewertet | 334946332bb0 |
| System | AUC | P_d bei P_fa-Obergrenze (obere Schranke) | Herkunft | Truth-SHA-256 |
|---|---|---|---|---|
| kshana receiver-trust agc_k_sigma (0,35 Standard-Monitorstatistik) kshana-bench/2.0.0 | 1.000 | 0.000 | gewertet | 38b7d5e8b158 |
| kshana receiver-trust jam_ind_threshold (0,35 Standard-Monitorstatistik) kshana-bench/2.0.0 | 0.610 | 0.148 | gewertet | 38b7d5e8b158 |
| kshana receiver-trust cn0_drop_db (0,35 Standard-Monitorstatistik) kshana-bench/2.0.0 | 0.564 | 0.562 | gewertet | 38b7d5e8b158 |
| System | AUC | P_d bei P_fa-Obergrenze (obere Schranke) | Herkunft | Truth-SHA-256 |
|---|---|---|---|---|
| kshana receiver-trust cn0_drop_db (0,35 Standard-Monitorstatistik) kshana-bench/2.0.0 | 0.864 | 0.522 | gewertet | ee721e0bf7dc |
| kshana receiver-trust agc_k_sigma (0,35 Standard-Monitorstatistik) kshana-bench/2.0.0 | 0.766 | 0.000 | gewertet | ee721e0bf7dc |
| kshana receiver-trust jam_ind_threshold (0,35 Standard-Monitorstatistik) kshana-bench/2.0.0 | 0.556 | 0.104 | gewertet | ee721e0bf7dc |
Aufgabe (b): Erkennung auf IQ
| System | AUC | P_d bei P_fa-Obergrenze (obere Schranke) | Herkunft | Truth-SHA-256 |
|---|---|---|---|---|
| kshana iq monitors: cn0_drop (CUSUM) kshana-bench/2.0.0 | 0.785 | n/a | übernommen: docs/design/DETECTION-ROC.md Abschnitt 3: die R1-Kampagne von tests/iq_campaign_roc.rs, ausgeführt am 2026-10-13; für Bench v1 nicht erneut ausgeführt. Der Zielwert R1 (AUC >= 0,95) wurde NOT MET. | 000000000000 |
Aufgabe (c): Vorhersage des Timing-Holdover
| System | RMSE 3600 s (ns) | RMSE 300 s (ns) | RMSE 7200 s (ns) | Herkunft | Truth-SHA-256 |
|---|---|---|---|---|---|
| kshana-bench-Basislinie: linear kshana-bench/2.0.0 | 0.128 | 0.019 | 0.198 | gewertet | 2b71fa325bff |
| kshana-bench-Basislinie: quadratisch kshana-bench/2.0.0 | 0.135 | 0.019 | 0.235 | gewertet | 2b71fa325bff |
| kshana-bench-Basislinie: hold kshana-bench/2.0.0 | 26.876 | 2.238 | 53.778 | gewertet | 2b71fa325bff |
| System | RMSE 3600 s (ns) | RMSE 300 s (ns) | RMSE 7200 s (ns) | Herkunft | Truth-SHA-256 |
|---|---|---|---|---|---|
| kshana-bench-Basislinie: linear kshana-bench/2.0.0 | 0.162 | 0.023 | 0.243 | gewertet | b2ed58864e98 |
| kshana-bench-Basislinie: quadratisch kshana-bench/2.0.0 | 0.183 | 0.024 | 0.290 | gewertet | b2ed58864e98 |
| kshana-bench-Basislinie: hold kshana-bench/2.0.0 | 24.612 | 2.050 | 49.314 | gewertet | b2ed58864e98 |
Aufgabe (d): Optimismuslücke außerhalb der Verteilung
| System | AUC innerhalb | AUC außerhalb | Optimismuslücke | Markierung | Herkunft | Truth-SHA-256 |
|---|---|---|---|---|---|---|
| impairment-eval-Basislinie: fused(max-z) kshana-bench/2.0.0 | 0.998 | 0.982 | 0.015 | innerhalb der Toleranz | gewertet | f69917c70201 |
| impairment-eval-Basislinie: sqm-imbalance kshana-bench/2.0.0 | 0.867 | 0.866 | 0.001 | innerhalb der Toleranz | gewertet | f69917c70201 |
| impairment-eval-Basislinie: agc-excess kshana-bench/2.0.0 | 0.854 | 0.828 | 0.026 | innerhalb der Toleranz | gewertet | f69917c70201 |
| impairment-eval-Basislinie: raim-parity kshana-bench/2.0.0 | 0.655 | 0.642 | 0.013 | innerhalb der Toleranz | gewertet | f69917c70201 |
| impairment-eval-Basislinie: energy(cn0-drop) kshana-bench/2.0.0 | 0.610 | 0.572 | 0.038 | innerhalb der Toleranz | gewertet | f69917c70201 |
| System | AUC innerhalb | AUC außerhalb | Optimismuslücke | Markierung | Herkunft | Truth-SHA-256 |
|---|---|---|---|---|---|---|
| impairment-eval-Basislinie: fused(max-z) kshana-bench/2.0.0 | 0.998 | 0.983 | 0.015 | innerhalb der Toleranz | gewertet | 1dddb8f6f0d5 |
| impairment-eval-Basislinie: sqm-imbalance kshana-bench/2.0.0 | 0.882 | 0.882 | 0.001 | innerhalb der Toleranz | gewertet | 1dddb8f6f0d5 |
| impairment-eval-Basislinie: agc-excess kshana-bench/2.0.0 | 0.848 | 0.819 | 0.030 | innerhalb der Toleranz | gewertet | 1dddb8f6f0d5 |
| impairment-eval-Basislinie: raim-parity kshana-bench/2.0.0 | 0.682 | 0.672 | 0.010 | innerhalb der Toleranz | gewertet | 1dddb8f6f0d5 |
| impairment-eval-Basislinie: energy(cn0-drop) kshana-bench/2.0.0 | 0.595 | 0.565 | 0.030 | innerhalb der Toleranz | gewertet | 1dddb8f6f0d5 |
Jeder Wert ist modelliert, sofern eine Zeile nicht angibt, dass eine externe unabhängige Referenz zugestimmt hat. Lizenz der Spezifikation und der Manifeste: CC-BY-4.0 / CC0 vorgeschlagen, Entscheidung des Eigentümers steht aus. Der zurückgehaltene Datensatz mit Realdaten ist nicht geheim: siehe die Spezifikation, Abschnitt 4.
Ein Wert beschreibt ein Log, kein Produkt.
- Eine Zeile besagt: Diese Datei hat auf der Aufteilung S unter der Spezifikationsversion V den Wert X erzielt. Sie besagt nicht, dass ein Produkt zertifiziert, konform, zugelassen oder befürwortet ist, und keine Organisation wird als Befürworter genannt.
- Die Daten sind aufgezeichnet oder synthetisch und in der Spezifikation benannt. Daten Dritter werden nie in das Repository kopiert: Manifeste und Abrufskripte legen jede Datei per SHA-256 fest, und jede Lizenz wird vor der Verwendung der Daten festgehalten.
- Die Truth für ein aufgezeichnetes Log sind die geplanten Zeitfenster des Testplans, nicht die aufgezeichneten Sendezeiten; eine Detektionswahrscheinlichkeit ist daher eine untere Schranke. Die Spezifikation weist bei jeder Aufgabe darauf hin.
- Ein versiegelter zurückgehaltener Datensatz wird nur in einer Ranglistenrunde gewertet, und sein Seed wird danach offengelegt. Zielwerte für jede Basislinie, die eine Zahl beansprucht, werden vor dem gewerteten Lauf festgeschrieben und danach nie gelockert; ein Verfehlen wird als NOT MET festgehalten.
- Urteile wie in der Ergebnisdatei festgehalten: Die Zielwerte des Scorers, C1 bis C3 und D2 sind erreicht; A2 ist NOT MET (agc_k_sigma AUC 0,766 gegenüber mindestens 0,80 auf der Test-Aufteilung), D1 ist NOT MET (größte Lücke 0,0301) und Aufgabe (b) R1 ist NOT MET (übernommen, nicht erneut ausgeführt). Kein Zielwert wird gelockert.
- Nur beratend: Die Ergebnisse von Kshana sind modelliert oder gegen genannte Referenzen gemessen, keine Genehmigung und keine Konformitätserklärung.
Selbst ausführen: kshana bench score macht aus einer Einreichung und der Truth einer Aufteilung eine Ergebnisdatei; kshana bench leaderboard stellt Ergebnisdateien auf dieser Seite dar.