Machinevertaling, niet beoordeeld door een moedertaalspreker. Engels is de referentie.
Dezelfde logs, dezelfde regels. Scores in het openbaar.
kshana-bench is een vaste verzameling taken, splitsingen en maten voor de detectie van GNSS-interferentie en timing-holdover, zodat verschillende methoden op dezelfde gegevens kunnen worden vergeleken. Een inzending is een bestand; er wordt niets uitgevoerd namens de indiener. De basislijnen zijn de eigen monitoren van de engine, met drempels die zijn vastgelegd vóór de eerste gescoorde run.
Resultaatbestanden, gescoord door de engine.
kshana-bench-scorebord
Resultaatbestanden gescoord onder kshana-bench/2.0.0. Een rij zegt dat dit bestand dit getal scoorde op deze splitsing. Het betekent niet dat een product door wie dan ook is beoordeeld of goedgekeurd, en er wordt geen organisatie als voorspreker genoemd.
Adviserend: gemodelleerd of gemeten tegen vermelde referenties, geen goedkeuring, certificering of verklaring van conformiteit. Een score beschrijft een log of corpus, nooit een product.
Taak (a): detectie op ontvangerlogs
| Systeem | AUC | P_d bij P_fa-limiet (bovengrens) | Herkomst | Referentie SHA-256 |
|---|---|---|---|---|
| kshana receiver-trust agc_k_sigma (0,35 standaard monitorstatistiek) kshana-bench/2.0.0 | 0.981 | 0.875 | gescoord | 334946332bb0 |
| kshana receiver-trust cn0_drop_db (0,35 standaard monitorstatistiek) kshana-bench/2.0.0 | 0.952 | 0.904 | gescoord | 334946332bb0 |
| kshana receiver-trust jam_ind_threshold (0,35 standaard monitorstatistiek) kshana-bench/2.0.0 | 0.909 | 0.147 | gescoord | 334946332bb0 |
| Systeem | AUC | P_d bij P_fa-limiet (bovengrens) | Herkomst | Referentie SHA-256 |
|---|---|---|---|---|
| kshana receiver-trust agc_k_sigma (0,35 standaard monitorstatistiek) kshana-bench/2.0.0 | 1.000 | 0.000 | gescoord | 38b7d5e8b158 |
| kshana receiver-trust jam_ind_threshold (0,35 standaard monitorstatistiek) kshana-bench/2.0.0 | 0.610 | 0.148 | gescoord | 38b7d5e8b158 |
| kshana receiver-trust cn0_drop_db (0,35 standaard monitorstatistiek) kshana-bench/2.0.0 | 0.564 | 0.562 | gescoord | 38b7d5e8b158 |
| Systeem | AUC | P_d bij P_fa-limiet (bovengrens) | Herkomst | Referentie SHA-256 |
|---|---|---|---|---|
| kshana receiver-trust cn0_drop_db (0,35 standaard monitorstatistiek) kshana-bench/2.0.0 | 0.864 | 0.522 | gescoord | ee721e0bf7dc |
| kshana receiver-trust agc_k_sigma (0,35 standaard monitorstatistiek) kshana-bench/2.0.0 | 0.766 | 0.000 | gescoord | ee721e0bf7dc |
| kshana receiver-trust jam_ind_threshold (0,35 standaard monitorstatistiek) kshana-bench/2.0.0 | 0.556 | 0.104 | gescoord | ee721e0bf7dc |
Taak (b): detectie op IQ
| Systeem | AUC | P_d bij P_fa-limiet (bovengrens) | Herkomst | Referentie SHA-256 |
|---|---|---|---|---|
| kshana iq-monitoren: cn0_drop (CUSUM) kshana-bench/2.0.0 | 0.785 | n/a | overgenomen: docs/design/DETECTION-ROC.md sectie 3: de R1-campagne van tests/iq_campaign_roc.rs, uitgevoerd op 2026-10-13; niet opnieuw uitgevoerd voor bench v1. Drempel R1 (AUC >= 0,95) was NOT MET. | 000000000000 |
Taak (c): voorspelling van timing-holdover
| Systeem | RMSE 3600 s (ns) | RMSE 300 s (ns) | RMSE 7200 s (ns) | Herkomst | Referentie SHA-256 |
|---|---|---|---|---|---|
| kshana-bench-basislijn: lineair kshana-bench/2.0.0 | 0.128 | 0.019 | 0.198 | gescoord | 2b71fa325bff |
| kshana-bench-basislijn: kwadratisch kshana-bench/2.0.0 | 0.135 | 0.019 | 0.235 | gescoord | 2b71fa325bff |
| kshana-bench-basislijn: hold kshana-bench/2.0.0 | 26.876 | 2.238 | 53.778 | gescoord | 2b71fa325bff |
| Systeem | RMSE 3600 s (ns) | RMSE 300 s (ns) | RMSE 7200 s (ns) | Herkomst | Referentie SHA-256 |
|---|---|---|---|---|---|
| kshana-bench-basislijn: lineair kshana-bench/2.0.0 | 0.162 | 0.023 | 0.243 | gescoord | b2ed58864e98 |
| kshana-bench-basislijn: kwadratisch kshana-bench/2.0.0 | 0.183 | 0.024 | 0.290 | gescoord | b2ed58864e98 |
| kshana-bench-basislijn: hold kshana-bench/2.0.0 | 24.612 | 2.050 | 49.314 | gescoord | b2ed58864e98 |
Taak (d): optimismekloof buiten de trainingsverdeling
| Systeem | AUC binnen | AUC buiten | Optimismekloof | Vlag | Herkomst | Referentie SHA-256 |
|---|---|---|---|---|---|---|
| impairment-eval-basislijn: fused(max-z) kshana-bench/2.0.0 | 0.998 | 0.982 | 0.015 | binnen de tolerantie | gescoord | f69917c70201 |
| impairment-eval-basislijn: sqm-imbalance kshana-bench/2.0.0 | 0.867 | 0.866 | 0.001 | binnen de tolerantie | gescoord | f69917c70201 |
| impairment-eval-basislijn: agc-excess kshana-bench/2.0.0 | 0.854 | 0.828 | 0.026 | binnen de tolerantie | gescoord | f69917c70201 |
| impairment-eval-basislijn: raim-parity kshana-bench/2.0.0 | 0.655 | 0.642 | 0.013 | binnen de tolerantie | gescoord | f69917c70201 |
| impairment-eval-basislijn: energy(cn0-drop) kshana-bench/2.0.0 | 0.610 | 0.572 | 0.038 | binnen de tolerantie | gescoord | f69917c70201 |
| Systeem | AUC binnen | AUC buiten | Optimismekloof | Vlag | Herkomst | Referentie SHA-256 |
|---|---|---|---|---|---|---|
| impairment-eval-basislijn: fused(max-z) kshana-bench/2.0.0 | 0.998 | 0.983 | 0.015 | binnen de tolerantie | gescoord | 1dddb8f6f0d5 |
| impairment-eval-basislijn: sqm-imbalance kshana-bench/2.0.0 | 0.882 | 0.882 | 0.001 | binnen de tolerantie | gescoord | 1dddb8f6f0d5 |
| impairment-eval-basislijn: agc-excess kshana-bench/2.0.0 | 0.848 | 0.819 | 0.030 | binnen de tolerantie | gescoord | 1dddb8f6f0d5 |
| impairment-eval-basislijn: raim-parity kshana-bench/2.0.0 | 0.682 | 0.672 | 0.010 | binnen de tolerantie | gescoord | 1dddb8f6f0d5 |
| impairment-eval-basislijn: energy(cn0-drop) kshana-bench/2.0.0 | 0.595 | 0.565 | 0.030 | binnen de tolerantie | gescoord | 1dddb8f6f0d5 |
Elke score is berekend uit een model, tenzij een rij zegt dat een externe onafhankelijke referentie het ermee eens was. Licentie van de specificatie en de manifesten: CC-BY-4.0 / CC0 voorgesteld, besluit van de eigenaar nog in afwachting. De holdout met echte gegevens is niet geheim: zie de specificatie, sectie 4.
Een score beschrijft een log, geen product.
- Een rij zegt: dit bestand scoorde X op splitsing S onder specificatieversie V. Hij zegt niet dat een product gecertificeerd, conform, goedgekeurd of onderschreven is, en er wordt geen organisatie als voorspreker genoemd.
- De gegevens zijn opgenomen of synthetisch en worden in de specificatie genoemd. Gegevens van derden worden nooit in de repository gekopieerd: manifesten en ophaalscripts leggen elk bestand vast met SHA-256, en elke licentie wordt vastgelegd voordat de gegevens worden gebruikt.
- De referentie voor een opgenomen log zijn de geplande slots van het testplan, niet de opgenomen uitzendtijden, dus een detectiekans is een ondergrens. De specificatie vermeldt dit bij elke taak.
- Een verzegelde holdout wordt alleen gescoord in een scorebordronde, en de seed wordt daarna bekendgemaakt. Drempels voor elke basislijn die een getal claimt, worden vastgelegd vóór de gescoorde run en achteraf nooit versoepeld; een misser wordt vastgelegd als NOT MET.
- Oordelen zoals vastgelegd in het resultatenbestand: de drempels van de scorer, C1 tot en met C3 en D2 zijn gehaald; A2 is NOT MET (agc_k_sigma AUC 0,766 tegenover ten minste 0,80 op de testsplitsing), D1 is NOT MET (grootste kloof 0,0301) en taak (b) R1 is NOT MET (overgenomen, niet opnieuw uitgevoerd). Geen enkele drempel is versoepeld.
- Alleen adviserend: de resultaten van Kshana zijn berekend uit een model of gemeten ten opzichte van vermelde referenties; geen goedkeuring en geen verklaring van conformiteit.
Zelf uitvoeren: kshana bench score zet een inzending en de referentie van een splitsing om in een resultaatbestand; kshana bench leaderboard zet resultaatbestanden om in deze pagina.