Konekäännös, jota äidinkielinen puhuja ei ole tarkistanut. Viitteenä on englanninkielinen versio.
Benchmark
Samat lokit, samat säännöt. Pisteet avoimesti.
kshana-bench on kiinteä joukko tehtäviä, jakoja ja mittareita GNSS-häirinnän havaitsemiseen ja ajanpitoon ilman ulkoista viitettä (holdover), jotta eri menetelmiä voidaan verrata samalla aineistolla. Lähetys on tiedosto; mitään ei ajeta lähettäjän puolesta. Lähtötasot ovat moottorin omia valvontamenetelmiä, ja kynnykset on kirjattu ylös ennen ensimmäistä pisteytettyä ajoa.
01Tulostaulu
Tulostiedostot, joiden pisteytys tehdään moottorilla.
kshana-bench-tulostaulu
Tulostiedostot, jotka on pisteytetty määrittelyn kshana-bench/2.0.0 mukaan. Rivi kertoo, että tämä tiedosto sai tämän pistemäärän tässä jaossa. Se ei tarkoita, että kukaan olisi arvioinut tai hyväksynyt mitään tuotetta, eikä mitään organisaatiota nimetä tukijaksi.
Ohjeellinen: mallinnettu tai mitattu ilmoitettuja vertailukohtia vasten; ei hyväksyntä, sertifiointi eikä vaatimustenmukaisuusvakuutus. Pistemäärä kuvaa lokia tai aineistoa, ei koskaan tuotetta.
Tehtävä (a): havaitseminen vastaanottimen lokeista
| Järjestelmä | AUC | P_d, kun P_fa on rajattu (yläraja) | Alkuperä | Totuusaineisto SHA-256 |
|---|---|---|---|---|
| kshana receiver-trust agc_k_sigma (oletusarvoinen valvontatunnusluku 0,35) kshana-bench/2.0.0 | 0.981 | 0.875 | pisteytetty | 334946332bb0 |
| kshana receiver-trust cn0_drop_db (oletusarvoinen valvontatunnusluku 0,35) kshana-bench/2.0.0 | 0.952 | 0.904 | pisteytetty | 334946332bb0 |
| kshana receiver-trust jam_ind_threshold (oletusarvoinen valvontatunnusluku 0,35) kshana-bench/2.0.0 | 0.909 | 0.147 | pisteytetty | 334946332bb0 |
| Järjestelmä | AUC | P_d, kun P_fa on rajattu (yläraja) | Alkuperä | Totuusaineisto SHA-256 |
|---|---|---|---|---|
| kshana receiver-trust agc_k_sigma (oletusarvoinen valvontatunnusluku 0,35) kshana-bench/2.0.0 | 1.000 | 0.000 | pisteytetty | 38b7d5e8b158 |
| kshana receiver-trust jam_ind_threshold (oletusarvoinen valvontatunnusluku 0,35) kshana-bench/2.0.0 | 0.610 | 0.148 | pisteytetty | 38b7d5e8b158 |
| kshana receiver-trust cn0_drop_db (oletusarvoinen valvontatunnusluku 0,35) kshana-bench/2.0.0 | 0.564 | 0.562 | pisteytetty | 38b7d5e8b158 |
| Järjestelmä | AUC | P_d, kun P_fa on rajattu (yläraja) | Alkuperä | Totuusaineisto SHA-256 |
|---|---|---|---|---|
| kshana receiver-trust cn0_drop_db (oletusarvoinen valvontatunnusluku 0,35) kshana-bench/2.0.0 | 0.864 | 0.522 | pisteytetty | ee721e0bf7dc |
| kshana receiver-trust agc_k_sigma (oletusarvoinen valvontatunnusluku 0,35) kshana-bench/2.0.0 | 0.766 | 0.000 | pisteytetty | ee721e0bf7dc |
| kshana receiver-trust jam_ind_threshold (oletusarvoinen valvontatunnusluku 0,35) kshana-bench/2.0.0 | 0.556 | 0.104 | pisteytetty | ee721e0bf7dc |
Tehtävä (b): havaitseminen IQ-datasta
| Järjestelmä | AUC | P_d, kun P_fa on rajattu (yläraja) | Alkuperä | Totuusaineisto SHA-256 |
|---|---|---|---|---|
| kshana iq monitors: cn0_drop (CUSUM) kshana-bench/2.0.0 | 0.785 | n/a | siirretty: docs/design/DETECTION-ROC.md kohta 3: tiedoston tests/iq_campaign_roc.rs R1-kampanja, ajettu 2026-10-13; ei ajettu uudelleen bench v1:ssä. Kynnys R1 (AUC >= 0,95) oli NOT MET. | 000000000000 |
Tehtävä (c): ajanpidon ennuste ilman ulkoista viitettä
| Järjestelmä | RMSE 3600 s (ns) | RMSE 300 s (ns) | RMSE 7200 s (ns) | Alkuperä | Totuusaineisto SHA-256 |
|---|---|---|---|---|---|
| kshana-bench-lähtötaso: lineaarinen kshana-bench/2.0.0 | 0.128 | 0.019 | 0.198 | pisteytetty | 2b71fa325bff |
| kshana-bench-lähtötaso: toisen asteen kshana-bench/2.0.0 | 0.135 | 0.019 | 0.235 | pisteytetty | 2b71fa325bff |
| kshana-bench-lähtötaso: pito kshana-bench/2.0.0 | 26.876 | 2.238 | 53.778 | pisteytetty | 2b71fa325bff |
| Järjestelmä | RMSE 3600 s (ns) | RMSE 300 s (ns) | RMSE 7200 s (ns) | Alkuperä | Totuusaineisto SHA-256 |
|---|---|---|---|---|---|
| kshana-bench-lähtötaso: lineaarinen kshana-bench/2.0.0 | 0.162 | 0.023 | 0.243 | pisteytetty | b2ed58864e98 |
| kshana-bench-lähtötaso: toisen asteen kshana-bench/2.0.0 | 0.183 | 0.024 | 0.290 | pisteytetty | b2ed58864e98 |
| kshana-bench-lähtötaso: pito kshana-bench/2.0.0 | 24.612 | 2.050 | 49.314 | pisteytetty | b2ed58864e98 |
Tehtävä (d): jakauman ulkopuolinen optimismikuilu
| Järjestelmä | AUC jakauman sisällä | AUC jakauman ulkopuolella | Optimismikuilu | Merkintä | Alkuperä | Totuusaineisto SHA-256 |
|---|---|---|---|---|---|---|
| impairment-eval-lähtötaso: fused(max-z) kshana-bench/2.0.0 | 0.998 | 0.982 | 0.015 | toleranssin sisällä | pisteytetty | f69917c70201 |
| impairment-eval-lähtötaso: sqm-imbalance kshana-bench/2.0.0 | 0.867 | 0.866 | 0.001 | toleranssin sisällä | pisteytetty | f69917c70201 |
| impairment-eval-lähtötaso: agc-excess kshana-bench/2.0.0 | 0.854 | 0.828 | 0.026 | toleranssin sisällä | pisteytetty | f69917c70201 |
| impairment-eval-lähtötaso: raim-parity kshana-bench/2.0.0 | 0.655 | 0.642 | 0.013 | toleranssin sisällä | pisteytetty | f69917c70201 |
| impairment-eval-lähtötaso: energy(cn0-drop) kshana-bench/2.0.0 | 0.610 | 0.572 | 0.038 | toleranssin sisällä | pisteytetty | f69917c70201 |
| Järjestelmä | AUC jakauman sisällä | AUC jakauman ulkopuolella | Optimismikuilu | Merkintä | Alkuperä | Totuusaineisto SHA-256 |
|---|---|---|---|---|---|---|
| impairment-eval-lähtötaso: fused(max-z) kshana-bench/2.0.0 | 0.998 | 0.983 | 0.015 | toleranssin sisällä | pisteytetty | 1dddb8f6f0d5 |
| impairment-eval-lähtötaso: sqm-imbalance kshana-bench/2.0.0 | 0.882 | 0.882 | 0.001 | toleranssin sisällä | pisteytetty | 1dddb8f6f0d5 |
| impairment-eval-lähtötaso: agc-excess kshana-bench/2.0.0 | 0.848 | 0.819 | 0.030 | toleranssin sisällä | pisteytetty | 1dddb8f6f0d5 |
| impairment-eval-lähtötaso: raim-parity kshana-bench/2.0.0 | 0.682 | 0.672 | 0.010 | toleranssin sisällä | pisteytetty | 1dddb8f6f0d5 |
| impairment-eval-lähtötaso: energy(cn0-drop) kshana-bench/2.0.0 | 0.595 | 0.565 | 0.030 | toleranssin sisällä | pisteytetty | 1dddb8f6f0d5 |
Jokainen pistemäärä on mallinnettu, ellei rivillä sanota ulkoisen oraakkelin (riippumaton vertailu) olleen samaa mieltä. Määrittelyn ja manifestien lisenssi: CC-BY-4.0 / CC0 ehdotettu, omistajan päätös odottaa. Oikean datan holdout ei ole salainen: katso määrittely, kohta 4.
02Mitä rivi tarkoittaa
Pistemäärä kuvaa lokia, ei tuotetta.
- Rivi sanoo: tämä tiedosto sai arvon X jaossa S määrittelyversion V mukaan. Se ei sano, että tuote on sertifioitu, vaatimustenmukainen, hyväksytty tai tuettu, eikä mitään organisaatiota nimetä tukijaksi.
- Data on tallennettua tai synteettistä, ja se on nimetty määrittelyssä. Kolmansien osapuolten dataa ei koskaan kopioida arkistoon: manifestit ja noutoskriptit kiinnittävät jokaisen tiedoston SHA-256-tiivisteellä, ja jokainen lisenssi kirjataan ennen datan käyttöä.
- Tallennetun lokin totuus on testisuunnitelman ajoitetut lähetysvuorot, ei tallennettuja lähetysaikoja, joten havaitsemistodennäköisyys on alaraja. Määrittely kertoo tämän jokaisen tehtävän vieressä.
- Sinetöity holdout pisteytetään vain tulostaulun kierroksella, ja sen siemenluku paljastetaan sen jälkeen. Kynnykset jokaiselle lähtötasolle, joka väittää jonkin luvun, sitoudutaan ennen pisteytettyä ajoa, eikä niitä koskaan höllennetä jälkeenpäin; kynnyksen alitus kirjataan merkinnällä NOT MET.
- Tuomiot sellaisina kuin ne on kirjattu tulostiedostoon: pisteyttäjän kynnykset, C1–C3 ja D2 täyttyvät; A2 on NOT MET (agc_k_sigma AUC 0,766, kun vaatimus on vähintään 0,80 test-jaossa), D1 on NOT MET (suurin kuilu 0,0301) ja tehtävän (b) R1 on NOT MET (siirretty, ei ajettu uudelleen). Yhtäkään kynnystä ei ole höllennetty.
- Vain ohjeellinen: Kshanan tulokset on mallinnettu tai mitattu ilmoitettuja viitteitä vasten; ne eivät ole hyväksyntä eivätkä vaatimustenmukaisuusvakuutus.
Aja itse: kshana bench score muuttaa lähetyksen ja jaon totuusaineiston tulostiedostoksi; kshana bench leaderboard piirtää tulostiedostot tälle sivulle.