Konekäännös, jota äidinkielinen puhuja ei ole tarkistanut. Viitteenä on englanninkielinen versio.

Vastaanottimen luottamus ja meriliikenneMuokkaa GitHubissaLähde: docs/BENCH.md

kshana-bench

Avoin joukko tehtäviä, jakoja ja mittareita GNSS-häiriön havaitsemiseen ja ajoituksen holdover-tilanteisiin. Määrittely on bench/SPEC.md (versio 2.0.0; tekstin ja manifestien lisenssi: CC-BY-4.0 / CC0 ehdotettu, omistajan päätös odottaa). Aineiston lisenssitarkastus on bench/LICENCES.md. Lähtötasojen kynnykset vahvistettiin ennen ensimmäistä pisteytettyä ajoa asiakirjassa xval/bench/PREREGISTRATION.md ja versiolle 2.0.0 asiakirjassa PREREGISTRATION-v2.md, ja niiden tulokset ovat asiakirjassa xval/bench/RESULTS-v2.md.

Siellä kirjatut tuomiot: pisteyttäjän kynnykset, C1–C3 ja D2 täyttyvät; A2 on NOT MET (agc_k_sigma AUC 0,766, kun vaatimus on vähintään 0,80 testijaolla), D1 on NOT MET (suurin ero 0,0301) ja tehtävä (b) R1 on NOT MET (siirretty, ei ajettu uudelleen). Mitään kynnystä ei ole löysennetty.

Mitä se on: tapa vertailla menetelmiä samalla datalla samalla mittarikoodilla. Mitä se ei ole: tuotteiden paremmuusjärjestys, hyväksyntä tai todiste siitä, että menetelmä toimii kentällä. Jokainen pistemäärä on MODELLED, ja pistemäärä kuvaa lokia tai aineistoa, ei koskaan tuotetta. Kshana-tulokset ovat ohjeellisia.

Tehtävän D (optimismiero) kshana-bench-työkalun sisäänrakennetut lähtötasot testijaolla, moottorin v0.40.0 todellisesta ajosta (`kshana bench baseline`). Jokainen palkkipari on ROC-käyrän alla oleva ala jakaumaan kuuluvilla tapauksilla ja siirtyneillä tapauksilla; niiden välinen ero on optimismiero, toleranssina 0,05. fused-max-z: 0,998 ja 0,983 (ero 0,015); sqm-imbalance: 0,882 ja 0,882 (ero 0,001); agc-excess: 0,848 ja 0,819 (ero 0,030); raim-parity: 0,682 ja 0,672 (ero 0,010); energy-cn0-drop: 0,595 ja 0,565 (ero 0,030). Nimiöt ovat synteettisen aineiston generatiivisen mallin nimiöitä, eivät koskaan kenttädataa: MODELLED. Ohjeellinen: mallinnettu tai mitattu mainittuihin viitteisiin nähden, ei hyväksyntä, sertifiointi eikä vaatimustenmukaisuuslausunto. Pistemäärä kuvaa lokia tai aineistoa, ei koskaan tuotetta.Tehtävän D (optimismiero) kshana-bench-työkalun sisäänrakennetut lähtötasot testijaolla, moottorin v0.40.0 todellisesta ajosta (`kshana bench baseline`). Jokainen palkkipari on ROC-käyrän alla oleva ala jakaumaan kuuluvilla tapauksilla ja siirtyneillä tapauksilla; niiden välinen ero on optimismiero, toleranssina 0,05. fused-max-z: 0,998 ja 0,983 (ero 0,015); sqm-imbalance: 0,882 ja 0,882 (ero 0,001); agc-excess: 0,848 ja 0,819 (ero 0,030); raim-parity: 0,682 ja 0,672 (ero 0,010); energy-cn0-drop: 0,595 ja 0,565 (ero 0,030). Nimiöt ovat synteettisen aineiston generatiivisen mallin nimiöitä, eivät koskaan kenttädataa: MODELLED. Ohjeellinen: mallinnettu tai mitattu mainittuihin viitteisiin nähden, ei hyväksyntä, sertifiointi eikä vaatimustenmukaisuuslausunto. Pistemäärä kuvaa lokia tai aineistoa, ei koskaan tuotetta.

Tehtävät#

Tehtävä Yksikkö Data Ensisijainen mittari
(a) havaitseminen vastaanottimen lokeista yksi epookki lokista JammerTest 2024 haetaan skriptillä scripts/fetch_jammertest2024.sh (GPL-3.0+, ei koskaan sisällytetä repositorioon) AUC
(b) havaitseminen IQ-datasta yksi pisteytetty ikkuna kohtauksesta Kshana-synteettisen kohtauksen resepti; TEXBAT vain viitteenä AUC hälytyslajia kohden
(c) ajoituksen holdover-ennuste (satelliitti, alkuhetki) IGS-kellot, näytteenottoväli 300 s (sitoutettu ote, lukittu tiiviste) RMSE kohdassa 3600 s
(d) jakauman ulkopuolinen optimismiero yksi synteettinen tapaus Aineisto impairment-eval, jakauman sisällä ja ulkopuolella Tuloksena AUC ja ero

Komennot#

kshana bench spec
kshana bench cases --task d --split test --scale 0.5 --out cases/        # cases.json + truth.json
kshana bench cases --task c --split test --out cases/
kshana bench truth --task a --data <extracted JammerTest 2024> --split test --out truth.json
kshana bench score --truth truth.json --predictions my-scores.json --out my.result.json
kshana bench baseline --task d --split test --out results/               # the built-in baselines
kshana bench validate results/*.result.json
kshana bench leaderboard results/ --out bench/site/index.html
kshana bench seal --task d --seed-file secret.txt --new                  # owner: make a seed, print only its hash
kshana bench reveal-check --task d --seed-file secret.txt --commitment <hex>
kshana bench manifest --task a --data <extracted dir> --out manifest.json
kshana bench verify-manifest manifest.json --root <dir>

Lähetys on tiedosto (kshana-bench-predictions/1): scores (yksi luku tapaustunnusta kohden; suurempi tarkoittaa todennäköisemmin heikentynyttä) tehtäville a, b ja d, tai predictions (vaiheen muutos yksikössä ns kullakin horisontilla) tehtävälle c. Tulostiedosto (kshana-bench-result/1) nimeää määrittelyversion, jaon, totuuden ja ennusteiden SHA-256-tiivisteen sekä mittarit. Eri pääversioiden tuloksia ei koskaan panna samaan taulukkoon.

Rehelliset rajat#

  • Todellisen datan holdout-aineistot (a ja c) ovat julkisia, koska kuka tahansa voi ladata datan. Ne suojaavat sitä vastaan, että jako valitaan pisteet nähtyään, eivät sitä vastaan, että viritetään näissä kansioissa. Tehtävän (d) holdout (sinetöity aineisto) on sitouma ja paljastus (commit and reveal): omistaja sitoutuu vain tiivisteeseen tiedostossa bench/holdout/COMMITMENTS.json ja pitää siemenluvun itsellään (yhtään ei ole vielä sinetöity).
  • Tehtävän (a) totuus on tapahtumalokien ajoitetut hyökkäysvälit yhden minuutin erottelulla, joten havaitsemistodennäköisyys on alaraja; tapahtumatason mittarit (viive, havaitsematta jääneet hälytykset, väärät hälytykset) tulevat Jammertest-pisteyttäjän (kshana jammertest score) mukana.
  • Tehtävän (b) IQ-lähtötaso on siirretty asiakirjasta docs/design/DETECTION-ROC.md, ei ajettu uudelleen versiota v1 varten.
  • Tehtävän (d) aineisto on erotettavuus- ja putkistotarkistus; sen AUC on AUC mallista johdettujen nimiöiden yli.