kshana-bench
Avatud ülesannete, jaotuste ja mõõdikute kogum GNSS-i häirete tuvastamiseks ja aja holdover-iks. Spetsifikatsioon on bench/SPEC.md (versioon 2.0.0; teksti ja manifestide litsents: CC-BY-4.0 / CC0 pakutud, omaniku otsus ootel). Andmestiku litsentsi ülevaatus on bench/LICENCES.md. Lähtetasemete (baselines) läved fikseeriti enne esimest hinnatud käivitust dokumendis xval/bench/PREREGISTRATION.md ja versiooni 2.0.0 puhul dokumendis PREREGISTRATION-v2.md ning nende tulemused on dokumendis xval/bench/RESULTS-v2.md.
Seal registreeritud otsused: hindaja läved, C1 kuni C3 ja D2 on täidetud; A2 on NOT MET (agc_k_sigma AUC 0,766 nõutud vähemalt 0,80 vastu testijaotusel), D1 on NOT MET (suurim lõhe 0,0301) ja ülesande (b) R1 on NOT MET (üle võetud, mitte uuesti käivitatud). Ühtegi lävendit ei leevendata.
Mis see on: viis võrrelda meetodeid samadel andmetel sama mõõdikukoodiga. Mis see ei ole: toodete pingerida, heakskiit ega tõend, et meetod töötab väljal. Iga skoor on MODELLED ning skoor kirjeldab logi või korpust, mitte kunagi toodet. Kshana tulemused on nõuandvad.
Ülesanded#
| Ülesanne | Ühik | Andmed | Peamõõdik |
|---|---|---|---|
| (a) tuvastamine vastuvõtja logidel | üks JammerTest 2024 logi epohh | laaditakse skriptiga scripts/fetch_jammertest2024.sh (GPL-3.0+, ei kopeerita kunagi hoidlasse) |
AUC |
| (b) tuvastamine IQ-andmetel | stseeni üks hinnatud aken | Kshana sünteetilise stseeni retsept; TEXBAT ainult viitena | AUC häireliigi kohta |
| (c) aja holdover-i prognoos | (satelliit, lähtepunkt) | IGS-i kellad sammuga 300 s (sissekantud väljavõte, kinnitatud räsi) | RMSE hetkel 3600 s |
| (d) jaotusevälise optimismi lõhe | üks sünteetiline juhtum | impairment-eval korpus, jaotuse sees ja väljaspool |
AUC väljund ja lõhe |
Käsud#
kshana bench spec
kshana bench cases --task d --split test --scale 0.5 --out cases/ # cases.json + truth.json
kshana bench cases --task c --split test --out cases/
kshana bench truth --task a --data <extracted JammerTest 2024> --split test --out truth.json
kshana bench score --truth truth.json --predictions my-scores.json --out my.result.json
kshana bench baseline --task d --split test --out results/ # the built-in baselines
kshana bench validate results/*.result.json
kshana bench leaderboard results/ --out bench/site/index.html
kshana bench seal --task d --seed-file secret.txt --new # owner: make a seed, print only its hash
kshana bench reveal-check --task d --seed-file secret.txt --commitment <hex>
kshana bench manifest --task a --data <extracted dir> --out manifest.json
kshana bench verify-manifest manifest.json --root <dir>Esitus on fail (kshana-bench-predictions/1): ülesannete a, b ja d puhul scores (üks arv juhtumi id kohta; kõrgem tähendab suurema tõenäosusega häiritud) või ülesande c puhul predictions (faasimuutus ns-des iga horisondi juures). Tulemusfail (kshana-bench-result/1) nimetab spetsifikatsiooni versiooni, jaotuse, tõe ja prognooside SHA-256 ning mõõdikud. Erinevate spetsifikatsiooni suurversioonide tulemusi ei panda kunagi ühte tabelisse.
Ausad piirangud#
- Päris andmetega suletud komplektid (holdout) (a ja c) on avalikud, sest igaüks saab andmed alla laadida. Need kaitsevad jaotuse valimise eest pärast skooride nägemist, mitte nende kaustade häälestamise eest. Ülesande (d) suletud komplekt (holdout) on kinnita-ja-avalda: omanik kinnitab failis
bench/holdout/COMMITMENTS.jsonainult räsi ja hoiab algväärtust (seed) (veel ühtegi pole suletud). - Ülesande (a) tõde on sündmuslogide ajastatud ründeaknad ühe minuti eraldusvõimega, mistõttu tuvastamise tõenäosus on alumine tõke; sündmusetaseme mõõdikud (latentsus, tuvastamata häired, valehäired) saabuvad Jammertesti hindajaga failis
kshana jammertest score. - Ülesande (b) IQ-lähtetase on üle võetud failist
docs/design/DETECTION-ROC.md, mitte v1 jaoks uuesti käivitatud. - Ülesande (d) korpus on eraldatavuse ja konveieri kontroll; selle AUC on AUC mudelist tuletatud siltide üle.