Strojový překlad, nekontrolovaný rodilým mluvčím. Referenční je anglická verze.

Stránky druhů scénářůUpravit na GitHubuZdroj: docs/kinds/by-kind/impairment-eval.md

impairment-eval (druh scénáře)

Druh scénáře enginu v0.40.0, rodina Rušení, spoofing a spektrum. Pouze poradní charakter: výstup analýzy z výzkumného a inženýrského nástroje; nejde o typově schválené navigační zařízení ani o službu z oblasti bezpečnosti života. Každý štítek zde pochází z enginu nebo z verifikační matice; druh je MODELLED, pokud matice neuvádí jinak (jak se štítek získává: oddíl Evidence v README).

Co dělá#

Testovací prostředí pro vyhodnocení detekce zhoršení RF pomocí strojového učení (13494): vygeneruje označený korpus SYNTETICKÝCH dat opřený o parametry (nominal/jamming/spoof-time/spoof-position/multipath), ohodnotí detektor (energy|agc|sqm|parity|fused) pomocí harnessu nezávislého na detektoru a hlásí AUC/ROC/matici záměn + Pd podle tříd při cílovém Pfa, plus rozdíl optimismu uvnitř a vně rozdělení. Pouze provozní charakteristiky MODELLED — nikdy terénní data/IQ, žádný verdikt dobrý/špatný.

Jeden běh scenarios/impairment-eval.toml se shrnuje takto: impairment-eval | detector fused(max-z) | AUC 0,998 in / 0,981 out (gap 0,017) | Pd 0,99 Pfa 0,05 @ target 0,05 | 1000 cases | MODELLED synthetic

Vstupy#

Ze schématu (kshana kinds --json):

  • Povinná pole: žádná
  • Volitelná pole: seed, n_per_class, nominal_cn0_dbhz, meas_noise, detector, target_pfa, shift_severity_scale, optimism_tol

Příklad scenarios/impairment-eval.toml mimo jiné nastavuje:

Pole Hodnota Jednotka
detector fused text
kind impairment-eval text
meas_noise 0.6 neuvedeno
n_per_class 200 počet
nominal_cn0_dbhz 45 dB-Hz
optimism_tol 0.05 neuvedeno
seed 42 neuvedeno
shift_severity_scale 0.5 1
target_pfa 0.05 1

Spusťte jej#

kshana scenarios/impairment-eval.toml

Co poskytuje#

Skalární výsledky tohoto běhu s jednotkami, které engine uvádí:

Výsledek Hodnota Jednotka
auc 0.997719 1
corpus.n_cases 1000 počet
corpus.n_per_class 200 počet
detector fused(max-z) text
distribution_shift.auc_in 0.997719 1
distribution_shift.auc_out 0.981131 1
distribution_shift.note auc_out používá jemnější mimo-ladicí reg text
distribution_shift.optimism_gap 0.016587 1
distribution_shift.optimistic false příznak
distribution_shift.shift_severity_scale 0.5 1

Štítek výsledku (enginu): MODELLED — syntetický korpus opřený o parametry (nikdy terénní data/IQ); pouze provozní charakteristiky, žádný verdikt dobrý/špatný

Graf, který engine zapisuje pro scenarios/impairment-eval.toml, druh impairment-eval

Důkazy#

MODELLED 1 · VALIDATED 2: řádky verifikační matice, které tento druh uvádějí.

  • VALIDATED AUC (Mann-Whitney, shody ½), matice záměn při prahu, P_d/P_md/P_fa/preciznost/přesnost/F1. Testy: eval_metrics_reference.rs.
  • VALIDATED ROC AUC + bootstrapový CI oddělující skutečné označené anomálie; transparentní detektor (reprodukuje označení). Testy: opssat_ad_reference.rs.
  • MODELLED Označený syntetický korpus zhoršení + harness ROC/AUC/matice záměn/Pfa-Pmd nezávislý na detektoru; ochrana proti úniku, stratifikované dělení, zpráva o optimismu při posunu rozdělení (uvnitř vs. vně režimu).

Řádky, které běh sám procvičil, s orákulem, které matice každému dává (veřejné zdroje jsou tam uvedeny):

  • VALIDATED AUC (Mann-Whitney, shody ½), matice záměn při prahu, P_d/P_md/P_fa/preciznost/přesnost/F1. Orákulum (ExternalDataset): scikit-learn 1.9.0 (Pedregosa et al., JMLR 2011) — nezávislá knihovna, přesná shoda
  • MODELLED Deterministické, hashované po scénářích, brány SBOM a zlatých výsledků mezi platformami. Orákulum (ExternalDataset): shoda SBOM s oficiálním schématem JSON CycloneDX 1,5 (+ platné identifikátory SPDX) — externí publikovaný standard, nula chyb validace přes celý graf závislostí; část o determinismu FoM / bajtové reprodukovatelnosti zůstává zafixovanou kontrolou vlastní konzistence, takže řádek zůstává MODELLED
  • MODELLED Označený syntetický korpus zhoršení + harness ROC/AUC/matice záměn/Pfa-Pmd nezávislý na detektoru; ochrana proti úniku, stratifikované dělení, zpráva o optimismu při posunu rozdělení (uvnitř vs. vně rež. Orákulum (InternalConsistency): Meze AUC v uzavřeném tvaru (Mann–Whitney) + detektor s dokonalým orákulem; korpus je SYNTETICKÝ (opřený o parametry, nikoli terénní data/IQ)

Omezení#

Co zpráva samotného běhu uvádí jako nemodelované nebo neověřené:

  • MODELLED — syntetický korpus opřený o parametry (nikdy terénní data/IQ); pouze provozní charakteristiky, žádný verdikt dobrý/špatný (výsledek label)
  • MODELLED pouze provozní charakteristiky — nikdy terénní data/IQ, žádný verdikt dobrý/špatný. (katalog druhů (kshana kinds --json))
  • ÚPRIMNÝ ROZSAH: pouze provozní charakteristiky MODELLED. Korpus je syntetický a opřený o parametry (složený z modelů rušení/AGC/SQM/parity v Kshaně) — nikdy ne terénní záznamy ani surová data IQ. Harness je rozhodčí; hlásí charakteristiky, nevynáší verdikt dobrý/špatný. Spuštění: kshana scenarios/impairment-eval.toml (komentář v souboru scénáře, řádky 9 až 12)
  • Reprodukovatelnost a zajištění softwaru je MODELLED, nikoli ověřeno nezávislou referencí: dílčí tvrzení je externě zkontrolováno, ale celá schopnost skládá modelované části, takže schopnost zůstává vypočtená z modelu. (verifikační matice (docs/MODELLED-RATIONALE.md))
  • Vyhodnocení detekce zhoršení RF pomocí strojového učení (13494) je MODELLED, nikoli ověřeno proti nezávislé vnější referenci: zkontrolováno proti vlastní uzavřené / analytické identitě – zachytí chyby přepisu a koeficientů, ale není to externí orákulum. (verifikační matice (docs/MODELLED-RATIONALE.md))

Viz také#