Maskinoversettelse, ikke gjennomgått av en morsmålsbruker. Engelsk er referansen.

Sider for scenariotyperRediger på GitHubKilde: docs/kinds/by-kind/impairment-eval.md

impairment-eval (scenariotype)

Scenariotype i motoren v0.40.0, familie Jamming, spoofing og spekteret. Veiledende: analyseresultat fra et forsknings- og ingeniørverktøy, ikke typegodkjent navigasjonsutstyr og ikke en safety-of-life-tjeneste. Hver etikett her kommer fra motoren eller verifikasjonsmatrisen; en type er MODELLED med mindre matrisen sier noe annet (hvordan en etikett oppnås: avsnittet Evidence i README).

Hva den gjør#

Evalueringstestbenk for maskinlæringsbasert deteksjon av RF-forstyrrelser (13494): generer et merket, parameterforankret SYNTETISK korpus (nominal/jamming/spoof-time/spoof-position/multipath), vurder en detektor (energy|agc|sqm|parity|fused) med den detektoruavhengige harnessen, og rapporter AUC/ROC/forvekslingsmatrise + Pd per klasse ved en målsatt Pfa, samt optimismegapet mellom i og utenfor distribusjonen. Kun MODELLED driftskarakteristikker, aldri felt-/IQ-data, ingen dom om bra/dårlig.

Én kjøring av scenarios/impairment-eval.toml oppsummeres slik: impairment-eval | detector fused(max-z) | AUC 0,998 in / 0,981 out (gap 0,017) | Pd 0,99 Pfa 0,05 @ target 0,05 | 1000 cases | MODELLED synthetic

Inndata#

Fra skjemaet (kshana kinds --json):

  • Påkrevde felt: ingen
  • Valgfrie felt: seed, n_per_class, nominal_cn0_dbhz, meas_noise, detector, target_pfa, shift_severity_scale, optimism_tol

Eksemplet scenarios/impairment-eval.toml setter blant annet:

Felt Verdi Enhet
detector fused tekst
kind impairment-eval tekst
meas_noise 0.6 ikke oppgitt
n_per_class 200 antall
nominal_cn0_dbhz 45 dB-Hz
optimism_tol 0.05 ikke oppgitt
seed 42 ikke oppgitt
shift_severity_scale 0.5 1
target_pfa 0.05 1

Kjør den#

kshana scenarios/impairment-eval.toml

Hva den gir#

Skalarresultatene fra den kjøringen, med enhetene motoren oppgir:

Resultat Verdi Enhet
auc 0.997719 1
corpus.n_cases 1000 antall
corpus.n_per_class 200 antall
detector fused(max-z) tekst
distribution_shift.auc_in 0.997719 1
distribution_shift.auc_out 0.981131 1
distribution_shift.note auc_out bruker et mer subtilt regime utenfor tuningen tekst
distribution_shift.optimism_gap 0.016587 1
distribution_shift.optimistic false flagg
distribution_shift.shift_severity_scale 0.5 1

Resultatetikett (motorens): MODELLED — syntetisk parameterforankret korpus (aldri felt-/IQ-data); kun driftskarakteristikker, ingen dom om bra/dårlig

Diagrammet motoren skriver for scenarios/impairment-eval.toml, typen impairment-eval

Evidens#

MODELLED 1 · VALIDATED 2: radene i verifikasjonsmatrisen som nevner denne typen.

  • VALIDATED AUC (Mann-Whitney, uavgjort ½), forvekslingsmatrise ved terskel, P_d/P_md/P_fa/presisjon/treffsikkerhet/F1. Tester: eval_metrics_reference.rs.
  • VALIDATED ROC AUC + bootstrap-KI som skiller virkelige merkede anomalier; gjennomsiktig detektor (gjengir merkene). Tester: opssat_ad_reference.rs.
  • MODELLED Merket syntetisk korpus av forstyrrelser + detektoruavhengig ROC/AUC/forvekslings-/Pfa-Pmd-harness; lekkasjevern, stratifisert deling, rapport om optimisme ved distribusjonsskift (i mot utenfor regimet).

Radene kjøringen selv brukte, med den uavhengige referansen matrisen gir hver (de offentlige kildene er navngitt der):

  • VALIDATED AUC (Mann-Whitney, uavgjort ½), forvekslingsmatrise ved terskel, P_d/P_md/P_fa/presisjon/treffsikkerhet/F1. Uavhengig referanse (ExternalDataset): scikit-learn 1.9.0 (Pedregosa et al., JMLR 2011), uavhengig bibliotek, eksakt treff
  • MODELLED Deterministisk, scenariohashet, SBOM + gates med gylne verdier på tvers av plattformer. Uavhengig referanse (ExternalDataset): SBOM-overensstemmelse med det offisielle CycloneDX 1,5 JSON Schema (+ gyldige SPDX-identifikatorer), en ekstern publisert standard, null valideringsfeil over hele avhengighetsgrafen; delen om FoM-determinisme / byte-reproduserbarhet er fortsatt en festet selvkonsistenssjekk, så raden forblir MODELLED
  • MODELLED Merket syntetisk korpus av forstyrrelser + detektoruavhengig ROC/AUC/forvekslings-/Pfa-Pmd-harness; lekkasjevern, stratifisert deling, distribusjonsskift (i mot utenfor re. Uavhengig referanse (InternalConsistency): Lukkede AUC-grenser (Mann–Whitney) + en detektor med perfekt uavhengig referanse; korpuset er SYNTETISK (parameterforankret, ikke felt-/IQ-data)

Begrensninger#

Hva kjøringens egen rapport sier ikke er modellert eller ikke er validert:

  • MODELLED — syntetisk parameterforankret korpus (aldri felt-/IQ-data); kun driftskarakteristikker, ingen dom om bra/dårlig (resultat label)
  • Kun MODELLED driftskarakteristikker, aldri felt-/IQ-data, ingen dom om bra/dårlig. (typekatalog (kshana kinds --json))
  • ÆRLIG AVGRENSNING: kun MODELLED driftskarakteristikker. Korpuset er syntetisk og parameterforankret (satt sammen fra Kshanas modeller for jamming/AGC/SQM/parity), aldri feltopptak eller rå IQ. Harnessen er en dommer; den rapporterer karakteristikker, den avgir ingen dom om bra/dårlig. Kjør: kshana scenarios/impairment-eval.toml (kommentar i scenariofilen, linjene 9 til 12)
  • Reproduserbarhet og programvarekvalitetssikring er MODELLED, ikke validert: en delpåstand er kontrollert eksternt, men hele funksjonen setter sammen modellerte deler, så funksjonen forblir modellert. (verifikasjonsmatrise (docs/MODELLED-RATIONALE.md))
  • Evaluering av maskinlæringsbasert deteksjon av RF-forstyrrelser (13494) er MODELLED, ikke validert: kontrollert mot sin egen lukkede/analytiske identitet, noe som fanger opp transkripsjons- og koeffisientfeil, men ikke er en ekstern uavhengig referanse. (verifikasjonsmatrise (docs/MODELLED-RATIONALE.md))

Se også#