Maskinoversættelse, ikke gennemgået af en modersmålstalende. Engelsk er referencen.

Sider om scenarietyperRedigér på GitHubKilde: docs/kinds/by-kind/impairment-eval.md

impairment-eval (scenarietype)

Scenarietype i motoren v0.40.0, familie Jamming, spoofing og spektret. Vejledende: analyseoutput fra et forsknings- og ingeniørværktøj, ikke typegodkendt navigationsudstyr og ikke en sikkerhedskritisk tjeneste (safety-of-life). Hver mærkat her er motorens eller verifikationsmatrixens; en type er MODELLED, medmindre matrixen siger andet (hvordan en mærkat opnås: afsnittet Evidens i README).

Hvad det gør#

Testbed til evaluering af maskinlæringsbaseret detektion af RF-forstyrrelser (13494): generér et mærket, parameterforankret SYNTETISK korpus (nominal/jamming/spoof-time/spoof-position/multipath), bedøm en detektor (energy|agc|sqm|parity|fused) med den detektoruafhængige harness, og rapportér AUC/ROC/forvekslingsmatrix + Pd pr. klasse ved en mål-Pfa samt optimismegabet mellem fordeling inden for og uden for træning. Kun MODELLED driftskarakteristika, aldrig felt/IQ, ingen dom om god/dårlig.

Én kørsel af scenarios/impairment-eval.toml opsummeres sådan: impairment-eval | detector fused(max-z) | AUC 0,998 in / 0,981 out (gap 0,017) | Pd 0,99 Pfa 0,05 @ target 0,05 | 1000 cases | MODELLED synthetic

Input#

Fra skemaet (kshana kinds --json):

  • Påkrævede felter: ingen
  • Valgfrie felter: seed, n_per_class, nominal_cn0_dbhz, meas_noise, detector, target_pfa, shift_severity_scale, optimism_tol

Eksemplet scenarios/impairment-eval.toml angiver blandt andet:

Felt Værdi Enhed
detector fused tekst
kind impairment-eval tekst
meas_noise 0.6 ikke angivet
n_per_class 200 antal
nominal_cn0_dbhz 45 dB-Hz
optimism_tol 0.05 ikke angivet
seed 42 ikke angivet
shift_severity_scale 0.5 1
target_pfa 0.05 1

Kør den#

kshana scenarios/impairment-eval.toml

Hvad den giver#

De skalare resultater af den kørsel, med de enheder, motoren angiver:

Resultat Værdi Enhed
auc 0.997719 1
corpus.n_cases 1000 antal
corpus.n_per_class 200 antal
detector fused(max-z) tekst
distribution_shift.auc_in 0.997719 1
distribution_shift.auc_out 0.981131 1
distribution_shift.note auc_out bruger en mere subtil out-of-tuning-reg tekst
distribution_shift.optimism_gap 0.016587 1
distribution_shift.optimistic false flag
distribution_shift.shift_severity_scale 0.5 1

Resultatmærkat (motorens): MODELLED, syntetisk parameterforankret korpus (aldrig felt/IQ); kun driftskarakteristika, ingen dom om god/dårlig

Diagrammet, som motoren skriver for scenarios/impairment-eval.toml, scenarietype impairment-eval

Evidens#

MODELLED 1 · VALIDATED 2: rækkerne i verifikationsmatrixen, som nævner denne type.

  • VALIDATED AUC (Mann-Whitney, uafgjorte ½), forvekslingsmatrix ved tærskel, P_d/P_md/P_fa/præcision/nøjagtighed/F1 Tests: eval_metrics_reference.rs.
  • VALIDATED ROC AUC + bootstrap-CI, der adskiller reelle mærkede anomalier; gennemsigtig detektor (gengiver mærkater) Tests: opssat_ad_reference.rs.
  • MODELLED Mærket syntetisk korpus af forstyrrelser + detektoruafhængig ROC/AUC/forvekslingsmatrix/Pfa-Pmd-harness; lækagebeskyttelse, stratificeret opdeling, optimismerapport for fordelingsskift (inden for mod uden for regimet).

De rækker, som kørslen selv afprøvede, med den uafhængige reference, som matrixen giver hver (de offentlige kilder er nævnt dér):

  • VALIDATED AUC (Mann-Whitney, uafgjorte ½), forvekslingsmatrix ved tærskel, P_d/P_md/P_fa/præcision/nøjagtighed/F1. Uafhængig reference (ExternalDataset): scikit-learn 1.9.0 (Pedregosa et al., JMLR 2011), uafhængigt bibliotek, præcis overensstemmelse
  • MODELLED Deterministisk, scenarie-hashet, SBOM + gates med golden-filer på tværs af platforme. Uafhængig reference (ExternalDataset): SBOM'ens validering mod det officielle CycloneDX 1,5 JSON-skema (+ gyldige SPDX-identifikatorer) — en ekstern publiceret standard, nul valideringsfejl over hele afhængighedsgrafen; den del, der gælder FoM-determinisme / byte-reproducerbarhed, er fortsat et fastlåst selvkonsistenstjek, så rækken forbliver MODELLED
  • MODELLED Mærket syntetisk korpus af forstyrrelser + detektoruafhængig ROC/AUC/forvekslingsmatrix/Pfa-Pmd-harness; lækagebeskyttelse, stratificeret opdeling, optimismerapport for fordelingsskift (inden for mod uden for r. Uafhængig reference (InternalConsistency): Lukkede AUC-grænser (Mann–Whitney) + en detektor med perfekt reference; korpusset er SYNTETISK (parameterforankret, ikke felt/IQ)

Begrænsninger#

Hvad kørslens egen rapport siger ikke er modelleret eller ikke er valideret:

  • MODELLED, syntetisk parameterforankret korpus (aldrig felt/IQ); kun driftskarakteristika, ingen dom om god/dårlig (resultat label)
  • MODELLED kun driftskarakteristika, aldrig felt/IQ, ingen dom om god/dårlig. (typekatalog (kshana kinds --json))
  • ÆRLIGT OMFANG: kun MODELLED driftskarakteristika. Korpusset er syntetisk og parameterforankret (sammensat af Kshanas modeller for jamming/AGC/SQM/parity), aldrig feltoptagelser eller rå IQ. Harnessen er en dommer; den rapporterer karakteristika, den afsiger ikke en dom om god/dårlig. Kør: kshana scenarios/impairment-eval.toml (kommentar i scenariefilen, linje 9 til 12)
  • Reproducerbarhed og softwarekvalitetssikring er MODELLED, ikke valideret: en delpåstand kontrolleres eksternt, men hele funktionen sammensættes af modellerede dele, så funktionen forbliver modelleret. (verifikationsmatrix (docs/MODELLED-RATIONALE.md))
  • Evaluering af maskinlæringsbaseret detektion af RF-forstyrrelser (13494) er MODELLED, ikke valideret: kontrolleret mod sin egen lukkede/analytiske identitet; fanger transskriptions- og koefficientfejl, men er ikke en ekstern uafhængig reference. (verifikationsmatrix (docs/MODELLED-RATIONALE.md))

Se også#