Maskinöversättning, inte granskad av en modersmålstalare. Engelska är referensen.

Sidor för scenariotyperRedigera på GitHubKälla: docs/kinds/by-kind/impairment-eval.md

impairment-eval (scenario kind)

Scenariotyp i motorn v0.40.0, familj Jamming, spoofing och spektrum. Rådgivande: analysutdata från ett forsknings- och ingenjörsverktyg, inte typgodkänd navigationsutrustning och inte en tjänst för skydd av människoliv. Varje etikett här är motorns eller verifieringsmatrisens; en kind är MODELLED om inte matrisen säger något annat (hur en etikett förtjänas: avsnittet Evidence i README).

Vad den gör#

Utvärderingsbädd för maskininlärd detektering av RF-störningar (13494): generera en märkt, parameterförankrad SYNTETISK korpus (nominal/jamming/spoof-time/spoof-position/multipath), poängsätt en detektor (energy|agc|sqm|parity|fused) med den detektoroberoende ramen och redovisa AUC/ROC/förväxlingsmatris + Pd per klass vid ett mål-Pfa, samt optimismgapet mellan inom och utanför fördelningen. Endast MODELLED driftkaraktäristik — aldrig fält/IQ, inget bra/dåligt-utlåtande.

En körning av scenarios/impairment-eval.toml sammanfattas som: impairment-eval | detector fused(max-z) | AUC 0,998 in / 0,981 out (gap 0,017) | Pd 0,99 Pfa 0,05 @ target 0,05 | 1000 cases | MODELLED synthetic

Indata#

Från schemat (kshana kinds --json):

  • Obligatoriska fält: inga
  • Valfria fält: seed, n_per_class, nominal_cn0_dbhz, meas_noise, detector, target_pfa, shift_severity_scale, optimism_tol

Exemplet scenarios/impairment-eval.toml anger bland annat:

Fält Värde Enhet
detector fused text
kind impairment-eval text
meas_noise 0.6 inte angivet
n_per_class 200 antal
nominal_cn0_dbhz 45 dB-Hz
optimism_tol 0.05 inte angivet
seed 42 inte angivet
shift_severity_scale 0.5 1
target_pfa 0.05 1

Kör den#

kshana scenarios/impairment-eval.toml

Vad den ger#

De skalära resultaten av den körningen, med de enheter som motorn anger:

Resultat Värde Enhet
auc 0.997719 1
corpus.n_cases 1000 antal
corpus.n_per_class 200 antal
detector fused(max-z) text
distribution_shift.auc_in 0.997719 1
distribution_shift.auc_out 0.981131 1
distribution_shift.note auc_out uses a subtler out-of-tuning-reg text
distribution_shift.optimism_gap 0.016587 1
distribution_shift.optimistic false flagga
distribution_shift.shift_severity_scale 0.5 1

Resultatetikett (motorns egen): MODELLED — syntetisk parameterförankrad korpus (aldrig fält/IQ); endast driftkaraktäristik, inget bra/dåligt-utlåtande

Diagrammet som motorn skriver för scenarios/impairment-eval.toml, kind impairment-eval

Evidens#

MODELLED 1 · VALIDATED 2: raderna i verifieringsmatrisen som nämner den här typen.

  • VALIDATED AUC (Mann-Whitney, lika värden ½), förväxlingsmatris vid tröskel, P_d/P_md/P_fa/precision/korrekthet/F1 Tests: eval_metrics_reference.rs.
  • VALIDATED ROC AUC + bootstrap-konfidensintervall som skiljer verkliga märkta anomalier; transparent detektor (återskapar etiketterna) Tests: opssat_ad_reference.rs.
  • MODELLED Märkt syntetisk korpus av störningar + detektoroberoende ram för ROC/AUC/förväxlingsmatris/Pfa-Pmd; läckageskydd, stratifierad delning, rapport om optimism vid fördelningsskifte (inom mot utanför regimen).

De rader som själva körningen använde, med den oberoende referens som matrisen anger för var och en (de offentliga källorna nämns där):

  • VALIDATED AUC (Mann-Whitney, lika värden ½), förväxlingsmatris vid tröskel, P_d/P_md/P_fa/precision/korrekthet/F1. Oracle (ExternalDataset): scikit-learn 1.9.0 (Pedregosa et al., JMLR 2011) — oberoende bibliotek, exakt överensstämmelse
  • MODELLED Deterministisk, scenario-hashad, SBOM + golden-grindar över flera plattformar. Oberoende referens (ExternalDataset): SBOM som följer det officiella CycloneDX 1,5 JSON Schema (+ giltiga SPDX-identifierare) — en extern publicerad standard, noll valideringsfel över hela beroendegrafen; delen om FoM-determinism / byte-reproducerbarhet förblir en fastlåst kontroll av inre samstämmighet, så raden förblir MODELLED
  • MODELLED Märkt syntetisk korpus av störningar + detektoroberoende ram för ROC/AUC/förväxlingsmatris/Pfa-Pmd; läckageskydd, stratifierad delning, fördelningsskifte (inom mot utanför r. Oracle (InternalConsistency): Gränser för AUC i sluten form (Mann–Whitney) + en detektor med perfekt referens; korpusen är SYNTETISK (parameterförankrad, inte fält/IQ)

Begränsningar#

Vad körningens egen rapport säger inte är modellerat eller inte validerat:

  • MODELLED — syntetisk parameterförankrad korpus (aldrig fält/IQ); endast driftkaraktäristik, inget bra/dåligt-utlåtande (result label)
  • MODELLED endast driftkaraktäristik — aldrig fält/IQ, inget bra/dåligt-utlåtande. (kind catalogue (kshana kinds --json))
  • ÄRLIG AVGRÄNSNING: enbart MODELLED driftkaraktäristik. Korpusen är syntetisk och parameterförankrad (sammansatt av Kshanas modeller för jamming/AGC/SQM/parity) — aldrig fältinspelningar eller rå IQ. Ramen är en domare; den redovisar karaktäristik och avger inget bra/dåligt-utlåtande. Run: kshana scenarios/impairment-eval.toml (scenario file comment, lines 9 to 12)
  • Reproducerbarhet och programvarusäkring är MODELLED, inte validerad: ett delpåstående kontrolleras externt, men hela förmågan sätts ihop av modellerade delar, så förmågan förblir Modelled. (verifieringsmatris (docs/MODELLED-RATIONALE.md))
  • Utvärdering av maskininlärd detektering av RF-störningar (13494) är MODELLED, inte validerad: kontrollerad mot sin egen slutna/analytiska identitet. Det fångar transkriptions- och koefficientfel men är ingen extern oberoende referens. (verification matrix (docs/MODELLED-RATIONALE.md))

Se även#