Machinevertaling, niet beoordeeld door een moedertaalspreker. Engels is de referentie.

Pagina's per scenariotypeBewerken op GitHubBron: docs/kinds/by-kind/impairment-eval.md

impairment-eval (scenariosoort)

Scenariosoort van de engine v0.40.0, familie Jamming, spoofing en het spectrum. Adviserend: uitvoer van een analyse door een onderzoeks- en engineeringhulpmiddel, geen typegoedgekeurde navigatieapparatuur en geen safety-of-life-dienst. Elk label hier is van de engine of van de verificatiematrix; een soort is MODELLED tenzij de matrix anders vermeldt (hoe een label wordt verdiend: de sectie Evidence van de README).

Wat het doet#

Testomgeving voor de evaluatie van detectie van RF-verstoringen met machine learning (13494): genereer een gelabeld, op parameters gegrond SYNTHETISCH corpus (nominal/jamming/spoof-time/spoof-position/multipath), scoor een detector (energy|agc|sqm|parity|fused) met het detectoronafhankelijke harnas, en rapporteer AUC/ROC/confusion + Pd per klasse bij een doel-Pfa, plus de optimismekloof tussen in- en uit-de-verdeling. Alleen MODELLED werkkarakteristieken: nooit veld-/IQ-data, geen goed/slecht-oordeel.

Eén run van scenarios/impairment-eval.toml vat samen als: impairment-eval | detector fused(max-z) | AUC 0,998 in / 0,981 out (gap 0,017) | Pd 0,99 Pfa 0,05 @ target 0,05 | 1000 cases | MODELLED synthetic

Invoer#

Uit het schema (kshana kinds --json):

  • Vereiste velden: geen
  • Optionele velden: seed, n_per_class, nominal_cn0_dbhz, meas_noise, detector, target_pfa, shift_severity_scale, optimism_tol

Het voorbeeld scenarios/impairment-eval.toml stelt onder meer in:

Veld Waarde Eenheid
detector fused tekst
kind impairment-eval tekst
meas_noise 0.6 niet vermeld
n_per_class 200 aantal
nominal_cn0_dbhz 45 dB-Hz
optimism_tol 0.05 niet vermeld
seed 42 niet vermeld
shift_severity_scale 0.5 1
target_pfa 0.05 1

Uitvoeren#

kshana scenarios/impairment-eval.toml

Wat het oplevert#

De scalaire resultaten van die run, met de eenheden die de engine noemt:

Resultaat Waarde Eenheid
auc 0.997719 1
corpus.n_cases 1000 aantal
corpus.n_per_class 200 aantal
detector fused(max-z) tekst
distribution_shift.auc_in 0.997719 1
distribution_shift.auc_out 0.981131 1
distribution_shift.note auc_out gebruikt een subtielere out-of-tuning-reg tekst
distribution_shift.optimism_gap 0.016587 1
distribution_shift.optimistic false vlag
distribution_shift.shift_severity_scale 0.5 1

Resultaatlabel (van de engine): MODELLED — synthetisch, op parameters gegrond corpus (nooit veld-/IQ-data); alleen werkkarakteristieken, geen goed/slecht-oordeel

De grafiek die de engine schrijft voor scenarios/impairment-eval.toml, soort impairment-eval

Bewijs#

MODELLED 1 · VALIDATED 2: de rijen van de verificatiematrix die dit kind noemen.

  • VALIDATED AUC (Mann-Whitney, gelijke waarden ½), confusiematrix bij drempel, P_d/P_md/P_fa/precisie/nauwkeurigheid/F1 Tests: eval_metrics_reference.rs.
  • VALIDATED ROC-AUC + bootstrap-BI dat echte gelabelde anomalieën scheidt; transparante detector (reproduceert de labels) Tests: opssat_ad_reference.rs.
  • MODELLED Gelabeld synthetisch verstoringscorpus + detectoronafhankelijk ROC/AUC/confusion/Pfa-Pmd-harnas; lekbescherming, gestratificeerde splitsing, rapport over optimisme bij verdelingsverschuiving (in- tegenover uit-regime).

De rijen die de run zelf heeft beproefd, met de onafhankelijke referentie die de matrix aan elk geeft (de openbare bronnen worden daar genoemd):

  • VALIDATED AUC (Mann-Whitney, gelijke waarden ½), confusiematrix bij drempel, P_d/P_md/P_fa/precisie/nauwkeurigheid/F1. Onafhankelijke referentie (ExternalDataset): scikit-learn 1.9.0 (Pedregosa et al., JMLR 2011) — onafhankelijke bibliotheek, exacte overeenkomst
  • MODELLED Deterministisch, scenario-gehasht, SBOM + gouden poorten voor meerdere platforms. Onafhankelijke referentie (ExternalDataset): formaatcontrole van de SBOM tegen het officiële CycloneDX 1,5 JSON Schema (+ geldige SPDX-identificatoren) — een externe gepubliceerde standaard, nul validatiefouten over de volledige afhankelijkheidsgraaf; het onderdeel determinisme van de FoM en byte-reproduceerbaarheid blijft een vastgepinde zelfconsistentiecontrole, dus de rij blijft MODELLED
  • MODELLED Gelabeld synthetisch verstoringscorpus + detectoronafhankelijk ROC/AUC/confusion/Pfa-Pmd-harnas; lekbescherming, gestratificeerde splitsing, verdelingsverschuiving (in- tegenover uit-het-regi. Onafhankelijke referentie (InternalConsistency): Gesloten-vormgrenzen voor AUC (Mann–Whitney) + een detector met perfecte referentie; het corpus is SYNTHETISCH (op parameters gegrond, geen veld-/IQ-data)

Beperkingen#

Wat het eigen rapport van de run zegt dat niet is gemodelleerd of niet extern getoetst is:

  • MODELLED — synthetisch, op parameters gegrond corpus (nooit veld-/IQ-data); alleen werkkarakteristieken, geen goed/slecht-oordeel (resultaat label)
  • MODELLED alleen werkkarakteristieken: nooit veld-/IQ-data, geen goed/slecht-oordeel. (soortencatalogus (kshana kinds --json))
  • EERLIJKE REIKWIJDTE: alleen MODELLED werkkarakteristieken. Het corpus is synthetisch en op parameters gegrond (samengesteld uit de jamming-/AGC-/SQM-/pariteitsmodellen van Kshana): nooit veldopnamen of ruwe IQ. Het harnas is een scheidsrechter; het rapporteert karakteristieken en geeft geen goed/slecht-oordeel. Uitvoeren: kshana scenarios/impairment-eval.toml (opmerking in het scenariobestand, regels 9 tot 12)
  • Reproduceerbaarheid en softwarewaarborging is MODELLED, niet extern getoetst: een deelclaim wordt extern gecontroleerd, maar de hele mogelijkheid is samengesteld uit gemodelleerde onderdelen, dus de mogelijkheid blijft gemodelleerd. (verificatiematrix (docs/MODELLED-RATIONALE.md))
  • Evaluatie van detectie van RF-verstoringen met machine learning (13494) is MODELLED, niet getoetst aan een onafhankelijke externe referentie: gecontroleerd tegen een eigen gesloten-vorm- of analytische identiteit, wat transcriptie- en coëfficiëntfouten opvangt maar geen externe onafhankelijke referentie is. (verificatiematrix (docs/MODELLED-RATIONALE.md))

Zie ook#