Masintõlge, mida emakeelne kõneleja pole üle vaadanud. Võrdlusallikaks on ingliskeelne versioon.

Stsenaariumi liikide lehedMuuda GitHubisAllikas: docs/kinds/by-kind/impairment-eval.md

impairment-eval (stsenaariumi liik)

Mootori v0.40.0 stsenaariumi liik, perekond Segamine, spuufimine ja spekter. Nõuandev: uurimis- ja inseneeriatööriista analüüsitulemus; mitte tüübikinnitust omav navigatsiooniseade ega inimelu ohutusega seotud teenus. Iga siinne silt on mootori või kontrollimaatriksi oma; liik on MODELLED, kui maatriks ei ütle teisiti (kuidas silt teenitakse: README jaotis Evidence).

Mida see teeb#

Masinõppel põhineva RF-häirete tuvastamise hindamise katsestend (13494): genereeri märgendatud, parameetritest lähtuv SÜNTEETILINE korpus (nominaalne/segamine/spuufimine-aeg/spuufimine-positsioon/mitmeteelevi), hinda detektorit (energy|agc|sqm|parity|fused) detektorist sõltumatu raamistikuga ning anna aru AUC/ROC/segadusmaatriks + klassikohane Pd sihtmärgi Pfa juures, pluss jaotusesisese ja jaotusevälise optimismilõhe. Ainult MODELLED tööomadused — mitte kunagi väli-/IQ-andmed, head/halba otsust ei ole.

Ühe scenarios/impairment-eval.toml jooksu kokkuvõte: impairment-eval | detektor fused(max-z) | AUC 0,998 sees / 0,981 väljas (lõhe 0,017) | Pd 0,99 Pfa 0,05 @ sihtmärk 0,05 | 1000 juhtu | MODELLED sünteetiline

Sisendid#

Skeemist (kshana kinds --json):

  • Nõutavad väljad: puuduvad
  • Valikulised väljad: seed, n_per_class, nominal_cn0_dbhz, meas_noise, detector, target_pfa, shift_severity_scale, optimism_tol

Näide scenarios/impairment-eval.toml määrab muu hulgas:

Väli Väärtus Ühik
detector fused tekst
kind impairment-eval tekst
meas_noise 0.6 ei ole märgitud
n_per_class 200 arv
nominal_cn0_dbhz 45 dB-Hz
optimism_tol 0.05 ei ole märgitud
seed 42 ei ole märgitud
shift_severity_scale 0.5 1
target_pfa 0.05 1

Käivitamine#

kshana scenarios/impairment-eval.toml

Mida see annab#

Selle käivituse skalaartulemused koos ühikutega, mida mootor ütleb:

Tulemus Väärtus Ühik
auc 0.997719 1
corpus.n_cases 1000 arv
corpus.n_per_class 200 arv
detector fused(max-z) tekst
distribution_shift.auc_in 0.997719 1
distribution_shift.auc_out 0.981131 1
distribution_shift.note auc_out kasutab peenemat häälestusvälist reg tekst
distribution_shift.optimism_gap 0.016587 1
distribution_shift.optimistic false lipp
distribution_shift.shift_severity_scale 0.5 1

Tulemuse silt (mootori oma): MODELLED — sünteetiline parameetritest lähtuv korpus (mitte kunagi väli-/IQ-andmed); ainult tööomadused, head/halba otsust ei ole

Diagramm, mille mootor kirjutab failile scenarios/impairment-eval.toml, liik impairment-eval

Tõendid#

MODELLED 1 · VALIDATED 2: selle liigi nimetavad kontrollimaatriksi read.

  • VALIDATED AUC (Mann-Whitney, viigid ½), segadusmaatriks läveväärtusel, P_d/P_md/P_fa/täpsus/korrektsus/F1 Testid: eval_metrics_reference.rs.
  • VALIDATED ROC AUC + bootstrap usaldusvahemik, mis eraldab tegelikke märgendatud anomaaliaid; läbipaistev detektor (reprodutseerib märgendeid) Testid: opssat_ad_reference.rs.
  • MODELLED Märgendatud sünteetiline häirekorpus + detektorist sõltumatu ROC/AUC/segadusmaatriksi/Pfa-Pmd raamistik; lekkekaitse, kihiline jaotus, jaotusnihke (režiimisisese vs -välise) optimismiaruanne.

Read, mida käivitus ise kasutas, koos sõltumatu etaloniga, mille maatriks igaühele annab (avalikud allikad on seal nimetatud):

  • VALIDATED AUC (Mann-Whitney, viigid ½), segadusmaatriks läveväärtusel, P_d/P_md/P_fa/täpsus/korrektsus/F1. Sõltumatu etalon (ExternalDataset): scikit-learn 1.9.0 (Pedregosa et al., JMLR 2011) — sõltumatu teek, täpne vaste
  • MODELLED Deterministlikud, stsenaariumi räsiga, SBOM-i + platvormideülesed golden-väravad. Sõltumatu etalon (ExternalDataset): SBOM-i standardi järgimine ametliku CycloneDX-i 1,5 JSON-skeemi suhtes (+ kehtivad SPDX-i identifikaatorid) — väline avaldatud standard, null valideerimisviga kogu sõltuvusgraafil; FoM-i determinismi / baitide tasemel reprodutseeritavuse osa jääb fikseeritud sisemise kooskõla kontrolliks, mistõttu rida jääb MODELLED
  • MODELLED Märgendatud sünteetiline häirekorpus + detektorist sõltumatu ROC/AUC/segadusmaatriksi/Pfa-Pmd raamistik; lekkekaitse, kihiline jaotus, jaotusnihke (režiimisisese vs -välise. Sõltumatu etalon (InternalConsistency): Suletud kujul AUC piirid (Mann–Whitney) + täiusliku sõltumatu etaloni detektor; korpus on SÜNTEETILINE (parameetritest lähtuv, mitte väli-/IQ-andmed)

Piirangud#

Mida jooksu oma aruanne ütleb, et pole modelleeritud või valideeritud:

  • MODELLED — sünteetiline parameetritest lähtuv korpus (mitte kunagi väli-/IQ-andmed); ainult tööomadused, head/halba otsust ei ole (tulemus label)
  • Ainult MODELLED tööomadused — mitte kunagi väli-/IQ-andmed, head/halba otsust ei ole. (liikide kataloog (kshana kinds --json))
  • ÕIGLANE ULATUS: ainult MODELLED tööomadused. Korpus on sünteetiline ja parameetritest lähtuv (koostatud Kshana segamise/AGC/SQM/pariteedi mudelitest) — mitte kunagi väljasalvestused ega toor-IQ. Raamistik on kohtunik; see annab teada omadustest, kuid ei anna head/halba otsust. Käivitus: kshana scenarios/impairment-eval.toml (stsenaariumifaili kommentaar, read 9 kuni 12)
  • Reprodutseeritavus ja tarkvara kvaliteedi tagamine on MODELLED, mitte valideeritud: alamväide on väliselt kontrollitud, kuid kogu võimekus koosneb modelleeritud osadest, seega jääb võimekus modelleerituks. (kontrollimaatriks (docs/MODELLED-RATIONALE.md))
  • Masinõppel põhineva RF-häirete tuvastamise hindamine (13494) on MODELLED, mitte valideeritud: kontrollitud oma suletud kujul / analüütilise samasuse vastu — tabab ülekirjutus- ja koefitsiendivigu, kuid ei ole väline sõltumatu etalon. (kontrollimaatriks (docs/MODELLED-RATIONALE.md))

Vt ka#