Estimarea parametrilor de distribuție pe rezultatele observațiilor unei variabile aleatoare
In multe cazuri, legea distribuției variabilei aleatoare observată este cunoscută ca într-un parametru (sau vector parametru). Adică, distribuția densității variabilei aleatoare observată depinde de un parametru necunoscut, care este necesar să se determine (estimare) a probei. O astfel de problemă în statistica matematică se numește problema estimării parametrilor de distribuție.
Evident, estimarea parametrului depinde de rezultatele observațiilor :.
Funcția Arbitrare a observațiilor rezultatele nazyvaetsyastatistikoy.
Evaluarea calității se caracterizează prin următoarele proprietăți de bază.
Coerența. Calificarea se numește parametru estimare consistentă în cazul în care converge cu creșterea apropierea de volumul eșantionului (). Acest lucru înseamnă că, pentru oricine.
Unbiasedness. Evaluarea se numește un estimator imparțial al parametrului, în cazul în care se așteaptă este egală cu parametrul estimat, și anume . Pentru estimarea parametrilor se poate oferi unele estimări imparțiale. Măsura de precizie este considerată o estimare imparțială a varianței sale.
Eficiență. estimare imparțială a unui parametru care varianța atinge valoarea sa cea mai mică se numește o evaluare eficientă.
Asimptotic estimare imparțială numită eficientă dacă se ajunge la cea mai mică variație în limita cu creșterea mărimii eșantionului.
Luați în considerare problema de estimare a parametrilor din punctul de vedere al teoriei deciziei statistice.
Notăm - estimare a parametrului necunoscut. Evident, de asemenea, îi aparține. Estimarea diferă de valoarea reală a parametrului. Introducem o măsură a diferenței între estimarea și valoarea reală a unui parametru: - cu valori de pe axa reală. Minimul acestei funcții va fi la, adică atunci când hotărârea coincide cu valoarea reală a unui parametru. Astfel. În teoria deciziei statistice, această funcție se numește o funcție de pierdere, sau o funcție de cost, sau funcție de risc. Cea mai mare valoarea reală este diferită de evaluarea sa, cu atât mai mare diferența dintre ele și, prin urmare, trebuie să fie mai mari pierderi.
Este clar că este de dorit să se selecteze o astfel de evaluare în cazul în care evaluarea rezultatelor observațiilor, pentru care ar fi diferența dintre valoarea reală a parametrului la un nivel minim. Aceasta este, evaluarea ar trebui să reducă la minimum funcția de cost.
Dar observațiile de punere în aplicare este o variabilă aleatoare vector, prin urmare, evaluarea, de asemenea, o variabilă aleatoare. Mai mult decât atât parametrul estimat în sine poate fi tratată ca o variabilă aleatoare.
Astfel, pierderea funcției depinde de variabilele aleatoare este ea însăși o variabilă aleatoare.
Din punct de vedere matematic este constatare valoare extremă incorectă a unei variabile aleatoare, astfel încât seta sarcina de a găsi o limită, care minimizează funcția de cost nu este posibilă.
Puteți pune sarcina de a obține de evaluare, care într-o serie mare de teste ar oferi cele mai mici pierderi, în medie, care este, în medie, cel mai puțin diferită de valoarea reală a parametrului.
Această abordare conduce la o problemă de minimizare a așteptărilor funcției pierdere (sau funcția de risc).
Estimarea obținută pentru acest criteriu se numește o estimare a riscului de mediu redus la minimum.
este necesar pentru a obține o astfel de evaluare să cunoască legea distribuției de eșantionare variabile aleatoare până la parametrul estimat, și legea de distribuție a parametrului estimat.
Riscul mediu, ca speranța unei funcții, riscul este după cum urmează:
Aici - densitatea de probabilitate comună de eșantionare variabile aleatoare și parametrul estimat.
Deoarece - funcția de obicei, cu valori pe o linie număr, puteți seta sarcina de a găsi o limită care minimizează această funcție:
Se presupune aici că funcția de densitate comună poate fi scrisă în ceea ce privește densitatea condiționată și necondiționată în două moduri diferite.
Rețineți că problema minimizării riscului medie poate fi redusa la problema minimizării riscului condiționată:
Scriem integrandul în (9), după cum urmează:
Din moment ce - funcția negativă, riscul mediu minim va fi atins în cazul în care pentru fiecare valoare a integralei interior este redusă la minimum. Astfel, estimarea este găsit prin rezolvarea următoarea problemă extremale:
Evaluarea astfel obținut se numește estimarea bayesiană.
Considerăm problema de estimare pentru o anumită funcție pierdere (risc).
Funcția de pierderi pătratică
În cazul unui singur parametru de estimare.
Estimarea optimă este dintr-o soluție din următoarea problemă extremale:
Primul termen este independent și nu are nici un efect asupra deciziei, iar ultima integrală este egală cu unu.
Este ușor de observat că funcția minimizat este un polinom de gradul al doilea, care este de cel puțin o singură și a ajuns la punctul:
Aceasta este parte integrantă așteptarea condiționată a parametrului estimat.
Astfel, cea mai bună estimare a parametrului prin criteriul de risc mediu minim pentru funcția de pierdere pătratică este speranța condiționată a parametrului estimat.
Să - vector aleator selectiv ale cărui componente sunt independente și identic repartizate în conformitate cu o lege gaussian :.
Dimensiunile care urmează să fie evaluate este speranța că, la rândul său, este o variabilă aleatoare distribuită în conformitate cu o lege Gauss:
Găsiți cea mai bună estimare a unui parametru de criteriul risc mediu minim pentru funcția de pierdere pătratică.
Având în vedere că estimarea optimă în acest caz, este speranța condiționată a unei variabile aleatoare, cu condiția ca un vector de selectiv, găsiți densitatea condiționată a distribuției variabile aleatoare.
Substituind distribuția densității condițiilor problemă, obținem:
observăm că în calculul integralei.
Prin urmare, în cazul în care exponentul duce la un pătrat complet și să profite de aceste proprietăți, rezultatul integrării obținem:
Funcția de densitate condiționată ia forma:
După cum puteți vedea, distribuția densității a unei variabile aleatoare Gaussian cu media și varianța.
Astfel, estimarea optimă a parametrului este de forma:
Rețineți că evaluarea este suma greutatea mediei eșantionului și o așteptare matematică a priori a parametrului estimat. Suma greutăților eșantionului înseamnă și o așteptare a priori este egală cu unu ().
În cazul în care a priori variația de estimare este mică, atunci estimarea este concentrată în principal în jurul a priori așteptările. Observațiile în acest caz nu sunt informative. Dimpotrivă, atunci când o estimare a priori mare dispersie este determinată în principal de datele observate (centrate în jurul mediei eșantionului).
Funcția simplă pierdere
Lăsați estimarea unei funcții pierdere parametru are forma (fig. 18). Această pierdere se numește o funcție simplă.
Apoi, cea mai bună estimare ar trebui să fie determinată din soluția la următoarea problemă extremale:
Rețineți că pentru valori mici ale valorilor integrale pot fi scrise sub forma (fig.19.):
De aceea, estimarea optimă a parametrului este determinat ca o soluție la următoarea problemă extremă:
Rețineți că funcția este numită estimarea parametrilor posteriori densitatea distribuției totuși, definită prin expresia (10) reprezintă un criteriu de estimare maxim o densitate de probabilitate a posteriori.
Luați în considerare faptul că, prin urmare, estimarea maximă o densitate de probabilitate poate fi, de asemenea, a posteriori scris ca:
Aici - aceasta se numește funcția de probabilitate. și - o densitate de probabilitate a priori parametru estimat.
Trebuie remarcat faptul că evaluarea maximă o densitate de probabilitate a posteriori pot fi găsite prin căutarea maximă a oricărei funcții de monoton crescătoare densității o probabilitate a posteriori. Foarte adesea, în funcție de a lua logaritmul natural:
Luați în considerare exemplul anterior al unei estimări ale parametrilor de căutare a distribuției. Ca un criteriu de optimizare vom lua criteriul de maxim o densitate de probabilitate a posteriori.
densitate Posterior pentru acest caz, am găsit deja. Este un Gaussian cu așteptări. Maximă a unei astfel de densitate este în așteptarea matematică. Prin urmare, cea mai bună estimare a criteriului de criterii maxim o densitate de probabilitate medie și a posteriori de risc la minimum funcția de pierdere pătratică pentru acest caz coincid.
Astfel, în cazurile în care speranța este punctul de maxim o densitate de probabilitate a posteriori la criterii medii de evaluare a riscului în cadrul funcției de pierdere pătratică și maxim o densitate de probabilitate a posteriori. În caz contrar, se dovedește estimări diferite algoritmi.
Rețineți că alegerea funcției de pierdere nu este o problemă și sarcină statistică matematică, formând un model matematic al fenomenului, asociat cu prelucrarea datelor observate.
Estimarea probabilității maxime
Având în vedere criteriul de maxim o densitate de probabilitate a posteriori (11), rețineți că, dacă în vecinătatea parametrului densitate maximă estimată o densitate a priori este practic constantă (independentă), cea mai bună estimare poate fi obținută prin:
Cea mai bună estimare a termenului de căutare are o semnificație independentă în statistica matematică și se numește criteriul de probabilitate.
Acest criteriu poate fi utilizat atunci când este imposibil să se ia în considerare parametrul estimat este o valoare aleatoare, care este impusă de criteriul de risc mediu și maxim o densitate de probabilitate a posteriori.
În general, vom scrie funcția probabilitate nu este condiționată de o densitate care este valabilă atunci când parametrul estimat este o variabilă aleatoare și sub formă de parametri.
Pentru a simplifica calculele implicate în obținerea estimarea probabilității maxime poate fi orice funcție monoton crescătoare a funcției de probabilitate. Adesea, ei folosesc logaritmul natural.
Atunci când se efectuează unele destul de generale, maxime condițiile de risc estimări consistente. asimptotic eficiente și asimptotic distribuite în mod normal. Acest lucru înseamnă că
Dacă există o estimare eficientă parametru, metoda maximă verosimilitate exact această evaluare.
Ca un exemplu, vom găsi estimarea probabilității maxime de așteptarea unui vector Gaussian selectiv, pe care am discutat în secțiunile anterioare.
Documente conexe:
Programul educațional de bază