Tegyük fel, hogy van egy véletlenszerű példa az érdeklődő lakosságból. Lehet, hogy van egy elméleti modellünk arra, ahogyan a népesség eloszlik. Lehet, hogy több népesség is létezik paraméterek amelynek értékeit nem ismerjük. A maximális valószínűség becslése az egyik módszer az ismeretlen paraméterek meghatározására.
A maximális valószínűség becslés mögöttes gondolat az, hogy meghatározzuk ezen ismeretlen paraméterek értékeit. Ezt úgy hajtjuk végre, hogy maximalizáljuk a társított valószínűség-sűrűségfüggvényt vagy valószínűségi tömegfüggvény. Ezt részletesebben a következőkben láthatjuk. Ezután kiszámolunk néhány példát a maximális valószínűség becslésére.
A maximális valószínűség becslésének lépései
A fenti vita összefoglalható a következő lépésekkel:
- Kezdje az X független véletlen változók mintájával1, X2,... xn egy közös eloszlásból, mindegyiknél f (x; θ1,.. .θk). A thetas ismeretlen paraméterek.
- Mivel a mintánk független, a megfigyelt konkrét minta megszerzésének valószínűségét valószínűségünk szorzatával kapjuk meg. Ez egy L (θ) valószínűségfüggvényt ad nekünk 1,.. .θk) = f (x1 ;θ1,.. .θk) f (x2 ;θ1,.. .θk)... f (xn ;θ1,.. .θk) = Π f (xén ;θ1,.. .θk).
- Ezután használjuk Számítás hogy megtalálja a teta értékeit, amelyek maximalizálják az L valószínűségi függvényünket.
- Pontosabban, megkülönböztetjük az L valószínűségfüggvényt θ-hez viszonyítva, ha egyetlen paraméter létezik. Ha több paraméter létezik, akkor az L részleges deriváltjait kiszámoljuk az egyes teta paraméterek vonatkozásában.
- A maximalizálás folyamatának folytatása érdekében állítsa az L származékot (vagy részleges származékokat) nullára és oldja meg a teta értékét.
- Ezután más technikákat (például egy második derivált tesztet) használhatunk annak ellenőrzésére, hogy megtaláltuk-e a maximumot valószínűségi függvényünkhöz.
Példa
Tegyük fel, hogy van egy csomag vetőmagunk, amelyek mindegyike állandó valószínűséggel rendelkezik p a csírázás sikere. Növelünk n ezekből és számolja meg a csírázók számát. Tegyük fel, hogy minden vetőmag a többitől függetlenül csírázik. Hogyan határozhatjuk meg a paraméter maximális valószínűségi becslését? p?
Először azt vesszük észre, hogy mindegyik vetőt Bernoulli eloszlás modellezi, amelynek sikere: o. Hagyjuk x lehet 0 vagy 1, és az egyetlen vetőmag valószínűségi tömegfüggvénye: f( x; p ) = px(1 - p)1 - x.
A mintánk a következőkből áll: n különböző xén, mindegyikének van Bernoulli-eloszlása. A kihajtott magok rendelkeznek xén = 1 és a ki nem csírázható magok megvannak xén = 0.
A valószínűségi függvényt a következő adja meg:
L ( p ) = Π pxén(1 - p)1 - xén
Látjuk, hogy a valószínűségi függvény átírható az exponensek törvényei alapján.
L ( p ) = pΣ xén(1 - p)n - Σ xén
Ezután megkülönböztetjük ezt a funkciót az alábbiak szerint p. Feltételezzük, hogy az összes érték xén ismertek, és így állandóak. A valószínűségi függvény megkülönböztetéséhez a termékszabály és a teljesítményszabály:
L '( p ) = Σ xénp-1 + Σ xén (1 - p)n - Σ xén- (n - Σ xén ) pΣ xén(1 - p)n-1 - Σ xén
Néhány negatív kitevőt átírunk és rendelkezünk:
L '( p ) = (1/p) Σ xénpΣ xén (1 - p)n - Σ xén- 1/(1 - p) (n - Σ xén ) pΣ xén(1 - p)n - Σ xén
= [(1/p) Σ xén - 1/(1 - p) (n - Σ xén)]énpΣ xén (1 - p)n - Σ xén
Most, hogy folytatjuk a maximalizálási folyamatot, ezt a deriváltot nullára állítjuk és megoldjuk p:
0 = [(1/p) Σ xén - 1/(1 - p) (n - Σ xén)]énpΣ xén (1 - p)n - Σ xén
Mivel p és (1- p) nulla nulla
0 = (1/p) Σ xén - 1/(1 - p) (n - Σ xén).
Az egyenlet mindkét oldalát megszorozzuk p(1- p) ad nekünk:
0 = (1 - p) Σ xén - p (n - Σ xén).
Bővítjük a jobb oldalt és látjuk:
0 = Σ xén - p Σ xén - pn + pΣ xén = Σ xén - pn.
Így Σ xén = pn és (1 / n) Σ xén = p. Ez azt jelenti, hogy a maximális valószínűség becslése p egy minta átlag. Pontosabban, ez a csírázott magvak mintaaránya. Ez tökéletesen összhangban áll azzal, amit az intuíció mondana nekünk. A csírázó magok arányának meghatározása érdekében először vizsgálja meg az érdeklődő populációból vett mintát.
A lépések módosítása
A fenti lépések listájának van néhány módosítása. Például, amint fentebb láttuk, általában érdemes időt tölteni valamilyen algebrai felhasználásával a valószínűségfüggvény kifejezésének egyszerűsítésére. Ennek oka az, hogy a differenciálás könnyebben végrehajtható legyen.
A fenti lépések listájának másik módosítása a természetes logaritmus figyelembevétele. Az L függvény maximuma ugyanabban a pontban következik be, mint az L természetes logaritmusa. Így az Ln L maximalizálása megegyezik az L függvény maximalizálásával.
Sokszor az L exponenciális függvényei miatt az L természetes logaritmusának figyelembevétele nagyban leegyszerűsíti munkánkat.
Példa
Látjuk, hogyan kell használni a természetes logaritmust, ha felülnézzük a példát. A valószínűségi függvénnyel kezdjük:
L ( p ) = pΣ xén(1 - p)n - Σ xén .
Ezután a logaritmus törvényeinket alkalmazzuk és látjuk, hogy:
R ( p ) = ln L ( p ) = Σ xén ln p + (n - Σ xén) ln (1 - p).
Már látjuk, hogy a deriváltot sokkal könnyebb kiszámítani:
R '( p ) = (1/p) Σ xén - 1/(1 - p)(n - Σ xén) .
Most, mint korábban, ezt a deriváltot nullával egyenlővé tesszük, és mindkét oldalát szorzzuk meg p (1 - p):
0 = (1- p ) Σ xén - p(n - Σ xén) .
Mi megoldjuk p és találja meg ugyanazt az eredményt, mint korábban.
Az L (p) természetes logaritmusának felhasználása más módon is hasznos. Sokkal könnyebb kiszámítani az R (p) második származékát, hogy megbizonyosodjunk arról, hogy valóban van-e maximum egy (1 / n) point x pontbanén = p.
Példa
Tegyük fel például, hogy véletlenszerű X mintánk van1, X2,... xn egy olyan populációból, amelyet exponenciális eloszlással modellezünk. Az egyik véletlenszerű változó valószínűségi sűrűségfüggvényének formája van f( x ) = θ-1e -x/θ
A valószínűségfüggvényt az együttes valószínűségi sűrűségfüggvény adja. Ez a következő sűrűségfüggvények több termékének eredménye:
L (θ) = Π θ-1e -xén/θ = θ-ne -Σxén/θ
Ismét hasznos megfontolni a valószínűségfüggvény természetes logaritmusát. Ennek megkülönböztetése kevesebb munkát igényel, mint a valószínűségi függvény megkülönböztetése:
R (θ) = ln L (θ) = ln [θ-ne -Σxén/θ]
A logaritmus törvényeinket használjuk, és megkapjuk:
R (θ) = ln L (θ) = - n Ln + -Σxén/θ
Megkülönböztetjük θ szempontjából és:
R '(θ) = - n / θ + Σxén/θ2
Állítsa ezt a deriváltot nullára és látjuk, hogy:
0 = - n / θ + Σxén/θ2.
Szorozzuk meg mindkét oldalt θ2 és az eredmény:
0 = - n θ + Σxén.
Most használja az algebrát a for megoldásához:
θ = (1 / n) Σxén.
Ebből látjuk, hogy a mintavételi érték jelenti azt, amely maximalizálja a valószínűségi függvényt. A our paraméternek, hogy illeszkedjen a modellünkhöz, egyszerűen az összes megfigyelés átlagának kell lennie.
kapcsolatok
Vannak más típusú becslések is. A becslés egyik alternatív típusát an-nak hívják elfogulatlan becslő. Ehhez a típushoz ki kell számítanunk statisztikánk várható értékét, és meg kell határoznunk, hogy megfelel-e a megfelelő paraméternek.