Bayes təhlili

Bayes inferensiyası (ing. Bayesian inference) statistik inferensiyanın bir üsuludur və burada bir hipotezin ehtimalı əvvəlki sübutlara əsaslanaraq Bayes teoremi vasitəsilə hesablanır və yeni məlumat əldə edildikcə yenilənir. Əsas etibarilə Bayes inferensiyası aprior paylanmadan istifadə edərək aposterior ehtimalları qiymətləndirir. Bayes inferensiyası statistikada, xüsusilə də riyazi statistikada mühüm bir texnikadır. Bayes yenilənməsi məlumat ardıcıllığının dinamik təhlilində xüsusi əhəmiyyət daşıyır. Bayes inferensiyası elm, mühəndislik, fəlsəfə, tibb, idman və hüquq daxil olmaqla geniş fəaliyyət sahələrində tətbiq olunmuşdur. Qərar nəzəriyyəsi fəlsəfəsində Bayes inferensiyası tez-tez “Bayes ehtimalı” adlandırılan subyektiv ehtimal anlayışı ilə sıx əlaqələndirilir.

Bayes qaydasına giriş

Bayes teoreminin həndəsi vizuallaşdırılması. Cədvəldə 2, 3, 6 və 9 qiymətləri müvafiq şərt və hallar üçün nisbi çəkiləri göstərir. FiQurlar hər bir metrikdə iştirak edən cədvəl xanalarını ifadə edir; ehtimal isə kölgələnmiş sahənin payı kimi göstərilir. Bu, $P(A\mid B)P(B)=P(B\mid A)P(A)$, yəni $P(A\mid B)={\frac {P(B\mid A)P(A)}{P(B)}}$ olduğunu nümayiş etdirir. Oxşar məntiqdən istifadə etməklə $P(\neg A\mid B)={\frac {P(B\mid \neg A)P(\neg A)}{P(B)}}$ və s. göstərilə bilər.

Əsas məqalə: Bayes teoremi

Həmçinin bax: Bayes ehtimalı

Formal izah

Kontingensiya cədvəli

Hipotez Sübut	Hipotezi ödəyir H	Hipotezi pozur Şablon:Tmath		Cəm
Sübut var E	$P(H\mid E)\cdot P(E)$ $=P(E\mid H)\cdot P(H)$	$P(\neg H\mid E)\cdot P(E)$ $=P(E\mid \neg H)\cdot P(\neg H)$		Şablon:Tmath
Sübut yoxdur Şablon:Tmath	$P(H\mid \neg E)\cdot P(\neg E)$ $=P(\neg E\mid H)\cdot P(H)$	$P(\neg H\mid \neg E)\cdot P(\neg E)$ $=P(\neg E\mid \neg H)\cdot P(\neg H)$		$P(\neg E)$= $1-P(E)$
Cəm	Şablon:Tmath	$P(\neg H)=1-P(H)$	1

Bayes inferensiyası aposterior ehtimalı iki öncülün nəticəsi kimi əldə edir: aprior ehtimal və müşahidə olunan məlumatlar üçün statistik modeldən çıxarılan “ehtimal funksiyası”. Bayes inferensiyası aposterior ehtimalı Bayes teoreminə əsasən hesablayır:

$$P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}},$$

burada:

• $H$ — ehtimalı məlumatlardan (aşağıda “sübut” adlandırılır) asılı olaraq dəyişə bilən istənilən hipotezdir. Çox vaxt rəqabət aparan bir neçə hipotez olur və məqsəd onların hansının daha ehtimallı olduğunu müəyyən etməkdir.
• $P(H)$ — aprior ehtimaldır və $E$ sübutları müşahidə olunmazdan əvvəl hipotez $H$-nin ehtimalını ifadə edir.
• $E$ — sübutdur və aprior ehtimalın hesablanmasında istifadə olunmamış yeni məlumatlara uyğundur.
• $P(H\mid E)$ — aposterior ehtimaldır, yəni $E$ müşahidə edildikdən sonra
• $H$-nin ehtimalı. Bu, axtardığımız əsas kəmiyyətdir.
• $P(E\mid H)$ — $H$ doğru olduğu halda $E$-nin müşahidə olunma ehtimalıdır və likelihood adlanır. $H$ sabit saxlanılmaqla $E$-nin funksiyası kimi götürüldükdə, bu funksiya sübutun verilmiş hipotezlə uyğunluğunu göstərir. Ehtimal sübutun funksiyasıdır, aposterior ehtimal isə hipotezin funksiyasıdır.
• $P(E)$ — marjinal likelihood və ya “model sübutu” adlanır. Bu amil nəzərdən keçirilən bütün hipotezlər üçün eynidir və buna görə də hipotezlərin nisbi ehtimallarının müqayisəsinə təsir etmir.
• $P(E)>0$ (əks halda $0/0$ alınar).

$H$-nin müxtəlif qiymətləri üçün $P(H\mid E)$-nin dəyərinə yalnız surətdə olan $P(H)$ və $P(E\mid H)$ təsir göstərir – ; yəni hipotezin aposterior ehtimalı onun aprior ehtimalı (daxili inandırıcılığı) və yeni sübutlarla uyğunluğu ilə mütənasibdir.

$\neg H$ (“$H$ deyil”), yəni $H$-nin məntiqi inkarı, etibarlı hipotez olduqda Bayes qaydası aşağıdakı kimi yenidən yazıla bilər:

$${\begin{aligned}P(H\mid E)&={\frac {P(E\mid H)P(H)}{P(E)}}\\\\&={\frac {P(E\mid H)P(H)}{P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}}\\\\&={\frac {1}{1+\left({\frac {1}{P(H)}}-1\right){\frac {P(E\mid \neg H)}{P(E\mid H)}}}}\end{aligned}}$$

çünki

$$P(E)=P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)$$

və

$$P(H)+P(\neg H)=1.$$

Bu, aşağıdakı ifadəyə diqqəti yönəldir:

$$\left({\tfrac {1}{P(H)}}-1\right){\tfrac {P(E\mid \neg H)}{P(E\mid H)}}.$$

Əgər bu ifadə təqribən 1-ə bərabərdirsə, onda sübut verildikdə hipotezin ehtimalı $P(H\mid E)$ təxminən ${\tfrac {1}{2}}$-yə, yəni 50%-ə bərabərdir. Əgər bu termin çox kiçikdirsə (sıfra yaxın), onda $P(H\mid E)$ 1-ə yaxın olur və hipotez kifayət qədər ehtimallı sayılır. Əgər termin çox böyükdürsə (1-dən xeyli böyük), hipotez sübutlara baxmayaraq ehtimalsızdır. Əgər hipotez sübutlar nəzərə alınmadan da ehtimalsızdırsa, onda $P(H)$ kiçikdir (amma mütləq son dərəcə kiçik deyil) və ${\tfrac {1}{P(H)}}$ 1-dən xeyli böyük olur; bu halda termin təqribən ${\tfrac {P(E\mid \neg H)}{P(E\mid H)\cdot P(H)}}$ kimi ifadə oluna bilər və müvafiq ehtimallar birbaşa müqayisə edilə bilər.

Düsturu yadda saxlamağın sadə üsullarından biri vurma qaydasından istifadə etməkdir:

$$P(E\cap H)=P(E\mid H)P(H)=P(H\mid E)P(E).$$

Bayes yenilənməsinə alternativlər

Bayes yenilənməsi geniş şəkildə istifadə olunur və hesablama baxımından əlverişlidir. Lakin o, rasional hesab edilə bilən yeganə yenilənmə qaydası deyildir.

İen Hakkinq qeyd etmişdir ki, ənənəvi “Dutch book” arqumentləri Bayes yenilənməsini konkret şəkildə tələb etmir: bu arqumentlər qeyri-Bayes yenilənmə qaydalarının da Dutch book-lardan yayınmasının mümkünlüyünü açıq saxlayır. Hacking yazır: “Və nə Dutch book arqumenti, nə də şəxsi ehtimal yanaşmasının sübut arsenalındakı digər arqumentlər dinamik fərziyyəni tələb edir. Heç biri Bayesianizmi zəruri etmir. Buna görə də personalist Bayesçi olmaq üçün əlavə dinamik fərziyyə qəbul etməlidir. Doğrudur, ardıcıllıq naminə personalist təcrübədən öyrənmənin Bayes modelindən imtina edə bilər. Bu halda isə duz öz dadını itirər.”

Doğrudan da, Riçard Ceffri qaydasının nəşrindən sonra (burada Bayes qaydası sübutun özünün də ehtimalla qiymətləndirildiyi hallara tətbiq olunur) “ehtimal kinematikası” ədəbiyyatında müzakirə edildiyi kimi, Dutch book-lardan yayınan qeyri-Bayes yenilənmə qaydaları mövcuddur. Bayes yenilənməsini yeganə zəruri qayda kimi tələb etmək üçün lazım olan əlavə hipotezlər isə əhəmiyyətli, mürəkkəb və qənaətbəxş olmayan hesab edilmişdir.

Qarşılıqlı istisna edən və tam olan imkanlar üzərində inferensiya

Əgər sübut eyni zamanda qarşılıqlı istisna edən və tam olan müddəalar toplusu üzrə inamı yeniləmək üçün istifadə edilirsə, Bayes inferensiyasını bu inam paylanmasına bütöv şəkildə təsir edən bir mexanizm kimi başa düşmək olar.

Ümumi formulasiya

Bayes inferensiyasının ümumi formulyasiyasında hadisə məkanı $\Omega$-nı göstərən diaqram. Bu diaqram diskret modellər və hadisələri göstərsə də, fasiləsiz hal ehtimal sıxlıqları vasitəsilə oxşar şəkildə təsəvvür edilə bilər.

Tutaq ki, bir proses müstəqil və eyni paylanmaya malik hadisələr yaradır: $E_{n},\ n=1,2,3,\ldots$, lakin bu hadisələrin ehtimal paylanması naməlumdur. Hadisə məkanı $\Omega$ bu proses barədə mövcud inam vəziyyətini təmsil etsin. Hər bir model $M_{m}$ hadisəsi ilə ifadə olunur. Modelləri müəyyən etmək üçün $P(E_{n}\mid M_{m})$ şərti ehtimalları verilir. $P(M_{m})$ isə $M_{m}$-ə olan inam dərəcəsini ifadə edir. İlk inferensiya addımından əvvəl ${P(M_{m})}$ çoxluğu ilkin aprior ehtimallar toplusudur. Bu ehtimalların cəmi 1-ə bərabər olmalıdır, lakin başqa baxımdan ixtiyaridir.

Fərz edək ki, prosesin $E\in {E_{n}}$ hadisəsini yaratdığı müşahidə olunur. Hər bir $M\in {M_{m}}$ üçün aprior $P(M)$ ehtimalı aposterior $P(M\mid E)$ ehtimalına yenilənir. Bayes teoreminə görə:

$$P(M\mid E)={\frac {P(E\mid M)}{\sum _{m}{P(E\mid M_{m})P(M_{m})}}}\cdot P(M).$$

Əlavə sübut müşahidə edildikcə bu prosedur təkrar oluna bilər.

Çoxsaylı müşahidələr

Müstəqil və eyni paylanmaya malik müşahidələr ardıcıllığı üçün $\mathbf {E} =(e_{1},\dots ,e_{n})$, induksiya yolu ilə göstərilə bilər ki, yuxarıdakı qaydanın təkrar-təkrar tətbiqi aşağıdakı ifadəyə ekvivalentdir:

$$P(M\mid \mathbf {E} )={\frac {P(\mathbf {E} \mid M)}{\sum _{m}{P(\mathbf {E} \mid M_{m})P(M_{m})}}}\cdot P(M),$$

burada

$$P(\mathbf {E} \mid M)=\prod _{k}{P(e_{k}\mid M)}.$$

Parametrik formulasiya: formal təsvirin motivasiyası

Modellər məkanını parametrləşdirməklə bütün modellərə olan inamı bir addımda yeniləmək mümkündür. Bu halda model məkanı üzrə inam paylanması parametr məkanı üzrə inam paylanması kimi şərh edilə bilər. Bu bölmədə paylanmalar fasiləsiz hesab olunur və ehtimal sıxlıqları ilə ifadə edilir; bu, ən çox rast gəlinən haldır. Lakin texnika diskret paylanmalara da eyni dərəcədə tətbiq oluna bilər.

${\boldsymbol {\theta }}$ vektoru parametr məkanını əhatə etsin. ${\boldsymbol {\theta }}$ üzrə ilkin aprior paylanma $p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})$ olsun; burada ${\boldsymbol {\alpha }}$ apriorun öz parametrləri, yəni hiperparametrlərdir. $\mathbf {E} =(e_{1},\dots ,e_{n})$ müstəqil və eyni paylanmaya malik hadisə müşahidələri ardıcıllığı olsun və bütün $e_{i}$-lər bəzi ${\boldsymbol {\theta }}$ üçün $p(e\mid {\boldsymbol {\theta }})$ paylanmasına malik olsun. Bayes teoremi tətbiq edilərək ${\boldsymbol {\theta }}$ üzrə aposterior paylanma tapılır:

$${\begin{aligned}p({\boldsymbol {\theta }}\mid \mathbf {E} ,{\boldsymbol {\alpha }})&={\frac {p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})}{p(\mathbf {E} \mid {\boldsymbol {\alpha }})}}\cdot p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})\\&={\frac {p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})}{\int p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})\,p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})\,d{\boldsymbol {\theta }}}}\cdot p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }}),\end{aligned}}$$

burada

$$p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})=\prod _{k}p(e_{k}\mid {\boldsymbol {\theta }}).$$

Tarixi

Əsas məqalə: Statistika tarixi § Bayes statistikası

Bayesçi (Bayesian) termini ehtimal nəzəriyyəsində naməlum bir hadisə üçün ehtimal sərhədlərinin müəyyən edilə biləcəyini sübut etmiş Thomas Bayesə (1701–1761) istinad edir. Lakin bu gün Bayes teoremi kimi tanınan anlayışı (Prinsip VI kimi) formalaşdıran və onu səma mexanikası, tibbi statistika, etibarlılıq və məhkəmə hüququ sahələrində tətbiq edən şəxs Pierre-Simon Laplace (1749–1827) olmuşdur.

Laplasın yetərsiz səbəb prinsipinə əsaslanan vahid prior ehtimallardan istifadə edən erkən Bayesçi nəticəçıxarma “inverse probability” adlandırılmışdır. Bu termin müşahidələrdən parametrlərə, yaxud nəticələrdən səbəblərə doğru geriyə istiqamətli induktiv mülahizəni ifadə edir. 1920-ci illərdən sonra “əks ehtimal” anlayışı əsasən tezlikçi statistika (frequentist statistics) kimi tanınan metodlar toplusu tərəfindən sıxışdırılmışdır.

XX əsrdə Laplasın ideyaları Bayesçi praktikada iki fərqli istiqamətdə inkişaf etdirilmiş və nəticədə obyektiv və subyektiv cərəyanlar formalaşmışdır. Obyektiv və ya “qeyri-informativ” cərəyanda statistik təhlil yalnız qəbul edilən modeldən, təhlil olunan məlumatlardan və priorun təyin edilməsi metodundan asılıdır; bu metod isə müxtəlif obyektiv Bayesçi tədqiqatçılar arasında fərqlənə bilər. Subyektiv və ya “informativ” cərəyanda isə priorun müəyyən edilməsi inanclara əsaslanır; bu inanclar ekspert biliklərini, əvvəlki tədqiqatların nəticələrini və digər məlumat mənbələrini ümumiləşdirə bilər.

1980-ci illərdə Bayesçi metodların tədqiqi və tətbiqində kəskin artım müşahidə olunmuşdur. Bu artım əsasən Markov zənciri Monte Karlo metodlarının kəşfi ilə əlaqələndirilir; sözügedən metodlar bir çox hesablama çətinliklərini aradan qaldırmış və qeyri-standart, mürəkkəb tətbiqlərə marağı artırmışdır. Bayesçi tədqiqatların artmasına baxmayaraq, ali məktəblərdə statistik tədris hələ də əsasən tezlikçi statistikaya söykənir. Bununla belə, Bayesçi metodlar geniş şəkildə qəbul edilir və tətbiq olunur; məsələn, maşın öyrənməsi sahəsində bu metodlardan fəal istifadə edilir.

İstinadlar

Mənbə

• Aster, Richard; Borchers, Brian, and Thurber, Clifford (2012). Parameter Estimation and Inverse Problems, Second Edition, Elsevier. ISBN 0123850487, ISBN 978-0123850485
• Bickel, Peter J.; Doksum, Kjell A. Mathematical Statistics, Volume 1: Basic and Selected Topics (Second (updated printing 2007)). Pearson Prentice–Hall. 2001. ISBN 978-0-13-850363-5.
• Box, G. E. P. and Tiao, G. C. (1973). Bayesian Inference in Statistical Analysis, Wiley, ISBN 0-471-57428-7
• Edwards, Ward. Conservatism in Human Information Processing // Kleinmuntz, B. (redaktor). Formal Representation of Human Judgment. Wiley. 1968.
• Edwards, Ward. Daniel Kahneman; Paul Slovic; Amos Tversky (redaktorlar ). "Judgment under uncertainty: Heuristics and biases". Science. 185 (4157). 1982: 1124–1131. Bibcode:1974Sci...185.1124T. doi:10.1126/science.185.4157.1124. PMID 17835457. Chapter: Conservatism in Human Information Processing (excerpted)
• Jaynes E. T. (2003) Probability Theory: The Logic of Science, CUP. ISBN 978-0-521-59271-0 (Link to Fragmentary Edition of March 1996 Arxiv surəti 8 noyabr 2020 tarixindən Wayback Machine saytında).
• Howson, C.; Urbach, P. Scientific Reasoning: the Bayesian Approach (3rd). Open Court Publishing Company. 2005. ISBN 978-0-8126-9578-6.
• Phillips, L. D.; Edwards, Ward. Chapter 6: Conservatism in a Simple Probability Inference Task (Journal of Experimental Psychology (1966) 72: 346-354) // Jie W. Weiss; David J. Weiss (redaktorlar ). A Science of Decision Making:The Legacy of Ward Edwards. Oxford University Press. oktyabr 2008. səh. 536. ISBN 978-0-19-532298-9.

Əlavə ədəbiyyat

• For a full report on the history of Bayesian statistics and the debates with frequentists approaches, read Vallverdu, Jordi. Bayesians Versus Frequentists A Philosophical Debate on Statistical Reasoning. New York: Springer. 2016. ISBN 978-3-662-48638-2.
• Clayton, Aubrey. Bernoulli's Fallacy: Statistical Illogic and the Crisis of Modern Science. Columbia University Press. avqust 2021. ISBN 978-0-231-55335-3.

İbtidai

The following books are listed in ascending order of probabilistic sophistication:

• Stone, JV (2013), "Bayes' Rule: A Tutorial Introduction to Bayesian Analysis", Download first chapter here, Sebtel Press, England.
• Dennis V. Lindley. Understanding Uncertainty, Revised Edition (2nd). John Wiley. 2013. ISBN 978-1-118-65012-7.
• Colin Howson; Peter Urbach. Scientific Reasoning: The Bayesian Approach (3rd). Open Court Publishing Company. 2005. ISBN 978-0-8126-9578-6.
• Berry, Donald A. Statistics: A Bayesian Perspective. Duxbury. 1996. ISBN 978-0-534-23476-8.
• Morris H. DeGroot; Mark J. Schervish. Probability and Statistics (third). Addison-Wesley. 2002. ISBN 978-0-201-52488-8.
• Bolstad, William M. (2007) Introduction to Bayesian Statistics: Second Edition, John Wiley ISBN 0-471-27020-2
• Winkler, Robert L. Introduction to Bayesian Inference and Decision (2nd). Probabilistic. 2003. ISBN 978-0-9647938-4-2. Updated classic textbook. Bayesian theory clearly presented.
• Lee, Peter M. Bayesian Statistics: An Introduction. Fourth Edition (2012), John Wiley ISBN 978-1-1183-3257-3
• Carlin, Bradley P.; Louis, Thomas A. Bayesian Methods for Data Analysis, Third Edition. Boca Raton, FL: Chapman and Hall/CRC. 2008. ISBN 978-1-58488-697-6.
• Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B. Bayesian Data Analysis, Third Edition. Chapman and Hall/CRC. 2013. ISBN 978-1-4398-4095-5.

Orta və ya qabaqcıl

• Berger, James O. Statistical Decision Theory and Bayesian Analysis. Springer Series in Statistics (Second). Springer-Verlag. 1985. Bibcode:1985sdtb.book.....B. ISBN 978-0-387-96098-2.
• Bernardo, José M.; Smith, Adrian F. M. Bayesian Theory. Wiley. 1994.
• Morris H. DeGroot, Optimal Statistical Decisions. Wiley Classics Library. 2004. (Originally published (1970) by McGraw-Hill.) ISBN 0-471-68029-X.
• Schervish, Mark J. Theory of statistics. Springer-Verlag. 1995. ISBN 978-0-387-94546-0.
• Jaynes, E. T. (1998). Probability Theory: The Logic of Science.
• O'Hagan, A. and Forster, J. (2003). Kendall's Advanced Theory of Statistics, Volume 2B: Bayesian Inference. Arnold, New York. ISBN 0-340-52922-9.
• Robert, Christian P. The Bayesian Choice: From Decision-Theoretic Foundations to Computational Implementation (paperback). Springer. 2007. ISBN 978-0-387-71598-8.
• Pearl, Judea. (1988). Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference, San Mateo, CA: Morgan Kaufmann.
• Pierre Bessière et al. (2013). "Bayesian Programming". CRC Press. ISBN 9781439880326
• Francisco J. Samaniego (2010). "A Comparison of the Bayesian and Frequentist Approaches to Estimation". Springer. New York, ISBN 978-1-4419-5940-9