Matematická statistika

Teorie pravděpodobnosti popisuje vznik náhodných dat, zatímco matematická statistika usuzuje z dat na charakter procesů, jimiž data vznikla

Matematická statistika je vědecká disciplína na pomezí popisné statistiky a aplikované matematiky. Zabývá se teoretickým rozborem a návrhem metod získávání a analýzy empirických dat obsahujících prvek nahodilosti, tedy teorií plánování experimentů, výběrů, statistických odhadů, testování hypotéz a statistických modelů. S využitím aparátu teorie pravděpodobnosti se snaží odhadnout vlastnosti rozdělení pozorovaných dat, chápaných jako realizace náhodných veličin, a metodologicky plánovat sběr dat tak, aby toto odhadování bylo efektivní. Jestliže tedy teorie pravděpodobnosti na základě znalosti chování určité náhodné veličiny určuje pravděpodobnost určitého výsledku (náhodného pokusu), matematická statistika naopak na základě dat hledá vlastnosti náhodné veličiny. Tento postup se označuje jako statistická inference, statistická indukce nebo statistické usuzování. Základními typy statistické inference jsou bodový odhad, intervalový odhad a testování hypotéz. Jako statistické modelování se označuje tvorba a testování komplexních hypotéz o datech, zahrnující obvykle určování více parametrů či složitou strukturu dat.

Matematická statistika se vyvíjela paralelně s teorií pravděpodobnosti. První netriviální postupy tohoto oboru byly známy již v 18. století. Na počátku 19. století Carl Friedrich Gauss a Adrien-Marie Legendre vynalezli metodu nejmenších čtverců a na konci tohoto století a na počátku 20. století se matematické metody statistiky začaly rychle rozvíjet v souvislosti s eugenickým a biologickým výzkumem. Rozhodující podíl na vzniku matematické statistiky jako samostatné disciplíny v dnešním pojetí měli v první polovině 20. století britský statistik a genetik Ronald Fisher a dále Jerzy Neyman s Egonem Pearsonem, od nichž pochází dnes běžná teorie testování hypotéz a intervalových odhadů. Od té doby se matematická statistika bouřlivě rozvíjí a její metody se používají ve všech empirických vědách při získávání a interpretaci dat.

Historie

Nejstarší statistický test

Nejstarší doložený příklad statistického testu je článek An Argument for Divine Providence, který roku 1710 uveřejnil John Arbuthnot. Z dat londýnských matrik za roky 1629–1710 Arbuthnot zjistil, že v každém z těchto 82 let bylo pokřtěno více chlapců než dívek. Kdyby se rodilo zhruba stejně chlapců jako dívek, bylo by to, jako by v 82 hodech mincí pokaždé padl orel. Pravděpodobnost takového jevu je $1/2^{82}$, což se přibližně rovná 1 / 4 836 000 000 000 000 000 000 000. Arbuthnot tak nepravděpodobnou možnost zavrhl (moderním jazykem řečeno zamítl nulovou hypotézu stejné pravděpodobnosti narození chlapce jako dívky) a prohlásil, že chlapců se prostě rodí více. Článek měl ambice více filosofické a morální a objev testu je tak spíše vedlejší produkt – Arbuthnot ze svého výpočtu odvodil, že vzhledem k vyšší úmrtnosti mužů je jím dokázaný jev projevem péče božské Prozřetelnosti o lidstvo. Bůh se tak stará, aby na jednoho muže v dospělosti připadala jedna žena, což zároveň svědčí o nepřirozenosti a škodlivosti polygamie.

Některé prvky matematické statistiky se objevily již v 17. a 18. století. Šlo zejména o vyrovnávací počet, který začal pro účely astronomie používat již Galileo Galilei a pro účely geodetických měření rozvinul Roger Boscovich. Již v roce 1710 uveřejnil John Arbuthnot první článek, v němž byl použit statistický test, význam tohoto myšlenkového postupu však ještě dlouho poté unikal pozornosti přírodovědců. V tomto období byly také položeny základy teorie pravděpodobnosti. Mezi zakladatele této disciplíny patří Pierre de Fermat, Blaise Pascal a Christiaan Huygens v 17. století, Jacob Bernoulli, Abraham de Moivre, Thomas Bayes a Pierre Simon de Laplace ve století 18. Bayes a Laplace započali teorii induktivního pravděpodobnostního uvažování, jež je základem dnešního bayesovského přístupu ke statistice, nazvaného na počest prvního z nich.

19. století přineslo další rozvoj metod teorie pravděpodobnosti a rodící se matematické statistiky. Na jeho počátku byla objevena metoda nejmenších čtverců. Zřejmě ji použil Carl Friedrich Gauss již roku 1801 při výpočtu dráhy planetky Ceres, ale poprvé byla uveřejněna roku 1805 Legendrem, který ji objevil nezávisle na Gaussovi. V tomto století se také metody matematické statistiky začaly z fyzikálních věd šířit i do oblasti věd biologických a humanitních. Adolphe Quetelet je aplikoval na demografii, Gustav Fechner využil pro psychologické experimenty a Francis Galton v rámci svých studií dědičnosti zavedl pojem korelace a objevil regresi k průměru, z níž pak vznikl název regresní analýza. Charles Sanders Peirce v pojednáních Illustrations of the Logic of Science (1877–1878) a A Theory of Probable Inference (1883) formuloval mnohé základní prvky matematické statistiky, zejména položil základy teorie testování hypotéz a randomizovaných experimentů. Testování hypotéz na přelomu 19. a 20. století rozvíjeli Karl Pearson (chí-kvadrátový test) a William Sealy Gosset, známý pod pseudonymem Student (t-test).

Vlastním zakladatelem moderní matematické statistiky jako disciplíny se stal britský statistik a genetik Ronald Fisher. Napsal vlivné učebnice Statistical Methods for Research Workers (1925) a The Design of Experiments (1935) a objevil či podstatně prohloubil celou řadu klíčových metod a pojmů jako jsou analýza rozptylu, metoda maximální věrohodnosti, diskriminační analýza, informace a plánování experimentů.

Fisherovo pojetí brzy doplnil a v důležitých ohledech přeformuloval Jerzy Neyman ve spolupráci s Egonem Pearsonem. Roku 1933 uveřejnili teorii nejsilnějších testů, z níž pochází dnes běžný pojmový aparát testování – alternativní hypotéza, chyby prvního a druhého druhu, síla testu – i takzvané Neymanovo–Pearsonovo lemma, které udává, jak sestrojit nejsilnější test pro dvojici jednoduchých hypotéz. Neyman rovněž roku 1937 zavedl intervaly spolehlivosti v dnešním pojetí, tedy jako náhodné intervaly s předem zaručenou pravděpodobností pokrytí odhadovaného parametru. Fisherovo pojetí testu významnosti a Neymanovo–Pearsonovo pojetí testování hypotéz vycházejí z odlišných východisek a jejich autoři spolu o nich vedli ostré spory; učebnicová praxe je nicméně později spojila do jediného schématu. Teoretické zázemí oboru dále upevnila axiomatizace teorie pravděpodobnosti, kterou roku 1933 podal Andrej Nikolajevič Kolmogorov, a statistická rozhodovací teorie Abrahama Walda, jež odhadování i testování zahrnula do jednotného rámce minimalizace očekávané ztráty.

Kolem poloviny 20. století se matematická statistika stala samostatným oborem na pomezí čisté a aplikované matematiky, který se rozvíjí řadou směrů. Teorii statistických dat, experimentálního designu a výběru obohatili například William Gemmell Cochran, Leslie Kish, C. R. Rao a Donald Rubin. Frank Hampel, Peter J. Huber, John Tukey a další badatelé rozvíjeli robustní metody odhadů, jež jsou málo citlivé k extrémním hodnotám v datovém souboru. V návaznosti na klasické Thurstonovy a Guttmanovy práce vznikla teorie a metodologie statistického škálování, k níž přispěli například Clyde H. Coombs, Roger N. Shepard, Joseph B. Kruskal a rovněž Lee J. Cronbach teorií reliability škál. Analýzu kategorizovaných dat obohatil Leo A. Goodman metodologií logaritmickolineárních modelů.

Inspirace z oblasti sociálních věd přinesla například rozpracování metod z okruhu faktorové analýzy, jejíž základy položili psychologové Charles Spearman a Raymond Cattell a později rozpracovali Karl G. Jöreskog a Dag Sörbom, dále teorie latentních tříd, kterou navrhl sociolog Paul Felix Lazarsfeld, či teorie rozhodovacích stromů, u jejíchž kořenů stojí sociologové William A. Belson a James N. Morgan a jimž algoritmickou podobu dal v 80. letech Leo Breiman se svými spolupracovníky (metoda CART). V oblasti ekonomie a ekonometrie působili například Harold Hotelling (kanonická korelační analýza) nebo James Tobin (regrese cenzorovaných dat). Významná pro ekonomii je rovněž statistická analýza časových řad, k níž přispěli například George Box a Gwilym Jenkins modely typu ARIMA, dále Robert F. Engle, jenž roku 1982 navrhl model podmíněné heteroskedasticity ARCH, a Tim Bollerslev s jeho zobecněním GARCH. Rozvinula se též analýza přežití, na níž se podíleli mimo jiné Edward L. Kaplan, Paul Meier a David Cox. Použití metod matematické statistiky v průmyslu je spojeno se jmény Waltera A. Shewharta a W. Edwardse Deminga, kteří se stali zakladateli metodologie a hnutí řízení kvality. Rychle stoupá význam metaanalýzy, metodologie umožňující kombinovat výsledky většího množství nezávislých empirických studií; sám termín zavedl roku 1976 Gene V. Glass a ze statistiků k její teorii přispěli například Nambury S. Raju, Larry V. Hedges, John E. Hunter, Jacob Cohen či Thomas C. Chalmers.

Nástup počítačů v polovině 20. století se projevil usnadněním rozsáhlých výpočtů, které s sebou matematická statistika přináší, a umožnil i vznik takzvaných výpočetně náročných metod ve statistice, často založených na myšlence algoritmu Monte Carlo, tedy opakovaném generování náhodných jedinců ze zkoumané populace. Do této skupiny patří i bootstrap, který roku 1979 zavedl Bradley Efron: rozdělení odhadu se v něm aproximuje opakovaným výběrem s vracením z už pozorovaných dat, takže směrodatnou chybu či interval spolehlivosti lze určit i tam, kde není znám použitelný analytický vzorec. Růst výpočetní síly také koncem 20. století umožnil rychlý nástup bayesovských metod, které sice již dříve propagovali například Harold Jeffreys nebo Edwin Thompson Jaynes, ale které byly zhruba až do sedmdesátých let limitovány jak nedostatečnou výpočetní silou počítačů, tak i nepřítomností numerické metodologie, která by umožnila odhadnout složité integrály vznikající při jejich nasazení. Dalším aspektem rozšíření počítačů byl rozvoj programového vybavení pro matematickou statistiku. Zejména nástup univerzálních programových balíků od 60. let 20. století umožnil uživatelsky příjemným způsobem masově aplikovat výsledky vědecké práce v tomto oboru.

Data a jejich získávání

Statistická data, v dnešní době dostupná obvykle v podobě počítačových databází, se dají zkoumat z různých hledisek.

Data především mohou být úplná a zahrnovat celou základní populaci (čili základní soubor), tedy všechny objekty našeho zájmu. Častěji však máme k dispozici jen jejich podmnožinu, zvanou ve statistice výběr, výběrový soubor, výběrová populace či vzorek. Počet objektů v této podmnožině se označuje $n$ a nazývá rozsah výběru. Postupy získávání výběru zkoumá teorie výběru, která se zabývá mimo jiné tím, zda je výběr reprezentativní, tedy zda popisné charakteristiky výběru se až na náhodnou výběrovou chybu shodují s charakteristikami celé základní populace. Základním způsobem dosahování reprezentativnosti přitom jsou různé druhy pravděpodobnostního výběru, při nichž má každý prvek základní populace známou nenulovou pravděpodobnost, že bude obsažen ve vzorku. Není-li výběr reprezentativní, vzniká systematická chyba, která znemožňuje korektní zobecnění výsledků analýzy na celou základní populaci. Často však není pravděpodobnostní výběr možný a jsou k dispozici např. pouze data vzniklá „na základě příležitosti“ (oportunitní), o jejichž reprezentativnosti není jasno – to se týká např. mnoha situací v astronomii nebo historických vědách. V takovém případě je k zobecnění potřeba přistupovat s velkou opatrností.

Zkoumají-li se kauzální závislosti, tedy vliv různých zásahů, používá se experimentální design. Například některé náhodně vybrané prvky populace mohou být podrobeny zásahu, jehož efekt se zkoumá, zatímco zbylé slouží jako kontrolní skupina. Rozdíl mezi ošetřenou a kontrolní skupinou pak lze až na výběrovou chybu interpretovat jako vliv zásahu. Právě náhodné přiřazení k zásahu je tím, co odlišuje experiment od pouhého pozorování: u dat pořízených bez zásahu experimentátora (observačních) může za zjištěnou souvislost stát i společná příčina obou sledovaných veličin, takže kauzální výklad vyžaduje další předpoklady. Do designu vytváření a sběru dat se může promítnout i čas, takže hovoříme o časových řadách a longitudinálních studiích.

Data obsahují hodnoty sledovaných znaků (či – z hlediska datového souboru – proměnných), což mohou být hodnoty jak numerické (např. délka života pacienta po operaci), tak i nenumerické, kategoriální (např. umístění nádoru v těle). Podle toho, jakou interpretaci numerická data mají, tj. zda je např. lze pouze seřadit, nebo zda je lze i sčítat, hovoří se pak ještě o měřítku proměnné čili typu škály. Zvláštním problémem analýzy jsou chybějící údaje – data, která nebyla zjištěna, ztratila se anebo nejsou smysluplně definována. Zásadní je, zda mechanismus jejich vzniku souvisí se zjišťovanými hodnotami. Rozlišují se údaje chybějící zcela náhodně (MCAR), kdy pravděpodobnost výpadku nezávisí na datech vůbec, údaje chybějící náhodně (MAR), kdy závisí pouze na hodnotách, které byly zjištěny, a údaje chybějící nenáhodně (MNAR), kdy závisí na samotné nezjištěné hodnotě; jen v prvních dvou případech lze mechanismus výpadku při inferenci za jistých podmínek ignorovat. Prosté vypuštění neúplných pozorování může vést k systematické chybě, a proto se používají různé techniky doplňování chybějících hodnot (imputace).

Explorační analýza

Explorační analýza dat (Exploratory data analysis, EDA) je souhrn metod používaných pro průzkum dat a hledání hypotéz, které stojí za to testovat (testování se v tomto kontextu označuje jako konfirmační analýza). Explorační analýzu etabloval jako samostatný podobor statistiky John Tukey. Hlavní úkoly explorační analýzy dat jsou:

• Navrhnout hypotézy o příčinách pozorovaných jevů.
• Ověřit předpoklady statistických metod, které se použijí.
• Podložit výběr vhodných statistických nástrojů a technik.
• Poskytnout základnu dalšímu sběru dat pomocí průzkumů či experimentů.

Charakteristickým rysem těchto postupů je důraz na grafické zobrazení dat a na charakteristiky odolné vůči odlehlým hodnotám. K základnímu vybavení patří histogram a odhad hustoty pro posouzení tvaru rozdělení jedné proměnné, krabicový graf (box plot), který navrhl Tukey a který shrnuje polohu, rozptýlení a odlehlá pozorování pomocí kvantilů, a bodový graf pro dvojice proměnných. Namísto průměru a směrodatné odchylky se přitom často používá medián a mezikvartilové rozpětí, které jednotlivé extrémní hodnoty prakticky neovlivní.

Na přechodu mezi explorační analýzou a statistickou inferencí pak stojí metody jako škálování (zařazení pozorování na vhodnou škálu) nebo redukce dimenzionality a jiné transformace dat.

Statistická inference

Základní úlohou matematické statistiky je zobecnění (zvané v tomto oboru statistická inference, statistická indukce či statistické usuzování): zkoumá se, jak informace zjištěné o prvcích výběru zobecnit na celou populaci. Používané metody se opírají o zákon velkých čísel a příbuzné věty teorie pravděpodobnosti, jako je například Glivenkova–Cantelliho věta; ty ukazují, že při rostoucím rozsahu reprezentativního výběru se výběrové odhady obvykle limitně blíží skutečným hodnotám na celé populaci. Neméně důležitá je centrální limitní věta, podle níž má součet či průměr velkého počtu nezávislých veličin přibližně normální rozdělení; právě ona vysvětluje, proč lze rozdělení mnoha odhadů a testových statistik aproximovat normálním rozdělením i tehdy, když rozdělení jednotlivých pozorování normální není. Matematická statistika zároveň stanovuje, jak přesný tento odhad pro daná data je (intervalový odhad), anebo testuje, zda vlastnosti vzorku jsou slučitelné s předpoklady o chování celé populace (testování statistických hypotéz).

Odhady

Příklad: Bodový odhad střední hodnoty

Střední hodnota reálné náhodné veličiny X s hustotou pravděpodobnosti p(x) se určí jako $\operatorname {E} X=\int _{-\infty }^{+\infty }x\,p(x)\,\mathrm {d} x$ Tento integrál nelze přesně vypočítat z dat výběru xi (tedy z konečného počtu realizací náhodné veličiny X), ale lze ho aproximovat výběrovým průměrem počítaným podle vztahu ${\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}$. Jsou-li splněny předpoklady zákona velkých čísel, konverguje tato aproximace k EX s rostoucím rozsahem výběru n.

Číslo definované jako funkce rozdělení nějaké náhodné veličiny se označuje jako statistický funkcionál. Příkladem takového funkcionálu je střední hodnota nebo rozptyl. Často je třeba z dat o výběrové populaci odhadnout jeho hodnotu na základní populaci. Tato úloha se označuje odhad. Nejjednodušším přístupem je vypočítat vhodný bodový odhad, tedy jedno číslo, které co nejlépe aproximuje hledaný statistický funkcionál. Odhad se počítá z dat výběru, je tedy sám náhodnou veličinou; funkce pozorovaných hodnot, která se k tomu použije, se nazývá statistika.

Pro tutéž veličinu lze obvykle sestrojit více různých odhadů, a je proto třeba je porovnávat. Odhad se nazývá nestranný, je-li jeho střední hodnota rovna odhadované hodnotě, takže systematicky nenadhodnocuje ani nepodhodnocuje; rozdíl obou hodnot se označuje jako vychýlení. Konzistentní odhad se s rostoucím rozsahem výběru blíží odhadované hodnotě. Vydatnost (eficience) porovnává rozptyly nestranných odhadů – vydatnější je ten s menším rozptylem, přičemž dolní mez rozptylu za obecných podmínek udává Raova–Cramérova nerovnost prostřednictvím Fisherovy informace. Postačující statistika je taková funkce dat, která zachovává veškerou informaci o odhadovaném parametru obsaženou ve výběru. Nestrannost a malý rozptyl mohou být v konfliktu, a proto se odhady srovnávají též podle střední kvadratické chyby, jež obě hlediska spojuje.

Existují obecné postupy, jak odhady konstruovat. Momentová metoda ztotožňuje teoretické momenty rozdělení s momenty spočtenými z dat a z takto vzniklých rovnic určí parametry. Obecnější a častěji používaná je metoda maximální věrohodnosti, která za odhad volí ty hodnoty parametrů, při nichž je pravděpodobnost (hustota) pozorovaných dat nejvyšší; její odhady jsou za obecných podmínek konzistentní a asymptoticky vydatné. Metoda nejmenších čtverců pak minimalizuje součet čtverců odchylek pozorovaných hodnot od hodnot modelovaných.

Sám o sobě však bodový odhad obvykle nestačí, protože neposkytuje žádnou představu o přesnosti získané aproximace. Proto se počítá intervalový odhad, jehož výsledkem je interval spolehlivosti (konfidenční interval), tedy interval, který s předem zadanou pravděpodobností (spolehlivostí) pokrývá hledanou hodnotu na základní populaci. Výsledek se pak často udává ve formě

bodový odhad ± polovina šířky intervalu spolehlivosti.

V bayesovském přístupu ke statistice se namísto konfidenčního intervalu zjišťuje rozdělení zkoumaného parametru podmíněné daty výběrové populace, takzvané aposteriorní rozdělení. Interval, do něhož podle tohoto rozdělení parametr se zadanou pravděpodobností padne, se nazývá kredibilní interval. Na rozdíl od konfidenčního intervalu se tedy pravděpodobnost vztahuje přímo k parametru, nikoli k postupu opakovaného výběru.

Testování hypotéz

Testování hypotézy je postup, který umožňuje na základě naměřených dat určit, zda náhodná veličina, jejímiž realizacemi data jsou, vykazuje určitou vlastnost. Například lze testovat, zda se střední hodnota náhodné veličiny liší od dané konstantní hodnoty – praktickou aplikací takového testu by mohlo být, zda je soustruh dobře seřízen a střední hodnota průměru jím vyráběných součástek se rovná hodnotě předepsané výkresem. V takovém případě je možné použít jednovýběrový t-test, jsou-li rozměry součástek normálně rozděleny.

Testování může zahrnovat i více proměnných. Příkladem může být test toho, zda se navzájem liší střední hodnota náhodné veličiny X ve skupinách definovaných diskrétní náhodnou veličinou Y – takovýto test může být užitečný například v situaci, kdy X je výnos jabloní a Y je značka hnojiva, kterým se stromy ošetřují, takže test zjišťuje, zda se účinky jednotlivých hnojiv od sebe statisticky významně liší. V tomto případě lze při testování využít analýzu rozptylu, jsou-li splněny předpoklady této metody.

V klasické teorii testování se vychází z toho, že platí předpokládaná vlastnost zkoumaných náhodných veličin. Tento předpoklad se označuje nulová hypotéza a značí $H_{0}$. Jelikož data jsou náhodná a náhoda může „pracovat proti nám“, nelze obvykle závěry testování vyslovit s naprostou jistotou. Proto se zároveň předem stanoví hladina významnosti $\alpha$, což je míra rizika (pravděpodobnost) toho, že hypotézu $H_{0}$ zamítneme, ačkoliv ve skutečnosti platí (omyl označovaný jako chyba 1. druhu). Hladina významnosti se tradičně stanovuje na 0,05 nebo 0,01. Menší hladina významnosti znamená větší jistotu při zamítání nulové hypotézy, ale zároveň také větší riziko chyby 2. druhu, jež spočívá v akceptování nulové hypotézy, ačkoli tato hypotéza ve skutečnosti neplatí.

Dále se z dat vypočítá takzvané testovací kritérium, jehož rozdělení podmíněné předpokládanou platností nulové hypotézy je známo. Vyjde-li hodnota testovacího kritéria typická pro toto známé rozdělení, nulovou hypotézu akceptujeme či přesněji řečeno nezamítáme na základě známých dat. Naopak vyjde-li hodnota extrémní, tedy v oblasti hodnot, do níž realizace předpokládaného rozdělení padají s pravděpodobností menší než $\alpha$ (tj. hodnota testovacího kritéria překročí kritickou mez), usoudíme, že testovací kritérium nejspíše nepochází z předpokládaného rozdělení a nulovou hypotézu zamítneme ve prospěch opačné tzv. alternativní hypotézy, označované $H_{1}$.

Zatímco dříve bylo třeba hledat kritické meze v tabulkách rozdělení příslušného testovacího kritéria, dnes statistické softwary vypisují takzvanou p-hodnotu (též zvanou hodnota významnosti nebo signifikance). Tato hodnota udává pravděpodobnost, že při platnosti nulové hypotézy vyjde testová statistika rovna naměřené nebo ještě extrémnější. Test se vyhodnocuje takto:

• Je-li p-hodnota menší než hladina významnosti ($p\,<\alpha$), pak zamítneme nulovou hypotézu a přijmeme alternativní hypotézu. Riskujeme chybu prvního druhu s pravděpodobností nanejvýš $\alpha$.
• Je-li p-hodnota větší nebo rovna hladině významnosti ($p\geq \alpha$), pak nulovou hypotézu nezamítneme. Riskujeme chybu druhého druhu s pravděpodobností označovanou $\beta$.

Pravděpodobnost chyby druhého druhu není na rozdíl od $\alpha$ volena předem: závisí na tom, jak daleko je skutečný stav od nulové hypotézy, na rozptylu dat a na rozsahu výběru. Doplněk $1-\beta$ se nazývá síla testu a udává pravděpodobnost, že test odhalí odchylku od nulové hypotézy, pokud skutečně existuje. Odtud plyne praktický požadavek plánovat rozsah výběru tak, aby test měl dostatečnou sílu pro odchylku, kterou má smysl odhalit; testy s malou silou totiž nulovou hypotézu obvykle nezamítnou, i když nulová hypotéza neplatí. S tím souvisí i rozdíl mezi statistickou významností a věcnou důležitostí výsledku: při velkém rozsahu výběru se jako statisticky významná projeví i zcela zanedbatelná odchylka, a proto se vedle p-hodnoty uvádí velikost účinku, tedy míra vyjadřující, jak velký zjištěný rozdíl je.

Zvláštní obtíž nastává, testuje-li se na týchž datech větší množství hypotéz najednou (tzv. násobné testování hypotéz). Provede-li se například sto vzájemně nezávislých testů na hladině 0,05 a všechny nulové hypotézy platí, vyjde v průměru pět z nich jako významných. Řeší se to korekcemi pro vícenásobné porovnávání: nejjednodušší z nich je Bonferroniho korekce, která hladinu dělí počtem testů a kontroluje tak pravděpodobnost, že dojde alespoň k jedné chybě prvního druhu. Ta je ovšem u velkého počtu testů velmi konzervativní, a proto se zejména v oborech pracujících s tisíci současných testů, jako je genomika, používá kontrola podílu falešných objevů, kterou navrhli Yoav Benjamini a Yosef Hochberg.

Bayesovský přístup ke statistice podobné úlohy pojímá jako problém stanovení rozdělení zkoumané vlastnosti, podmíněného daty a naší výchozí informací o zkoumaném systému. V příkladech uvedených na počátku odstavce by to bylo rozdělení střední hodnoty průměrů součástek resp. rozdělení středních hodnot výnosů ve skupinách podle použitého hnojiva.

Neparametrické a resamplingové metody

Klasické testy a intervalové odhady bývají odvozeny za předpokladu, že data pocházejí z rozdělení určitého tvaru, nejčastěji normálního. Nejsou-li tyto předpoklady splněny – například u malých výběrů, u zřetelně šikmých rozdělení nebo u dat, která lze pouze seřadit –, používají se metody neparametrické, jež o tvaru rozdělení předpokládají jen málo. Typicky pracují s pořadím pozorování místo s jejich hodnotami; k nejznámějším patří Wilcoxonovy pořadové testy jako protějšek t-testů, Kruskalův–Wallisův test jako protějšek analýzy rozptylu nebo Spearmanův pořadový koeficient korelace. Za odolnost vůči porušení předpokladů se platí obvykle mírně nižší silou testu v situacích, kdy předpoklady klasické metody ve skutečnosti splněny jsou.

Jinou cestou jsou metody, které potřebné rozdělení nezískávají z teorie, ale simulací ze samotných dat. Permutační testy opakovaně přeskládají hodnoty mezi porovnávanými skupinami a z takto vzniklých hodnot testové statistiky sestrojí rozdělení platné za nulové hypotézy. Již zmíněný bootstrap opakovaně vybírá z pozorovaných dat s vracením a umožňuje tak odhadnout směrodatnou chybu, vychýlení či interval spolehlivosti prakticky pro libovolnou statistiku. Obojí je výpočetně náročné, a proto se tyto postupy rozšířily až s dostupností počítačů.

Modelování

Lineární regrese: červeně jsou data (dvojice x, y), modře lineární regresní funkce, zeleně rezidua

Statistické modelování znamená snahu pomocí zjištěných dat pochopit mechanismus, jakým data mohla vzniknout. Jako model se tedy chápe rozdělení pravděpodobnosti, z něhož mohla vzniknout zkoumaná empirická data. Pro účely modelování se data obvykle chápou jako složená ze signálu, to jest deterministické složky, a šumu:

data = signál + šum.

Data se modelují jako složená z nějaké známé deterministické matematické funkce a náhodné složky, která se chová jako nedeterministický šum – neobsahuje žádnou nebo jen malou systematickou informaci:

data = deterministická funkce + náhodná chyba.

Funkce, deterministická složka modelu, závisí na externích proměnných (nezávisle proměnných) a u časových řad případně i na starších hodnotách naměřených dat.

Model tedy má aproximovat deterministickou (nenáhodnou) složku dat, odhadnout velikost a typ šumu a pomoci pochopit, jak modelovaná data vznikla resp. jak lze jejich hodnoty ovlivňovat vstupními proměnnými. Matematická funkce, která je první složkou modelu, často obsahuje parametry, které je třeba odhadnout z dat tak, aby model co nejlépe vystihl data (parametrické modelování). Zvláštními testy se zkoumá kvalita modelu a provádí se jeho interpretace.

Nejjednodušší statistické modely jsou obsaženy již v základech odhadu a testování hypotéz. Například odhad výběrového průměru a jeho konfidenčního intervalu implikuje model dat jakožto součtu konstanty (střední hodnoty) a gaussovské náhodné veličiny (jejíž rozptyl ovlivňuje šířku konfidenčního intervalu). Jako modely ve vlastním smyslu se však označují složitější případy, závislé na více různých parametrech či komplexnějších pravděpodobnostních schématech. Historicky nejstarším a často používaným příkladem složitějšího statistického modelu je lineární regrese. V základní podobě její tvar vypadá takto:

hodnoty závisle proměnné y = lineární funkce nezávisle proměnné x + náhodná chyba s normálním rozdělením,

což se přesněji a stručněji vyjádří takto:

$y_{i}=a\,x_{i}+b+\epsilon _{i},$

kde y je reálná závisle proměnná (vysvětlovaná proměnná), x je reálná nezávisle proměnná (vysvětlující proměnná, prediktor), i označuje pořadové číslo pozorování, $\epsilon _{i}$ realizaci normálně rozložené náhodné veličiny (náhodnou chybu, která modeluje šum) a parametry a, b určují tvar lineární funkce: a má význam směrnice přímky a b je úsek na ose y. Základním úkolem tohoto typu regresní analýzy je oba parametry odhadnout, například metodou nejmenších čtverců.

Kohonenova síť znázorňující hlasování členů Kongresu USA o některých zákonech (červená je „ano“, modrá „ne“). Výjimky jsou obrázek vlevo nahoře, ukazující členství ve straně (červená jsou republikáni, modrá demokraté), a jeho soused znázorňující vzdálenosti mezi uzly sítě.

Regresní modelování je možno zobecnit například připuštěním nelineárních vazeb mezi proměnnými nebo zavedením většího množství nezávisle proměnných. Zobecněný lineární model (generalized linear model, GLM) zahrnuje celou řadu těchto zobecnění; vedle něho pak existují další nelineární modely, například některé typy neuronových sítí nebo rozhodovací stromy. Dále existuje celá řada specializovaných regresních modelů zejména v analýze časových řad, například modely ARIMA a GARCH.

Odhadování parametrů modelů se v jednoduchých případech, jako je lineární regrese, děje přímým výpočtem založeným na kalkulu rozdělení pravděpodobností. Složitější modely obvykle neumožňují najít vzorec pro přímý výpočet optimálních hodnot parametrů, a proto se používá celá řada přibližných numerických postupů, například metoda maximální věrohodnosti, různé varianty hladového algoritmu nebo simulační algoritmy typu Monte Carlo.

Samostatnou úlohou je volba modelu. Přidáváním parametrů lze data popsat vždy přesněji, takový model však přestává vystihovat obecnou zákonitost a přizpůsobuje se náhodnému šumu konkrétního výběru (přeučení), takže na nových datech selhává. Proto se modely porovnávají kritérii, která vedle shody s daty postihují i jejich složitost, jako jsou Akaikeho informační kritérium (AIC) nebo bayesovské informační kritérium (BIC), případně se jejich schopnost předpovědi ověřuje na datech, která nebyla použita k odhadu parametrů (křížová validace). Jiným řešením je regularizace, tedy postup, při němž se odhad parametrů záměrně posune k nule; takto pracují například hřebenová regrese nebo metoda lasso, které se uplatňují zvláště tam, kde je vysvětlujících proměnných mnoho, případně i více než pozorování. Tyto otázky tvoří významný průnik matematické statistiky se strojovým učením, jež se na predikci z dat zaměřuje především.

Vedle regresního modelování, kde je k dispozici závisle proměnná, existují i modely, které hledají strukturu zjištěných dat a dělení závisle a nezávisle proměnné nepoužívají. Příklady takového přístupu jsou například shluková analýza (též zvaná seskupovací analýza či matematická taxonomie), faktorová analýza nebo Kohonenovy neuronové sítě (self-organizing map, SOM). Cílem je zde například jednotlivé objekty či proměnné rozdělit do skupin (shluků, kategorií, taxonů, segmentů…) tak, aby v každé skupině byly objekty sobě podobné, a naopak objekty z různých skupin si podobné nebyly.

V bayesovském paradigmatu se parametrické modelování chápe jako výpočet či odhad rozdělení pravděpodobnosti parametrů podmíněné zjištěnými daty, tedy

$p(\theta \,|D),$

kde $\theta$ jsou parametry a $D$ symbolizuje data. Pomocí Bayesovy věty se tato pravděpodobnost dá až na normující koeficient rozepsat jako

$p(\theta \,|D)\propto p(D\,|\theta )\,p(\theta ),$

kde značka $\propto$ vyjadřuje přímou úměrnost, $p(D|\theta )$ je pravděpodobnost, že daná data vzniknou, podmíněná hodnotami parametrů modelu, a $p(\theta )$ je apriorní pravděpodobnost hodnot parametrů, zjednodušeně řečeno analytikovo očekávání jejich hodnoty předtím, než začal sbírat data. Výraz $p(D|\theta )$ je obecným zápisem modelu jakožto rozdělení pravděpodobnosti; chápe se však jako funkce parametrů při pevně daných datech a v tomto pojetí se nazývá věrohodnost. Vzorec tak poskytuje přímý návod, jak určit aposteriorní rozdělení parametrů na základě známých dat, navrženého modelu a apriorního očekávání o parametrech.

Bayesovské východisko umožňuje konceptuálně jednotný a jednoduchý přístup k celé oblasti statistického modelování, na druhou stranu často vede k výpočetně velmi náročným úlohám, které bylo možno zvládnout až s nástupem rychlých počítačů a s objevem speciálních metod pro odhadování složitých integrálů jako je MCMC (Markov chain Monte Carlo).

Kritika a meze statistické inference

Způsob, jakým se metody matematické statistiky používají v empirickém výzkumu, je předmětem dlouhodobé kritiky. Ta míří především na mechanické zacházení s testováním hypotéz. P-hodnota se běžně nesprávně vykládá jako pravděpodobnost, že nulová hypotéza platí, případně jako pravděpodobnost, že zjištěný výsledek vznikl náhodou; ve skutečnosti jde o pravděpodobnost dat (či výsledků ještě extrémnějších) za předpokladu platnosti nulové hypotézy a řady dalších předpokladů o způsobu jejich vzniku. Rozšířeným zvykem je také rozhodovat o publikovatelnosti podle toho, zda p-hodnota překročí hranici 0,05, ačkoli tato hranice je konvenční a nevyjadřuje ani velikost, ani praktickou důležitost zjištěného účinku.

Problém prohlubuje způsob, jakým se testy v praxi provádějí. Zkouší-li výzkumník na týchž datech mnoho variant analýzy a publikuje tu, která vyšla významně, přestává být uváděná hladina významnosti platná, protože skutečný počet provedených testů je vyšší než jeden; tento postup se označuje jako p-hacking. Spolu s tím, že časopisy tradičně přijímají spíše studie s významnými výsledky, vede k systematickému zkreslení publikovaných poznatků. V řadě oborů, zejména v psychologii a biomedicíně, se od počátku 21. století ukázalo, že velkou část publikovaných nálezů se nedaří při opakování původního postupu potvrdit; hovoří se o krizi replikovatelnosti. K častým příčinám patří vedle uvedených praktik i malá síla studií daná nedostatečným rozsahem výběru.

Americká statistická asociace k těmto otázkám roku 2016 vydala prohlášení, které formulovalo šest zásad správného zacházení s p-hodnotami – mimo jiné že p-hodnota nevyjadřuje pravděpodobnost platnosti hypotézy ani velikost účinku a že vědecké závěry by se neměly opírat pouze o překročení určité hranice. Mezi navrhovaná východiska patří důraz na intervalové odhady a velikosti účinků namísto samotného rozhodnutí o zamítnutí, předběžná registrace plánu analýzy před sběrem dat a bayesovské postupy. Kritika se přitom netýká matematického aparátu jako takového, nýbrž jeho užívání bez ohledu na předpoklady, za nichž byl odvozen.

Aplikace

Metody matematické statistiky pronikly během 20. století prakticky do všech empirických vědních disciplín a do mnoha těch, které bývají řazeny k humanitním vědám. Raný vývoj oboru je spojen s aplikacemi v biologii, psychologii a dalších přírodních vědách. Teorie návrhu a vyhodnocování experimentů nebo výběrových šetření však brzy přesáhla i do jiných oblastí. Významný vliv mají statistické metody v teorii měření a některých oblastech matematické fyziky, zejména statistické fyziky. O statistické metody se opírá moderní matematická lingvistika, demografie, ekonometrie a pojistná matematika stejně jako epidemiologie či biostatistika. Obchodní i přírodovědné aplikace mají robotika, data mining či zpracování signálu, v nichž se matematická statistika propojuje s informatikou a dalšími obory. V inženýrské oblasti se používají teorie řízení, řízení kvality, teorie spolehlivosti a teorie hromadné obsluhy, které rovněž podstatně využívají poznatky matematické statistiky.

Programové vybavení

Moderní matematická statistika je zejména ve své aplikované části závislá na počítačové technice. Vedle obecných softwarových systémů pro symbolické výpočty (např. Mathematica) či řešení numerických problémů (např. MATLAB) existuje celá řada specializovaných programů. Programovací jazyk S a poté zejména jeho svobodně dostupná implementace R se staly významnými nástroji pro rozvoj a šíření metod statistické analýzy dat. Vedle R se prosadil obecný programovací jazyk Python s knihovnami pro práci s daty, statistické modelování a strojové učení, který je dnes rozšířen zejména tam, kde se statistická analýza prolíná se zpracováním velkých datových souborů. Širokou sadu obvyklých procedur s většinou uživatelsky příjemným ovládáním obsahují komerční programové balíky jako je SPSS firmy IBM, SAS System firmy SAS Institute, Stata, Statistica a mnoho dalších; existují i volně dostupné programy s grafickým rozhraním, například JASP nebo jamovi. Tyto balíky navíc obvykle obsahují i skriptovací programovací jazyky, které uživatelům umožňují implementovat specifické postupy neobsažené v základní sadě procedur příslušného balíku. Kromě toho existuje a v řadě případů se dá stáhnout na internetu řada speciálních jednoúčelových programů, které jsou často tvořeny matematickými statistiky jako implementace jimi objevených testů a algoritmů.

Externí odkazy

• Martina Litschmannová: Úvod do statistiky (Matematika pro inženýry 21. století)
• Michal Friesl: Pravděpodobnost a statistika hypertextově
• Petr Otipka, Vladislav Šmajstrla: Pravděpodobnost a statistika
• Radim Briš, Martina Litschmannová: Statistika II.

Autoritní data	NKC: ph122673 PSH: 7718 BNE: XX525598 NLI: 987007555885905171

Portály: Matematika