V časech války se přesné údaje o počtu obětí na civilistech téměř vždy získávají těžko. Až na několik málo výjimek se demografům a epidemiologům nepodařilo využít svých znalostí ke stanovení spolehlivých a hodnověrných odhadů úmrtnosti a nemocnosti mezi civilisty. Absence profesionální svobody navíc někdy brání lidem, kteří mohou být s dostupnými údaji obeznámeni nejlépe, aby svých poznatků využili k účelům, jež by mohly mít politicky zničující dopady – to je příklad analytiků pobírajících mzdu od vlády či vlád zapojených v konfliktu.

Existují však i jiné překážky. Někdy nelze oddělit dopad samotného konfliktu od dopadů dalších intervencí (např. hospodářských sankcí). Vysoce kvalitní údaje o populaci, potřebné pro věrohodné odhady, navíc nemusí být k dispozici kvůli jejich „citlivé povaze“, případně proto, že je nikdo nikdy neshromažďoval (což se někdy stává v rozvojových zemích) nebo že jsou vlivem pohybu uprchlíků zastaralé. V důsledku toho může být míra nejistoty takových odhadů nepřijatelně vysoká, což značně snižuje jejich skutečnou hodnotu.

Vezměme si například, jak odlišné přístupy byly použity k analýze války v Iráku. Metoda „sčítání těl“ (Iraq Body Count) si klade za cíl zaznamenávat pouze úmrtí v důsledku násilností během současné války vytvořením databáze založené na zprávách sdělovacích prostředků. Pokud nedochází ke dvojitému započítávání a pokud byly incidenty zařazené do databáze ohlášeny správně, pak tento výčet představuje minimální počet obětí, poněvadž mediální zprávy nemusí být vyčerpávající.

Jiný přístup odhaduje celkovou změnu úmrtnosti, kterou zapříčinila válka (včetně úmrtí způsobených jejími přímými i nepřímými dopady), tím, že počítá změnu míry úmrtnosti oproti předválečnému období. K tomu jsou zapotřebí údaje, na nichž lze vzestup úmrtnosti založit – obvykle se získávají demografickým výzkumem u náhodného vzorku domácností. V typickém případě požádají tazatelé hlavu domácnosti, aby uvedla počet a demografickou charakteristiku členů domácnosti před válkou, poté jí položí otázku, zda některý z členů předválečné domácnosti zemřel v časovém intervalu mezi předválečným obdobím a datem výzkumu, a zaznamenají datum úmrtí tohoto případného člena.

Pokud je šetření v domácnostech provedeno řádně, pak lze nárůst počtu úmrtí během války odhadnout v mezích statistické nejistoty. Při provádění výzkumu přímo během válečného období se však množí rizika. Kromě ohrožení tazatelů shromažďujících tyto údaje během konfliktu sem patří nevyvážený výběr domácností do statistického vzorku, absence věrohodných dat o populaci, na něž by se daly aplikovat údaje o změně míry úmrtnosti, a chybné či zavádějící odpovědi respondentů.

Metodu šetření v domácnostech dvakrát použila skupina vědců pocházejících převážně z Univerzity Johnse Hopkinse, kteří své výsledky zveřejnili v lékařském časopise Lancet . Jejich odhady se setkaly s chválou, ale i s pochybnostmi kvůli špatné interpretaci jejich vlastních údajů.

Ve shrnutí studie z roku 2004 například vědci napsali: „Při konzervativním odhadu se domníváme, že od invaze do Iráku v roce 2003 se počet úmrtí zvýšil asi o 100 000 nebo více.“ První studie však přinesla velmi nepřesné odhady počtu mrtvých, což autoři přešli. Správně měli říci: „Můžeme s pětadevadesátiprocentní jistotou tvrdit, že během daného období se počet úmrtí v Iráku zvýšil o 8000 až 194 000.“

V roce 2006 skupina tuto studii v podstatě zopakovala, přičemž však použila větší vzorek respondentů. I tentokrát nechali vědci provést šetření, které připomínalo typický výzkum na náhodném vzorku domácností. V závěru článku v Lancetu nicméně autoři sami chvályhodně hovoří o problémech, kvůli nimž vzorek ve skutečnosti nemusel překonat práh „náhodnosti“.

Problémy s interpretací poznamenaly také druhý pokus. Autoři vysvětlili vzestup úmrtnosti pomocí tzv. hrubého počtu úmrtí (CDR), který odráží počet úmrtí na tisíc obyvatel. Demografové však CDR užívají jen zřídka a spíše se zaměřují na míry úmrtnosti podle věku a pohlaví, jimž se obvykle souhrnně říká „průměrná délka života“. Vědci každopádně uvedli, že se CDR zvýšila z 5,5 na tisíc obyvatel v roce 2002 na 13,3 na tisíc obyvatel v průběhu postinvazního období (březen 2003-březen 2006).

Abychom zasadili předinvazní hodnotu do perspektivy, vezměme si na pomoc údaje Populační divize Organizace spojených národů, které jsou obecně pokládány za vysoce kvalitní. OSN odhaduje, že předinvazní CDR v Iráku činil 10 úmrtí na tisíc obyvatel, tedy nikoliv 5 úmrtí na tisíc obyvatel, jak odhadly obě výše zmíněné studie. V mezinárodním srovnání stanovuje OSN kupříkladu CDR Íránu v období let 2000-2005 na 5,3 úmrtí na tisíc obyvatel. Většina pozorovatelů přitom před válkou zastávala názor, že situace v Iráku je podstatně horší než v Íránu.

Předválečný CDR uvedený v obou studiích v Lancetu se tedy jeví jako příliš nízký. Nemusí jít nutně o mylný údaj, ale autoři by měli přijít s věrohodným vysvětlením, proč je jejich předválečný CDR téměř dvakrát nižší než hodnota uváděná Populační divizí OSN. Pokud byla předválečná míra úmrtnosti příliš nízká a/nebo odhad počtu obyvatel příliš vysoký – protože například nebral v potaz vlny uprchlíků z Iráku –, pak jsou výsledné odhady počtu iráckých „úmrtí navíc“ nadsazené.

A co je ještě důležitější: jakému účelu tato čísla slouží? Jakmile se usadí prach, hrají podobné údaje zajisté významnou roli při hodnocení nákladů a přínosu (je-li jaký) války. V reálném čase je však otázkou, zda tato čísla skutečně přispívají do debaty. Opravdu nám poskytují více informací než hodnoty získané metodou „sčítání těl“? Máme k dispozici příslušný kontext, který by nám je pomohl interpretovat? Válka v Iráku je výjimečně krvavá. To je prozatím zhruba to jediné, co nám statistiky dokážou říci s jistotou.