Whitebergs noter

Lars Hvidbergs digitale hukommelse

Realitycheck – Gensvar til Lancet

med 8 kommentarer

For nylig – endnu engang lige før et vigtigt valg i USA – kom det ansete sundhedsvidenskabelige tidsskrift The Lancet med en chokerende undersøgelse af dødsfald i Irak efter invasionen i 2003. Det er det samme forskerhold, der stod bag en lignende undersøgelse i 2004 (som jeg omtalte her), der dengang konkluderede, at der var en overdødelighed på ca. 100.000 irakere siden invasionen. Allerede dengang var der grund til skepsis overfor resultaterne, bl.a. fordi tallet var ca. 4 gange højere end alle andre estimater (der tilgengæld var nogenlunde på linje), og fordi tallene medførte det helt utrolige resultat, at koalitionsstyrkerne i gennemsnit skulle have dræbt over 100 irakere hver eneste dag siden invasionen, de fleste i bombeangreb. Det virkede ret utroligt, at noget sådan skulle kunne ske, uden at nogen opdagede det (de rapporterede tal var langt, langt lavere), men tallene blev mere eller mindre ukritisk accepteret, i det mindste blandt krigens kritikere på venstrefløjen, og man kunne konstant høre Søren Søndergaard råbe op om “de 100.000 irakere, som vi har slået ihjel”.

Nu skal Enhedslisten så til i stedet at tale om 655.000 irakere (jeg hørte allerede én i radioen i går have justeret ‘forargelses-tallet’), for det er den anslåede overdødelighed efter invasionen i følge den nye undersøgelse fra The Lancet, hvoraf vel at mærke 601.000 har mødt en voldelig død, de 200.000 af dem for koalitionstroppers hænder. I foråret i år skulle tallet være omkring 1000 døde hver dag, mens medierapporterne er under 80 i gennemsnit. Det er altså et enormt tal, The Lancet taler om, og det er intet mindre end 10-12 gange højere end de fleste andre estimater. Til sammenligning kan det nævnes, at de allieredes forfærdelige og groteske bombekampagner over Tyskland fra 1943 til 1945 efter de officielle statistikker kostede lidt over 300.000 livet (selvom andre angiver større tal). Vi snakker altså om noget, der i størrelsorden burde ligne destruktionen af Tyskland under anden verdenskrig. Men holder tallet? Mange vil mene, at siden det jo er videnskab der er tale om, og siden The Lancet er et meget fint blad, så kan man ikke stille større spørgsmålstegn ved resultatet, med mindre man selv er videnskabsmand. I det mindste føler man sig nok foranlediget til at konkludere, at sandheden sikkert er “midt i mellem”.

Men vent nu lidt. Selvom Irak er et voldeligt land, og desværre stadig mere og mere voldeligt, kan det så virkelig lade sig gøre, at koalitionstropper i gennemsnit slår 200 personer i hjel hver eneste dag, uden det bliver rapporteret? Jeg er ret sikker på, at det ville være en rigtig god sag for de arabiske tv-kanaler. Hvis man kan huske, hvor meget ballande der var det første Fallujah-slag i april 2004 – der i vide kredse blev udråbt til den rene massakre og var sindssygt dårlig PR for amerikanerne – skal man huske på, at der i snit blev dræbt 100 irakere om dagen under det slag (ved det andet Fallujah-slag i november 2004, der også fik enorm opmærksomhed, var tabstallene endnu lavere). Hvis Lancet-undersøgelsen holder vand taler vi altså om en dobbelt Fallujah, hver eneste dag siden invasionen, ganske vist spredt ud over flere provinser, men ikke desto mindre må der finde lignende episoder sted hyppigt, hvis et så enormt slagteri skal kunne lade sig gøre. Og når vi taler om voldsepisoder, hvor koalitionsstyrker ikke er involveret snakker vi altså om det fem-dobbelte, og 42% 40% af alle ofrene skulle i følge Lancet komme fra bilbomber, luftangreb og andre eksplosioner. Det er svært at forestille sig luftangreb og bilbomber, der ikke påkalder sig en del opmærksomhed, men også når det gælder mindre episoder får vi jo daglige rapporter om myrderier i gaderne og hovedløse lig der dukker op, også i små byer i udkanten af Irak – og ofte når de mere spektakulære episoder avisernes forsider. Alligevel vil The Lancet have os til at tro, at tallet er over ti gange større, hver eneste dag, end vi tror det er. Men hvorfor i alverden er der så ingen, der har opdaget det?

Grunden til, at ingen har opdaget det er nok, at tallet er vildt overdrevet. Men du skal skam ikke tage mit ord for det. For nu har folkene bag det ligeledes meget ansete og citerede site Iraq Body Count udsendt deres eget svar på Lancets undersøgelse, hvor de går i rette med undersøgelsens postulater. Det er en lang og grundig gennemgang, der piller undersøgelsens resultater fra hinanden og konkluderer:

Could five such shocking implications be true? If they were true, they would need to be the result of a combination of the following factors:

* incompetence and/or fraud on a truly massive scale by Iraqi officials in hospitals and ministries, on a local, regional and national level, perfectly coordinated from the moment the occupation began;

* bizarre and self-destructive behaviour on the part of all but a small minority of 800,000 injured, mostly non-combatant, Iraqis;

* the utter failure of local or external agencies to notice and respond to a decimation of the adult male population in key urban areas;

* an abject failure of the media, Iraqi as well as international, to observe that Coalition-caused events of the scale they reported during the three-week invasion in 2003 have been occurring every month for over a year.

We would hope that, before accepting such extreme notions, serious consideration is given to the possibility that the population estimates derived from the Lancet study are flawed. The most likely source of such a flaw is some bias in the sampling methodology such that violent deaths were vastly over-represented in the sample. The precise potential nature of such bias is not clear at this point (it could, for example, involve problems in the application of a statistical method originally designed for studying the spread of disease in a population to direct and ongoing violence-related phenomena). But to dismiss the possibility of such bias out of hand is surely both irresponsible and unwise.

Det bliver også fremhævet i svaret, at der allerede i 2004 blev lavet en anden FN-undersøgelse med lignende metodik som den første Lancet-undersøgelse (de “100.000”), men med langt større repræsentativt udsnit af befolkningen, og dermed et langt bedre grundlag for statistikken. Den fandt imidlertid ikke den samme overdødelighed som Lancet, men fandt derimod resultater, der korrelerede med de allerede kendte estimater. Den undersøgelse fik selvfølgelig ikke samme omtale i medierne, selvom den havde et langt bedre grundlag at konkludere på.

En anden ting man kan påpege i forbindelse med Lancet-undersøgelsen er, at man ved 92 % af de noterede dødsfald kunne fremvise et gældende ‘dødscertifikat’ udstedt af myndighederne. Disse dødscertifikater må i det store og hele også afspejle sig i den officielle statistik fra det irakiske sundhedsministerium, der imidlertid altså regner med et tal på under 1/10. At langt størstedelene af dødsfaldene, Lancet har noteret sig, skulle være ‘uofficielle’ og ‘gemt væk’, og det skulle være grunden til de store tal, holder derfor ikke. I et land som Irak kan man nok ikke regne med alle statistikker, men at de centrale registre kun skulle rumme 1 ud af 10 dødscertifikater, der udstedes af lokale myndigheder forekommer ret mærkværdigt (der findes i øvrigt også optællinger, der simpelthen sammentæller de forskellige lighuses resultater – også de kommer til et tal omkring de 50.000, altså det samme estimat som alle andre end Lancet). Hvis situationen skulle være så kaotisk, at ingen har styr på noget som helst, må man undre sig over, at myndighederne overhovedet er i stand til at få udstedt certifikaterne i første omgang.

Kort sagt medfører Lancet-undersøgelsen nogle implikationer, der i forhold til hvad vi i øvrigt kan observere, simpelthen er så usandsynligt, at det undrer mig, at man har valgt at publicere undersøgelsen. Jeg husker selv kemiforsøg fra gymnasiet, hvor man selv syntes man havde udført alt rigtigt med tjeck og dobbelt-tjeck, men alligevel fik vildt urealistiske resultater (fx at vand fryser ved temperaturen 10 grader og koger ved minus 50 eller lignende). Her tror jeg nok, at hvis jeg alligevel fremturede med at metodikken var ok, ville jeg få 03. Man kan i denne forbindelse hævde sig ved, at undersøgelsens bagmænd, i det mindste ved første undersøgelse fik fast tracket undersøgelsen, så den kunne komme med i The Lancet lige op til et vigtigt valg i USA. Fasttracke vil sige, at man forbigår den normale pertentlige peer-reviewing for en videnskabelig undersøgelse. Og hvorfor har man så gjort det? Ja, det kan man jo gisne om, men før man begynder at få alt for høje tanker om videnskabelige undersøgelsers upartiskhed, kan man måske gøre sig selv den tjeneste at lytte til The Lancets redaktør Richard Horton ved et “Time To Go” møde i september 2004 2006, sammen med prominente folk som George Galloway, hvor han taler om “Anglo-American imperialism”, “colonialism”, “politics of hate”, og andre ting – og forbinder sin politiske holdning direkte med undersøgelserne. Det behøver ikke at betyde, at man fusker med resultaterne, men nogle gange ser man måske, hvad man vil se. “655.000 er blevet dræbt. Det er ikke bare noget vi tror, det er noget vi ved.”

Bottom line: Mange mennesker er døde i Irak og landet går mod katastrofe. Det er bestemt værd at tale om, hvad omkostningerne ved invasionen har været. Og der ligger i øvrigt også her en interessant diskussion om, hvor meget vi kan regne med mange andre tal, vi får slynget i hovedet fra brændpunkter som Darfur, Congo og lignende, og som er lavet med lignende metoder. Men vi har altså brug for, at bullshit-faktoren er på et nulpunkt og lødigheden så høj som muligt, og det er der desværre intet der tyder på med denne undersøgelse. Hvor mange ofre er der reelt tale om? Sandsynligvis flere end de 48.000 et site som Iraq Body Count har optalt gennem medierapporter. Men hvor mange flere? Det aner vi ikke noget om. Kan vi regne med, at estimerede videnskabelige tidsskrifter som The Lancet vil være os behjælpelige med at komme tættere på sandheden? Desværre ikke. Tværtimod.

Update: Mere om metoden bag undersøgelsen hos Punditokraterne.

Skrevet af Lars Hvidberg

17. October, 2006 @ 15:46

Kategorier: Politik og etik

Tagged med

8 kommentarer til 'Realitycheck – Gensvar til Lancet'

Kommentarer-feed med RSS eller TrackBack til 'Realitycheck – Gensvar til Lancet'.

  1. ” Selvom Irak er et voldeligt land, og desværre stadig mere og mere voldeligt, kan det så virkelig lade sig gøre, at koalitionstropper i gennemsnit slår 200 personer i hjel hver eneste dag, uden det bliver rapporteret?”

    Lars, nu manipulerer du. Der er ingen, der påstår, det er dødsfald forårsaget af koalitionstropper – det er alle dødsfald forårsaget af krig, terror og borgerkrig …

    Det er noget sludder, at man selv skal være videnskabsmand for at kunne kritisere rapporten. MEN man skal forholde sig til undersøgelsens metodologi og til de statistiske begreber om tilfældigt udvalg og varians. Einstein var heller ikke “videnskabsmand”, da han formulerede den fotoelektriske teori (og den specielle relativitetsteori), han var

    dropout og ansat på et patentbureau.

    Titler betyder intet, men saglighed og grundighed alt …

    Apropos rapporten, har du så LÆST den? Den kan findes her …:

    http://web.mit.edu/cis/pdf/Human_Cost_of_War.pdf

    Carsten Agger

    17. Oct 06 @ 19:35

  2. “Lars, nu manipulerer du. Der er ingen, der påstår, det er dødsfald forårsaget af koalitionstropper – det er alle dødsfald forårsaget af krig, terror og borgerkrig …”

    Øh, jo. Det gør rapporten. 31 procent af dødsfaldene tilskrives koalitionstroppers ild, hvilket svarer til ca. 186.000 mennesker. I peridoen fra juni 2005 er gennemsnittet helt oppe på 217 om dagen fra koalitionens ild. Det står side 8 i rapporten.

    Lars Hvidberg

    17. Oct 06 @ 19:43

  3. Okay, det havde jeg lige overset. Det er dog stadig et “det kan jo ikke passe”-argument, og for at komplettere dette (som man også kalder for “proof by incredulity”, og er meget flittigt brugt af kreationister og andre konspirationsteoretikere) savner jeg umiddelbart en forklaring af, hvad der egentlig er galt med undersøgelsens metodologi, når det kan gå så tilsyneladende galt? Det springende punkt er måske, om det overhovedet er muligt at udvælge en repræsentativ pulje ud fra et så varieret land uden at indbygge en eller anden form for slagside. Jeg må vel (sic!) til selv at sætte mig lidt bedre ind i detaljerne, før jeg åbner munden igen.

    Carsten Agger

    17. Oct 06 @ 22:38

  4. Jane Galt har også gjort en del ud af, at Lancet rammer skævt – kommentarsektionen er også læseværdig. Se:

    http://www.janegalt.net/archives/009509.html

    http://www.janegalt.net/archives/009510.html

    http://www.janegalt.net/archives/009511.html

    http://www.janegalt.net/archives/009512.html

    US

    17. Oct 06 @ 22:39

  5. Jeg er målløs – ikke over den kreative brug af statistik og politiseringen, men mere over forhold at redaktøren åbent erkender det.

    Måske de danske medier skulle gå lidt bag om talllene… as if.

    Kim Møller

    17. Oct 06 @ 23:11

  6. Mere om, hvordan Lancet har tilladt massiv manipulation med sandheden:

    http://analysator.blogspot.com/2006/10/lancet-rapporten-manipulation-med.html

    Et par detaljer:

    – Hovedparten af kampene og befrielses-terrorhandlingerne foregår i byerne, hvor Lancet-undersøgelsen er foretaget. Men 24% af irakerne bor på landet, hvor Lancet-folkene ikke har gidet køre deres undersøgelse.

    – To provinser er blevet udeladt af undersøgelsen på grund af “fejl”. Skægt nok er den ene den fredeligste provins overhovedet, og den anden kommer tæt på.

    – Befolkningen af området der er undersøgt er blevet kunstigt øget med 430.000 indbyggere

    – Undersøgelsen har kunstigt øget de voldeligste provinsers befolkning med over en million.

    Og det er udelukkende iagttagelser efter en overfladisk gennemgang af en ikke-fagmand.

    Henrik

    Henrik Krog

    18. Oct 06 @ 00:18

  7. Godt indlæg Lars. Det er den første dansksprogede kritik af rapporten jeg har set, hvilket er beskæmmende når man tænker på hvor kontroversielt budskabet er.

    Modtagelsen af rapporten i danske medier er også ganske sigende – f.eks. DR-online:

    http://www.dr.dk/Nyheder/Udland/2006/10/11/140136.htm

    Overskriften på artiklen er: Invasion har kostet en halv million irakere livet , dvs. rapportens konklusion beskrives som objektivt fakta. Herefter følger overskrifterne: Opdateret rapport,

    Grundig undersøgelse og Skud og bomber – og selvfølglig ingen påpegning af potentielle svagheder i rapporten.

    Det kan sættes i kontrast til CNN-online artiklen om samme emne:

    http://www.cnn.com/2006/WORLD/meast/10/11/iraq.death.toll.ap/index.html

    Overskrift: Disputed study claims 655,000 Iraqi deaths – og så bliver det påpeget at ikke alle er enige i rapportens konklusioner.

    Lars

    18. Oct 06 @ 10:51

  8. Henrik, jeg havde ikke set din gennemgang, men meget interessant analyse af cluster-fordelingen. Det kan dog næppe forklare den helt enorme overdødelighed, undersøgelsen finder. Jeg har ikke selv noget bud på det, specielt når det er lykkedes et andet FN-forskerhold at gennemføre en langt større undersøgelse med lignende metode, der har fundet resultater i overensstemmelse med andre estimater. Jeg er desværre bange for, at der har været lusk med udvælgelsen af clusters, eller man på en eller anden måde har spurgt ‘forkert’. Fx kan man have spurgt til ‘familien’ på arabisk, hvilket rummer betydeligt flere mennesker end det engelske ‘household’, i det man normalt opererer med meget store, ‘udvidede’ familier i et land som Irak. Hvis en person spørges om nogen i hans familie er blevet dræbt, har han så svaret “ja”, selvom det er hans fætter i en anden landsby, og de ikke bor under samme tag? Er spørgsmålene vægtet på en måde, der giver nogle andre svar, end vi tror der svares på? Det kunne være en mulig forklaring, men det er svært at afgøre.

    Jeg skylder for øvrigt at sige, som man gør i blogosfæren, at det var Instapundit, der ledte mig til IBCs pressemeddelelse, og Little Green Footballs, der linkede til den fine – men egentlig også lidt pinlige – optagelse af Richard Horton.

    Lars Hvidberg

    18. Oct 06 @ 10:59

Skriv en kommentar