Løgn, forbannet løgn og statistikk
Gjennom en reportasje i Journalisten 17. april er jeg blitt oppmerksom på Jon Gangdals foredrag på årets SKUP-konferanse med tittelen Løgn, forbannet løgn og statistikk. Foredraget baserer seg på en bok av Jon Gangdal og Harald Hanssen-Bauer, som er under utgivelse.
Hvordan resultater fra markedsundersøkelser brukes i media er et interessant tema som diskuteres mye i analysebransjen. Vi som står på utsiden av media forundres stadig over hva som blir publisert og med hvilken vinkling, og hva som ikke blir publisert. Vi får stadig vekk bekreftet den gamle forestillingen om at de saker vi har kjennskap til og som blir referert i meda i beste fall blir upresist gjengitt. Når det gjelder markedsundersøkelser opplever vi særlig at vesentlig informasjon blir borte på veien fra en analyserapport til media og at det ofte presenteres utdrag tatt ut av sin sammenheng. Årsaken til det er sammensatt. Det skyldels dels forhold i redaksjonene selv, dels at mange grupper ønsker å fremme synspunkter overfor redaksjonene i håp om å få publisert sitt budskap, som de tidvis lykkes med.
Jon Gangdal peker på analysebransjen. Til Journalisten sier Jon Gangdal at ”han har gått gjennom et berg av dårlige meningsmålinger og valgt ut dem med grunnleggende metodiske feil eller svakheter som kan illustrere hvordan journalister lar seg lure…. – Noe av det som forundret meg i arbeidet med boka er hvor langt enkelte undersøkelsesbyråer er villig til å strekke seg for kundene sine. Den undersøkelsen vi har sett noen av de største feilene i, er om kommunale tjenester og utført på vegne av tre departementer.” Så kliner han til med å si at undersøkelsen ”…var langt utenfor vanlige etiske retningslinjer.”
Av sammenhengen fremgår det at dette bl.a. refererer seg til en konkret brukerundersøkelse gjennomført av TNS Gallup. Jeg har fått anledning til å lese det aktuelle kapittelet i boka. Her rettes det en rekke grove påstander mot TNS Gallup, bl.a. om manipulasjoner for å tekkes oppdragsgiver og metodefeil. Påstandene er ikke dokumentert og medfører heller ikke riktighet. Det vil føre for langt å gå i detalj her, men undersøkelsen ligger tilgjengelig på våre nettsider.
I en epost til TNS Gallup vedgår Jon Gangdal at han ikke har lest undersøkelsen kritikken baserer seg på og at han dermed heller ikke har kunnskap om metoden som er benyttet. Han har i sin helhet basert seg på en upresis gjengivelse i media. Dermed går han i sin egen felle og illustrerer hvor problemet ligger. Ved en ordinær kildekritikk kunne han oppklart disse misforståelsene. Jon Gangdal stiller spørsmålstegn ved TNS Gallups motiver og etikk. Han inviterer selv til at spørsmålet returneres. Men hadde han gått til kilden og basert seg på fakta, hadde den kommende boka fått mindre publisitet.
Som samfunnsaktør må vi akseptere diskusjon om og kritikk av metodevalg og analyser, men vi vil gjerne føre dette som en åpen diskusjon basert på fakta.
Analysebransjen har et sterkt etisk regelverk gjennom ESOMAR og Norsk Markedsanalyse Forening. I likhet med pressen har vi et etisk råd som behandler saker hvor aktører skulle handle i strid med det etiske regelverket.
SKUP har som institusjon stor gjennomslagskraft i samfunnsdebatten. Da bør man også kunne stille krav til organisasjonen at den opererer med standarder som gjør at den opprettholder troverdigheten sin over tid. I denne saken er det ikke åpenbart at organisasjonen har utøvd tilstrekkelig kvalitetskontroll.