For å forstå politikk hjelper det å tenke som en forsker.
Kampanjedekning av det kommende presidentvalget er overalt, med forskjellige meningsmålinger som viser denne eller den andre kandidaten på topp. Det er nasjonale godkjenningsvurderinger, lokale godkjenningsvurderinger, avstemninger om primærkandidater, meningsmålinger om spørsmål, meningsmålinger om valgbarhet. Alle disse tallene legger opp til en kakofoni av informasjon som kan være vanskelig å lage hoder eller haler av. På den måten, sier forskere, er de veldig mye som dataene en forsker kan samle inn: De enkelte meningsmålingene er stort sett ikke så nyttige på egen hånd, uten kontekst. Men samlet og nærmet gjennomtenkt kan meningsmålingene legge til den slags informasjon en forsker vil finne nyttig.
"Det er mange metodologisk forsvarlige politiske avstemninger som ligner mye på metoder som brukes i vitenskapelige sammenhenger, men det er også noen ganske dårlig utformede - og / eller målrettet partiske - politiske undersøkelser der ute," sa Sara Burke, en forskningspsykolog og ekspert på intergruppe. skjevheter ved Syracuse University. "De beste av de beste i politiske valgmuligheter gjør en god jobb med tilgjengelige verktøy og vedlikeholder - og forsøker å kommunisere - en klar forståelse av begrensningene som fremdeles eksisterer i deres metoder."
Om en avstemning er verdifull eller interessant avhenger med andre ord mye av hvordan den ble gjennomført og hvordan den ble presentert.
Ofte blir disse meningsmålingene presentert som "Her er noen prosentandeler," ifølge Jillian Scudder, en astrofysiker som studerer galakser ved Oberlin College i Ohio. "Så du kan gjøre en politisk meningsmåling, du kan si: 'Vi gjorde en avstemning i denne staten, og vi fikk disse tallene,' og du vil kanskje sette det i nyhetene. Når jeg gjør statistikk og jeg kommer med en prosent, at prosentene kommer med mange andre tall, "sa Scudder til Live Science.
Scudders arbeid innebærer statistiske tester som ligner mye på polling, sa hun. Hun kan samle inn millioner av datapunkter om galaksenes oppførsel for å prøve å finne ut hvordan de oppfører seg. Men det ville være bortkastet tid å gå gjennom hver for seg. Så hun vil ta mindre prøver av dataene sine og studere dem ved å bruke statistiske metoder som ligner de pollstere bruker for å trekke konklusjoner om hele galaksene.
Men for at forskningen skal fungere, og for at den skal ha noen betydning for andre forskere, må tallene komme med data som gir dem sammenheng, sa hun.
"Var dette et utvalg på 100? Var dette et utvalg på 1000? Var dette et utvalg på 1 million? Hvor mye endrer prøvestørrelse resultatet? Hvis jeg går fra 1000 til 10 000, endrer prosentene, eller er de ganske robuste? Ting som det, "sa Scudder.
Avstemninger er på samme måte mye mer nyttige når du vet hvor mange mennesker som ble tatt ut, hvor konsistente resultatene er med andre meningsmålinger, og hvordan nøyaktig meningsmålingene ble gjort, sa Chris Schatschneider, utdanningspsykolog og ekspert på statistikk og forskningsdesign ved Florida State University.
I Schatschneiders egen forskning, sa han, bruker han statistikk for å skille "signal" fra "støy" - for å avgjøre om resultatet av et eksperiment sannsynligvis forteller deg noe meningsfullt om hvordan verden fungerer eller kan være et resultat av tilfeldig sjanse. Han tenker også nøye gjennom nøyaktig hvilke spørsmål et bestemt datasett kan svare på, og hvilke spørsmål det ikke kan.
De statistiske metodene er forskjellige fra det pollsters bruker, sa han. Men det er viktig å stille lignende spørsmål når du hører pollingdata i nyhetene: Hvor stor var utvalgsstørrelsen? Hvem ble nøyaktig prøvetatt? Hvilke spørsmål stilte pollusterne nøyaktig? Alt i denne sammenhengen kan fortelle deg om en avstemning er meningsfull på den måten noen få flytende tall ved siden av, for eksempel, en kandidats navn ikke kan.
Det er også viktig å forstå metodene en pollster brukte, sa han.
For eksempel involverer mange meningsmålinger "lagdelt prøvetaking." Det betyr at hvis en bestemt gruppe - for eksempel studenter - er underrepresentert i en meningsmåling sammenlignet med befolkningen generelt, vil pollstere finjustere tallene slik at studenter som ble kartlagt blir viktigere. Dette kan være en legitim teknikk i prinsippet, sa Schatschneider. Men det kan også skje resultater når en liten gruppe undersøkte mennesker ender opp i tusenvis. Han ga et eksempel: The New York Times rapporterte i 2016 at en enkelt 19 år gammel svart mann som støttet Donald Trump i det valget i året var vilt skjeve avstemningsresultater på grunn av denne typen data-massering, noe som førte til nyhetshistorier som antydet at Trump var mye mer populær blant svarte velgere enn tilfellet var.
Virkeligheten, sa Schatschneider, er at med mindre det er din heltidsjobb, har du sannsynligvis ikke tid til å vurdere meningsmålinger individuelt på denne måten for å finne ut hvilke som er vitenskapelige og som er mindre. De fleste mennesker har det bedre å ikke ta for mye oppmerksomhet til nyheter om individuelle meningsmålinger, som kan være misvisende, og bør i stedet se på gjennomsnitt av de siste meningsmålingene som de som RealClearPolitics publiserer, sa han.
Forskere gjør noe lignende med forskningsdata, når de i gjennomsnitt gir data fra flere artikler i større artikler som heter "metaanalyser," sa Schatschneider. Hvis noe, sa han, er et gjennomsnitt av meningsmålingene mer pålitelige, fordi meningsmålinger har en tendens til å bli utgitt om de er interessante eller ikke. Men vitenskapelige artikler har en tendens til å være partiske mot mer interessante resultater fordi de fortsatt er lettere å bli publisert, ifølge Schatschneider.
Valgprognoser basert på store grupper av meningsmålinger kan også være interessante og nyttige, sa Scudder, men i motsetning til med vitenskapelig forskning der metoder og rått antall blir publisert, viser ikke pollstere arbeidet sitt - og holder det hele i en egen svart boks.
Generelt, sa Scudder, ville hun anse en gruppe meningsmålinger som pålitelige og interessante hvis de alle peker i samme retning, og mindre meningsfulle hvis de er over alt - noe som tyder på problemer i datainnsamlingen.
Bare fordi funnene passer til en trend, gjør dem ikke nøyaktige. Med hvilket som helst datasett tilgjengelig, sa Scudder, må du også vite hvordan du skal tolke resultatene.
"Du må være forsiktig med at den statistiske testen du bruker svarer på spørsmålet du vil svare på," sa hun.
I vitenskapen kan det bety å finne ut om et datasett utelukker en ide helt - si at alle stjerner er laget av ost - eller bare ikke beviser det - si, alle stjerner kan fremdeles være laget av ost, men vi har ikke noe ” Jeg har sett osten ennå.
Når det gjelder politiske meningsmålinger, er spørsmålene forskjellige. Men å forstå hva de mener er like viktig. En godkjenningsvurdering er ikke et mål på hvordan folk planlegger å stemme. Å spørre folk som de liker under en grunnskole forteller deg ikke nødvendigvis hvordan de vil føle seg under et stort valg. På spørsmål om hvem de planlegger å stemme på i februar, forutsier ikke hvordan de vil stemme i november, sa Schatschneider.
På den måten, sa Schatschneider, er polling mye som å ta pasientens temperatur. Det er en perfekt vitenskapelig bedrift, sa han. Men det er viktig for folk som følger avstemningene å være klar over hva de egentlig mener.
