Kriza i obnova

Kako se znanstveni zaključci mogu popraviti

Možemo li se oraspoložiti tako da najprije promijenimo izraz lica? Ta je zamisao privlačna jer nam daje nešto jednostavno što možemo pokušati u lošem danu. Za njezinu znanstvenu provjeru ipak treba smisliti kako promijeniti izraz lica, a da sudionicima ne sugeriramo kako bi se trebali osjećati.

U poznatom pokusu sudionici su ocjenjivali stripove držeći olovku zubima ili usnama. Razlika u ocjenama protumačena je kao potpora tvrdnji da položaj mišića lica može utjecati na doživljaj zabave (Wagenmakers i sur. 2016.). Gotovo tri desetljeća poslije 17 laboratorija ponovilo je postupak prema zajedničkom protokolu, s planom i analitičkim kodom pripremljenima prije uvida u podatke (Wagenmakers i sur. 2016.).

Što bismo trebali promijeniti u svojem uvjerenju ako takvo ponavljanje pruži drukčiju sliku? Možemo li iz njega naučiti nešto određenije od toga da je jedna studija bila „uspješna”, a druga „neuspješna”?

Procjenu i njezin interval sada znamo čitati uz veličinu učinka, snagu i pogreške testiranja. Pri usporedbi izvornog nalaza s replikacijom otvara se i novo pitanje. Vidimo li sve što je istraživač mogao analizirati ili samo rezultat koji je na kraju odabran za objavu? Razloge odabira rezultata tražimo u zapisima istraživačkih odluka, uz provjeru samoga računa.

Pokus iz vinjete pratit ćemo kroz objavljene rezultate laboratorija koji su ponovili postupak (Wagenmakers i sur. 2016.). U tablicama s kojima radimo jedan redak sažima rezultate jednog laboratorija. Uspoređivat ćemo razlike u ocjenama zabavnosti između uvjeta držanja olovke, njihove intervale i brojnosti skupina. Ti sažeci pokazuju koliko se procjene razlikuju među stvarnim provedbama zajedničkog postupka (Wagenmakers i sur. 2016.). Od njih ćemo jasno odvojiti nastavne simulacije u kojima sami određujemo koliko se analiza iskušava.

Mijenjanje ishoda, podskupina ili trenutka zaustavljanja utječe na mogućnost lažnog nalaza, što možemo provjeriti simulacijom. Pritom razlikujemo namjerno traženje poželjnog rezultata od odluka koje ovise o viđenim podacima čak i kada istraživač provede samo jednu analizu. Izbor se nastavlja među studijama koje postaju dostupne čitateljima. Zato pogreške pojedinog testa razmatramo zajedno s postupkom kojim je od više mogućih nalaza odabrana objavljena tvrdnja.

Obnovu istraživačke prakse zato povezujemo s dostupnošću plana, podataka i analitičkih odluka. Pri čitanju laboratorijskih procjena oslanjamo se na intervale i veličine učinka iz prethodnih poglavlja, a u razrađenom primjeru uspoređujemo sirovu i standardiziranu sintezu. Doseg novoga rezultata određujemo prema onome što je točno ponovljeno, preciznosti procjena i razlikama u postupku koje još treba istražiti. Na toj osnovi procjenjujemo nalaz i predlažemo sljedeću provjeru, uz dovoljno jasan zapis da je druga osoba može ponoviti.

Od jedne tvrdnje do provjerljivoga pitanja

Istraživanje uključuje mnogo odluka prije završne tablice. Određujemo tko može sudjelovati, kako provodimo zadatak, što mjerimo, kako postupamo s nepotpunim odgovorima i koju usporedbu smatramo glavnom. Čitatelj treba znati koje smo odluke donijeli unaprijed, a koje nakon pregleda podataka. Inače ne može procijeniti koliko je rezultat utjecao na izbor analize.

P-hakiranje nastaje kada istraživač iskušava ishode, podskupine, pravila isključivanja ili trenutke zaustavljanja kako bi dobio poželjan nalaz, pa prikaže samo odabrani postupak. Metodološko istraživanje pokazalo je da takva neprikazana fleksibilnost povećava udio lažno pozitivnih zaključaka (Simmons i sur. 2011.). Uobičajena p-vrijednost vrijedi za unaprijed određen postupak. Nakon pretraživanja ne opisuje stopu pogreške cijelog procesa odabira.

Vrt račvajućih putova može nastati i bez svjesnog traženja poželjnog nalaza. Istraživač provede jednu analizu, ali bi odabrao drugu da su podaci izgledali drukčije. Odluka je zato ovisila o podacima čak i ako ostale mogućnosti nisu izračunate (Gelman i Loken 2013.). P-hakiranje opisuje namjerno ponašanje, a račvajući putovi obilježje postupka koje treba prepoznati i dokumentirati.

Izbor ne završava analizom unutar jedne studije. Publikacijska pristranost nastaje pri odabiru onoga što postaje dostupno čitateljima. Čak i korektno provedene studije mogu dati iskrivljenu sliku ako objavljivanje ovisi o rezultatu. Open Science Collaboration pokazao je važnost sustavnog proučavanja replikabilnosti većeg skupa nalaza (Open Science Collaboration 2015.). Za razumijevanje literature trebamo razmotriti i pokušaje koji su ostali neobjavljeni.

Open Science Collaboration. 2015. „Estimating the Reproducibility of Psychological Science“. Science 349 (6251): aac4716. https://doi.org/10.1126/science.aac4716.

Analitička fleksibilnost prije modela

U jednom je istraživanju 29 timova analiziralo iste početne podatke i dobilo različite procjene povezanosti boje kože nogometaša i crvenih kartona (Silberzahn i sur. 2018.). Razlike među rezultatima sada nastaju promjenom analize, dok smo pri uzorkovanju mijenjali uzorke. Uspoređujemo veličinu procijenjene veze, njezinu nesigurnost i opravdanost postupaka.

Silberzahn, R., E. L. Uhlmann, D. P. Martin, i sur. 2018. „Many Analysts, One Data Set: Making Transparent How Variations in Analytic Choices Affect Results“. Advances in Methods and Practices in Psychological Science 1 (3): 337–56. https://doi.org/10.1177/2515245917747646.

Definicija 1 Analitička fleksibilnost je prostor više obranjivih odluka duž cijeloga puta podataka, od prikupljanja, uključivanja i spajanja do rekodiranja, postupanja s nedostajućim vrijednostima i izbora analize.

U registriranom replikacijskom izvještaju (RRR) laboratoriji su unaprijed dogovorili kriterije uključivanja, računanje ocjene i glavnu sirovu razliku među skupinama. Plan i kod pripremili su prije stvarnih podataka (Wagenmakers i sur. 2016.). Lokalne prilagodbe i dalje su bile moguće, ali trebalo ih je zabilježiti i usporediti s planom. Tako čitatelj može provjeriti kada je odluka donesena i što je promijenila.

Definicija 2 Reproducibilnost je mogućnost da druga osoba iz istih podataka, materijala i opisanoga postupka ponovno dobije iste rezultate i utvrdi gdje su nastali.

Pri reproduciranju ponovno izvodimo račun iz istih podataka i materijala. Replikacija jest nova studija koja istu ciljnu tvrdnju provjerava novim podacima i dovoljno usporedivim postupkom. Reproduciranjem možemo ponoviti i račun temeljen na lošem mjerenju. Replikacija pak može dati drukčiji rezultat zbog uzoračke promjenjivosti ili konteksta. Obje provjere pridonose prosudbi zaključka, zajedno s procjenom mjerenja, nacrta i konteksta.

Replikacija kao kumulativno mjerenje

Da bismo procijenili što smo naučili iz replikacije, trebamo usporediti rezultate laboratorija na istoj ljestvici. Služimo se podacima iz objavljenog izvještaja, u kojem svaki laboratorij daje procjenu razlike između dvaju načina držanja olovke i njezin interval (Wagenmakers i sur. 2016.). Laboratorij tako postaje jedinica usporedbe.

Svaki od 17 laboratorija daje procjenu i interval na istoj ljestvici (Wagenmakers i sur. 2016.). Devet procjena bilo je pozitivno, ali nijedan interval nije bio u cijelosti iznad nule (Wagenmakers i sur. 2016.). Samo dva intervala obuhvatila su izvornu razliku od 0,82 boda (Wagenmakers i sur. 2016.). Podjela na devet „uspješnih” i osam „neuspješnih” replikacija zanemarila bi veličinu i nesigurnost tih procjena.

Objedinjena procjena sažima prosječnu razliku u replikacijama provedenima prema zajedničkom protokolu. Vrijednost 0,03 uz interval od −0,11 do 0,16 uskladiva je s malim razlikama u oba smjera (Wagenmakers i sur. 2016.). Interval ne obuhvaća vrijednosti blizu izvornih 0,82 boda. To ograničava povjerenje u prijenos izvorne veličine na ovaj postupak, ali ne isključuje svaki mali učinak ni druge načine mjerenja facijalne povratne sprege (Wagenmakers i sur. 2016.).

Najprije zato čitamo istraživačko pitanje i nacrt, zatim pojedinačne procjene i intervale, pa objedinjeni rezultat. Razlike među laboratorijima mogu potjecati od uzorkovanja, lokalnog konteksta, mjerenja ili provedbe. Ovdje možemo opisati rezultate i oprezno ih prenijeti na usporedive postupke. Utvrđivanje uzroka razlika zahtijevalo bi dodatno istraživanje.

Cijeli zapis u forest plotu

Procjene i intervale svih laboratorija lakše ćemo usporediti ako ih vidimo zajedno. Na prikazu forest plot svaki redak predstavlja jedan laboratorij. Točka označuje procijenjenu razliku, a vodoravna crta njezin 95-postotni interval. Puna okomita crta označuje nulu, odnosno jednake prosječne ocjene. Isprekidana crta na 0,82 prikazuje izvornu procjenu za usporedbu (Wagenmakers i sur. 2016.). Služi kao vanjska referenca uz laboratorije uključene u objedinjavanje.

Oznaka smile u izvornim podacima znači držanje olovke zubima, a pout držanje usnama (Wagenmakers i sur. 2016.). Pozitivna razlika smile − pout znači da je skupina s olovkom među zubima dala višu prosječnu ocjenu stripovima.

Pogledajmo prvo kako nastaje jedna točka. Tablica izdvaja prve tri laboratorijske usporedbe iz provjerenog izvornog poretka. Brojnosti su u osobama, a sredine na ljestvici ocjene stripova od 0 do 9 (Wagenmakers i sur. 2016.).

Tablica 1: Skupne sredine prije laboratorijske razlike. Izrada autora iz lokalne rekonstrukcije prema Wagenmakers i sur. (2016.).

Laboratorij	n zubi	n usne	Sredina zubi	Sredina usne	Razlika
Albohn	67	72	4,20	4,06	0,14
Allard	55	70	5,05	4,89	0,16
Benning	58	57	4,69	4,70	-0,02

U prvom laboratoriju od 4,201 oduzimamo 4,062 i dobivamo približno 0,139 boda (Wagenmakers i sur. 2016.). Razlika postaje položaj točke. Raspršenost ocjena i broj osoba u objema skupinama određuju njezinu standardnu pogrešku i interval. Za račun čuvamo nezaokružene sažetke. Razlika dviju prikazanih zaokruženih sredina zato može odstupati od zaokružene razlike.

Metaanaliza je objedinjavanje usporedivih rezultata više istraživanja. Ovdje odgovara na drugo pitanje, kolika je prosječna razlika kroz laboratorije. Njihove procjene množimo težinama i zbrajamo. Težine ovise o nesigurnosti pojedine procjene i procijenjenoj varijabilnosti među laboratorijima, pa svaki sudionik i svaki laboratorij nemaju automatski jednaku težinu. U razrađenom primjeru pokazat ćemo kako model slučajnih učinaka određuje te težine. U našoj rekonstrukciji sirove sinteze prvi laboratorij nosi 6,3 % ukupne težine (Wagenmakers i sur. 2016.). Svih 17 težina zbraja se na 100 %, a izvorni pokus iz 1988. nije među njima (Wagenmakers i sur. 2016.). Slika povezuje tako dobivene procjene i intervale.

Forest plot sa sedamnaest laboratorijskih procjena i njihovim intervalima. Svi intervali sijeku nulu. Objedinjena procjena blizu je nule, dok je izvorna procjena 0,82 desno od većine intervala. — Slika 1: Procjene sirove razlike smile − pout i 95-postotni intervali u 17 laboratorija. Objedinjena procjena RRR-a iznosi 0,03 [−0,11; 0,16], a isprekidana crta označuje izvornu procjenu 0,82, koja ne ulazi u sintezu. Izrada autora iz lokalne rekonstrukcije službenoga arhiva prema Wagenmakers i sur. (2016.).

Točke se nalaze oko nule i svi je intervali presijecaju (Wagenmakers i sur. 2016.). Objedinjena procjena ima uži interval jer koristi informacije iz više laboratorija. I dalje se odnosi na laboratorije i postupak uključene u ovaj RRR. Značenje prikaza možemo čitati iz položaja, duljine crta i oznake objedinjene procjene i u crno-bijelom tisku.

Razlike smo dosad izrazili u bodovima ocjene stripova. Iz prethodnog poglavlja znamo da ih možemo izraziti i u jedinicama standardne devijacije, pa želimo provjeriti ovisi li tumačenje o tom izboru. Provjera osjetljivosti uspoređuje sirovu razliku s Cohenovim d. U našoj standardiziranoj rekonstrukciji iz objavljenih laboratorijskih sažetaka procjena iznosi 0,01, uz interval od -0,08 do 0,10. Objavljena sirova procjena iznosila je 0,03, uz interval od −0,11 do 0,16 (Wagenmakers i sur. 2016.). Razlikujemo objavljeni rezultat od vlastitoga preračuna. Obje analize koriste iste laboratorije, ali standardizacija mijenja ciljanu veličinu i relativni doprinos laboratorija. Sadržajni zaključak ostaje sličan. Procjene su blizu nule i intervali obuhvaćaju male vrijednosti u oba smjera. Ovom usporedbom provjeravamo ovisi li zaključak o izboru mjerila.

Reforma redoslijeda i vidljivosti

Predregistracija jest vremenski označen zapis pitanja, ishoda i glavne analize prije uvida u podatke koji bi mogli utjecati na te odluke. Omogućuje razlikovanje planiranih analiza od onih potaknutih podacima. Neočekivane obrasce možemo istraživati, ali ih trebamo označiti kao naknadne, istraživačke analize. Potvrđujuća (konfirmatorna) analiza provjerava unaprijed određenu tvrdnju. Istraživačka (eksploratorna) analiza traži obrasce i oblikuje nova pitanja. U ovom RRR-u unaprijed su pripremljeni i kod i ogledni prikazi. Dobiveni rezultat zato možemo usporediti s postupkom koji je bio vidljiv prije podataka (Wagenmakers i sur. 2016.).

Registrirani izvještaj mijenja redoslijed uredničke procjene. Urednik i recenzenti razmatraju pitanje i metodu prije nego što znaju je li nalaz velik, nov ili značajan (Wagenmakers i sur. 2016.). U ovom slučaju povezani su službeni članak, projekt, plan, kod i podaci. To je omogućilo neovisnu provjeru laboratorijskih procjena (Wagenmakers i sur. 2016.).

Kad želimo da drugi provjere istraživanje, trebamo im pokazati kako smo došli do rezultata, a pritom sačuvati privatnost ljudi koji su u njemu sudjelovali i poštovati uvjete uporabe materijala. Za naše je usporedbe dovoljno imati rezultate pojedinih laboratorija. U knjigu smo zato uključili samo izvedene sažetke na toj razini, iz kojih se sudionici ne mogu prepoznati. Pojedinačne odgovore, službeni kod, plan i izdavačev graf nismo preuzeli. Uz prikaz razlikujemo što možemo provjeriti ovdje, a za što se trebamo vratiti službenom izvoru.

Tvrdnje razlikujemo prema tome opisuju li, povezuju, uopćavaju, predviđaju, objašnjavaju uzrok ili podupiru odluku. Ovaj RRR omogućuje opis i usporedbu eksperimentalnih uvjeta, ograničen prijenos na provedene postupke te procjenu težine izvornog nalaza. Ne daje alat za predviđanje ni objašnjenje uzroka razlike između izvornog i replikacijskog rezultata.

Prije prihvaćanja zaključka provjeravamo jedinicu opažanja, izostavljene jedinice, ciljanu veličinu i vrstu tvrdnje. Pitamo koju nesigurnost interval uključuje, mijenja li razumna alternativa zaključak i tko snosi posljedice pogreške. Reformirani postupci trebaju te odgovore učiniti dostupnima za provjeru, a njihovu kvalitetu zatim procjenjujemo na temelju priloženih dokaza.

Priča o izrazu lica nastavila se i nakon replikacije s olovkom. Suradnja Many Smiles okupila je istraživače različitih polazišta u unaprijed registriranom istraživanju s 3.878 sudionika iz 19 zemalja (Coles i sur. 2022.). Usporedili su više načina izazivanja izraza lica. Oponašanje osmijeha i namjerno pomicanje mišića lica pružili su potporu utjecaju na osjećaj sreće, dok su nalazi za olovku u ustima bili manje uvjerljivi (Coles i sur. 2022.). Različiti postupci nisu dali jednak odgovor.

Coles, Nicholas A., David S. March, Fernando Marmolejo-Ramos, i sur. 2022. „A multi-lab test of the facial feedback hypothesis by the Many Smiles Collaboration“. Nature Human Behaviour 6 (12): 1731–42. https://doi.org/10.1038/s41562-022-01458-9.

Na početno pitanje sada možemo odgovoriti preciznije. Slabija potpora učinku pri ponavljanju traži promjenu uvjerenja o tom postupku i veličini njegova učinka. Drukčija manipulacija otvara zasebnu provjeru, s vlastitim ishodom i ograničenjima. Ocjena zabavnosti stripa i procjena vlastite sreće nisu ista mjera. Istraživanje napreduje kada tu razliku pretvorimo u jasno pitanje, unaprijed dogovorimo provjeru i dopustimo da nas rezultat iznenadi.

Interakcija — Pješčanik p-hakiranja

Sljedeći prikaz pokazuje što se događa kada, uz odsutnost učinka, povećavamo broj analitičkih putova. Više ishoda, podskupina ili trenutaka provjere daje više prilika za rezultat ispod praga. Usporedba s korigiranim pragom pokazuje kako uzeti u obzir cijelu obitelj analiza.

Za ovu zasebnu nastavnu simulaciju izravno generiramo p-vrijednosti. Pod idealiziranim nultim modelom svaki put daje neovisan broj jednoliko raspoređen između nule i jedinice. Jedno zamišljeno istraživanje s tri puta moglo bi dati 0,21, 0,03 i 0,54. To je namjerno sastavljen primjer. Ako prijavimo najmanji broj, 0,03 prolazi prag 0,05 iako u modelu učinka nema. Za unaprijed zadana tri puta korigirani prag bio bi \(0,05/3\), koji taj broj ne prolazi.

Prikaz provodi isti odabir najmanje vrijednosti za 1, 12 i 48 putova. Za svaki broj putova generiramo 5 000 cijelih istraživanja. Na svakom pragu brojimo istraživanja čija je najmanja p-vrijednost ispod ili na pragu i dijelimo s 5 000. Svi rezultati su definirani i ulaze u račun. Visina krivulje zato prikazuje rizik barem jednoga lažnog nalaza po istraživanju, a ne postotak pogrešnih testova među svim provedenim testovima.

Simulacija pretpostavlja neovisne putove, pravilno kalibrirane p-vrijednosti pod nultim modelom i unaprijed određen skup analiza. Stvarne analize često koriste iste podatke, pa krivulja može izgledati drukčije. Korekcija za poznati skup analiza ne rješava skrivene odluke ni neprijavljeno prilagođavanje postupka podacima.

Prikaži kod

viewof w12_par = Inputs.form({
  ishodi: Inputs.range(
    [1, 12],
    {value: 3, step: 1, label: "Broj mogućih ishoda"}
  ),
  podskupine: Inputs.range(
    [1, 5],
    {value: 2, step: 1, label: "Podskupinske inačice po ishodu"}
  ),
  provjere: Inputs.range(
    [1, 4],
    {value: 2, step: 1, label: "Trenuci provjere podataka"}
  ),
  ponavljanja: Inputs.range(
    [500, 3000],
    {value: 2000, step: 500, label: "Simulirana istraživanja"}
  )
})

Prikaži kod

{
  const form = viewof w12_par;
  form.dataset.learningForm = "w12";
  const state = document.createElement("span");
  state.hidden = true;
  state.dataset.experimentState = JSON.stringify(w12_par);
  return state;
}

Prikaži kod

{
  const tinta = "var(--tok-ink)";
  const krivulja = "var(--tok-data-2)";
  const korekcija = "var(--tok-data-4)";
  const naglasak = "var(--tok-accent-deep)";
  const linija = "var(--tok-rule)";
  const sans = "var(--tok-font-sans)";
  const broj = new Intl.NumberFormat("hr-HR", {
    minimumFractionDigits: 0,
    maximumFractionDigits: 4
  });
  const postotak = new Intl.NumberFormat("hr-HR", {
    style: "percent",
    maximumFractionDigits: 1
  });

  const brojPutova =
    w12_par.ishodi * w12_par.podskupine * w12_par.provjere;
  const rng = d3.randomLcg(1212);
  const najmanje = Array.from({length: w12_par.ponavljanja}, () => {
    let najmanja = 1;
    for (let i = 0; i < brojPutova; i += 1) {
      najmanja = Math.min(najmanja, rng());
    }
    return najmanja;
  });
  const pragovi = d3.range(0, 0.1001, 0.002);
  const cdf = pragovi.map(prag => ({
    prag,
    udio: d3.mean(najmanje, p => p <= prag)
  }));
  const nominalniPrag = 0.05;
  const korigiraniPrag = nominalniPrag / brojPutova;
  const nominalniUdio = d3.mean(najmanje, p => p <= nominalniPrag);
  const korigiraniUdio = d3.mean(najmanje, p => p <= korigiraniPrag);
  const celija = document.querySelector(".widget-frame .cell");
  const stilCelije = celija ? getComputedStyle(celija) : null;
  const lokalnaSirina = celija
    ? celija.clientWidth -
      parseFloat(stilCelije.paddingLeft) -
      parseFloat(stilCelije.paddingRight)
    : width;
  const sirina = Math.max(240, Math.min(width, lokalnaSirina));
  const usko = sirina < 480;
  const vrloUsko = sirina < 260;

  const graf = Plot.plot({
    width: sirina,
    height: usko ? 430 : 350,
    marginLeft: usko ? 66 : 62,
    marginRight: usko ? 16 : 24,
    marginBottom: usko ? 54 : 48,
    style: {
      background: "transparent",
      color: tinta,
      fontFamily: sans,
      fontSize: usko ? "14px" : "12px"
    },
    x: {
      label: "Prag za najmanju p-vrijednost",
      domain: [0, 0.1],
      ticks: vrloUsko ? 3 : usko ? 5 : undefined,
      tickFormat: d => broj.format(d)
    },
    y: {
      label: "Udio istraživanja",
      domain: [0, 1],
      grid: true,
      tickFormat: d => postotak.format(d)
    },
    marks: [
      Plot.lineY(cdf, {
        x: "prag",
        y: "udio",
        stroke: krivulja,
        strokeWidth: 2
      }),
      Plot.ruleX([nominalniPrag], {
        stroke: naglasak,
        strokeWidth: 1.5
      }),
      Plot.ruleX([korigiraniPrag], {
        stroke: korekcija,
        strokeWidth: 1.5,
        strokeDasharray: "4,3"
      }),
      Plot.dot(
        [{prag: nominalniPrag, udio: nominalniUdio}],
        {x: "prag", y: "udio", fill: naglasak, stroke: tinta, r: 4.5}
      ),
      Plot.dot(
        [{prag: korigiraniPrag, udio: korigiraniUdio}],
        {x: "prag", y: "udio", fill: korekcija, stroke: tinta, r: 4.5}
      ),
      Plot.ruleY([0], {stroke: linija})
    ]
  });

  return html`<div>
    ${graf}
    <p class="widget-foot" role="status" aria-live="polite">${brojPutova} putova daje ${postotak.format(nominalniUdio)} ispod 0,05 i ${postotak.format(korigiraniUdio)} ispod korigiranog praga ${broj.format(korigiraniPrag)}.</p>
  </div>`;
}

Slika 2: Udio simuliranih istraživanja s barem jednim rezultatom ispod odabranog praga nakon pretraživanja više neovisnih analitičkih putova.

Ako unaprijed određeni broj putova označimo s \(m\), prag \(0{,}05/m\) dijeli dopušteni ukupni rizik među njima. Svaka analiza mora zadovoljiti stroži prag. To je Bonferronijeva korekcija. Razinu 0,05 dijelimo brojem usporedbi u unaprijed određenoj obitelji. O obitelji testova više ćemo govoriti u poglavlju Više grupa. Takva korekcija ograničava rizik lažnih nalaza u unaprijed određenom skupu analiza, ali ne uklanja sve probleme analitičke fleksibilnosti.

Što isprobati.

Provedite jednu unaprijed određenu analizu.
Dodajte ishode, a podskupine i trenutke provjere ostavite jednakima.
Dodajte podskupinske inačice i trenutke provjere bez promjene broja ishoda.
Usporedite nominalni prag 0,05 s pragom korigiranim za sve putove.

Kada odaberemo najmanju p-vrijednost nakon pretraživanja, trebamo opisati kako smo do nje došli. Tumačenje mora uzeti u obzir cijeli postupak odabira i moguće analize.

Sedamnaest procjena nije referendum. Nakon ponavljanja pokusa s olovkom i procjenom duhovitosti crteža trebalo je odlučiti što zajednički rezultati govore o izvornom nalazu. Prema izvještaju o replikaciji, devet je laboratorija dalo pozitivnu, a osam negativnu točkastu procjenu (Wagenmakers i sur. 2016.). Kad bismo prebrojili samo predznake, mogli bismo zaključiti da su dokazi gotovo ravnomjerno podijeljeni.

Takvo prebrojavanje svakoj procjeni daje ulogu glasa za ili protiv. Mala razlika neposredno iznad nule tada vrijedi jednako kao velika, precizno procijenjena razlika. Nestaju i veličina i nesigurnost nalaza, upravo informacije zbog kojih je ponavljanje više laboratorija korisno.

U ovom slučaju nijedan laboratorijski interval nije bio u cijelosti iznad nule, a samo su dva obuhvaćala izvornu razliku od 0,82 boda (Wagenmakers i sur. 2016.). Objedinjena procjena iznosila je 0,03 boda, uz 95-postotni interval od −0,11 do 0,16 (Wagenmakers i sur. 2016.). Te brojke govore nešto određenije od raspodjele pozitivnih i negativnih predznaka. Pod uvjetima zajedničkog postupka ne podupiru ponavljanje izvorno velike razlike, a ostavljaju nesigurnost oko malih razlika u oba smjera.

Za istraživača koji odlučuje na čemu graditi sljedeći pokus to znači da treba promijeniti očekivanje o veličini nalaza. Polaznu vrijednost za planiranje treba procijeniti u svjetlu novih, znatno manjih procjena. Rezultat pritom pripada određenoj manipulaciji, mjerenju i protokolu. Drugi načini povezivanja izraza lica s doživljajem ostaju predmet zasebnih provjera.

Pojedinačne procjene zato čitamo uz objedinjenu, a razlike među laboratorijima ne pretvaramo u objašnjenja bez dodatnih dokaza. Uži zajednički interval nije prognoza točne vrijednosti sljedeće replikacije. Korist ponavljanja ovdje je u tome što sužava raspon uvjerljivih tvrdnji. Umjesto pitanja koliko je laboratorija glasovalo za učinak, možemo pitati koliko velik učinak njihov zajednički rad još dopušta.

Unaprijed vidljiv plan omogućuje nam provjeru istraživačkih odluka. U sljedećem obrazloženju procijenimo što na temelju samog postojanja takva plana možemo zaključiti o valjanosti nalaza.

Za bilješku o ponavljanju pokusa s izrazom lica asistent je izdvojio sljedeće podatke. RRR je unaprijed odredio glavni ishod, pravila uključivanja i primarnu analizu (Wagenmakers i sur. 2016.). Objedinjena razlika u ocjenama stripova iznosi 0,03 boda, uz 95-postotni interval od −0,11 do 0,16 (Wagenmakers i sur. 2016.).

Urednički zapis navodi da su plan i završni izvještaj dostupni, ali ih urednik još nije usporedio. To je zamišljena situacija pregleda ovoga rada, a ne tvrdnja o propustu njegovih autora. Asistent predlaže bilješku.

Glavni ishod i analiza određeni su prije uvida u rezultate. Objedinjena procjena blizu je nule, uz interval koji dopušta male razlike u oba smjera. Predregistracija je zato dovoljan razlog da prihvatimo zaključak bez usporedbe provedene analize s planom.

Napišite uredniku što iz bilješke može zadržati, a koji korak pregleda još treba obaviti. Predložite jednu konkretnu usporedbu plana i završnog izvještaja te napišite zamjenu posljednje rečenice. Ne pretpostavljajte da provjera mora otkriti odstupanje.

Razrađeni primjer

Dosadašnji zaključak počiva na razlici izraženoj u bodovima ocjene stripova. Provjerit ćemo ostaje li sadržajno sličan kada iste laboratorijske rezultate izrazimo standardiziranom razlikom. Prije te usporedbe trebamo potvrditi da obje analize polaze od istih provjerenih zapisa. Službeni arhiv sadrži sudioničke zapise iz 17 laboratorija, koje knjiga ne redistribuira (Wagenmakers i sur. 2016.). Iz njih je neovisnom provjerom izvedena tablica grupnih sažetaka, procjena i intervala. Redci se zbrajaju na 1.894 sudionika i odgovaraju objavljenim sažetcima, uz jedno odstupanje u zaokruživanju standardne devijacije koje ne koristimo u tvrdnjama knjige (Wagenmakers i sur. 2016.).

Tablicu možemo provjeriti bez pisanja koda. Svaki redak predstavlja laboratorij, a n broj uključenih sudionika. Interval pripada sirovoj razlici prosječnih ocjena između skupina koje su olovku držale zubima (smile) i usnama (pout).

Tablica 2: Sirove laboratorijske procjene iz RRR-a. Izrada autora iz lokalne rekonstrukcije službenoga arhiva prema Wagenmakers i sur. (2016.).

Laboratorij	n	Razlika	95-postotni interval
Albohn	139	0,14	[-0,40; 0,67]
Allard	125	0,16	[-0,43; 0,75]
Benning	115	-0,02	[-0,52; 0,49]
Bulnes	101	0,12	[-0,43; 0,67]
Capaldi	117	-0,11	[-0,69; 0,46]
Chasten	94	-0,05	[-0,65; 0,54]
Holmes	99	0,20	[-0,35; 0,75]
Koch	100	-0,19	[-0,73; 0,35]
Korb	101	0,02	[-0,65; 0,69]
Lynott	126	0,37	[-0,19; 0,92]
Oosterwijk	110	-0,24	[-0,76; 0,28]
Özdoğru	87	-0,58	[-1,41; 0,26]
Pacheco-Unguetti	120	-0,13	[-0,76; 0,49]
Talarico	112	0,02	[-0,51; 0,56]
Wagenmakers	130	0,15	[-0,27; 0,57]
Wayand	110	-0,20	[-0,74; 0,34]
Zeelenberg	108	0,35	[-0,18; 0,88]

Pri standardizaciji svaku laboratorijsku razliku dijelimo združenom standardnom devijacijom dviju skupina u tom laboratoriju. U prvom laboratoriju 0,139 boda tako postaje \(d = 0,087\). Mijenjaju se mjerna jedinica, standardna pogreška i težina, a sudionici i smjer oduzimanja ostaju isti. U obje analize zadržavamo svih 17 laboratorija.

Za objedinjavanje koristimo model slučajnih učinaka. Težina laboratorija prije normalizacije iznosi \(w_i=1/(SE_i^2+\tau^2)\), gdje \(SE_i\) opisuje nesigurnost njegove razlike, a \(\tau^2\) procijenjenu varijancu razlika među laboratorijima. Postupak REML procjenjuje tu drugu varijancu iz svih laboratorijskih sažetaka. Veći laboratorij zato ne mora dobiti težinu razmjernu samo broju sudionika. Objavljena sirova analiza i naša standardizirana rekonstrukcija imaju različite jedinice i težine.

Sljedeća tablica prikazuje obje rekonstrukcije iz istih 17 laboratorija. Intervali su normalni Waldovi intervali. Procjeni dodajemo i od nje oduzimamo \(1,96\sqrt{1/\sum_i w_i}\). Taj račun tretira procijenjenu među-laboratorijsku varijancu kao zadanu, pa ne obuhvaća svu njezinu nesigurnost. U ovome poglavlju učimo čitati sintezu. Procjena REML-a nije zadatak za ručno računanje.

Tablica 3: Autorska rekonstrukcija dviju sinteza iz laboratorijskih sažetaka prema Wagenmakers i sur. (2016.). Standardizirani redak nije zasebno objavljeni nalaz.

Mjera	Procjena	Donja granica	Gornja granica
Sirova razlika	0,027	-0,108	0,161
Standardizirana razlika	0,014	-0,076	0,104

Sirova procjena iznosi 0,03, uz interval od -0,11 do 0,16. Standardizirana rekonstrukcija iznosi 0,01, uz interval od -0,08 do 0,10. U laboratorijskoj tablici ima 9 pozitivnih procjena, 0 intervala u cijelosti iznad nule i 2 intervala koja obuhvaćaju 0,82. Ta brojanja opisuju raspored procjena. Zaključak temeljimo na njihovoj veličini i nesigurnosti.

Prema zajedničkom protokolu prosječna razlika u replikacijama bila je blizu nule i mnogo manja od izvornih 0,82 boda (Wagenmakers i sur. 2016.). Sirovi i standardizirani interval iz naše rekonstrukcije obuhvaćaju male razlike u oba smjera. Zaključak se odnosi na ispitani način mjerenja facijalne povratne sprege. Uzroci razlika među procjenama i eventualni utjecaj predregistracije zahtijevali bi zasebne usporedbe osmišljene upravo za ta pitanja.

Takav zaključak povezuje opaženi rezultat s provedenim postupkom. Pri odluci o težini izvornog nalaza uzimamo u obzir obje analize, uz navedene granice prijenosa.

Od testa do provjerljivog zaključka

Sada možemo zajedno razmotriti nulti model, veličinu učinka, interval, posljedice pogreške i način odabira analize. Dokumentirani postupak omogućuje provjeru tih dijelova. I dalje trebamo posebno opravdati uzročni zaključak, predviđanje ili prijenos na drugo okruženje.

U tablici su odgovori na šest pitanja za višelaboratorijski RRR i njegove dvije analize (Wagenmakers i sur. 2016.). Povezuju rezultat s jedinicom, postupkom i dopuštenim zaključkom.

Tablica 4: Šest revizijskih pitanja primijenjenih na provjereni RRR. Izrada autora prema Wagenmakers i sur. (2016.).

Revizijsko pitanje	Primjena na provjereni zapis
Koja je jedinica?	zapis za jedan laboratorij sa sažetkom razlike između eksperimentalnih uvjeta i njezine nesigurnosti
Tko ili što nedostaje?	ljudi izvan uključenih uzoraka, drugi laboratoriji i drukčije operacionalizacije facijalne povratne sprege
Koji je cilj tvrdnje?	prosječna razlika ocjena između uvjeta u zajedničkom postupku, opisana sirovom i standardiziranom sintezom
Gdje je neizvjesnost?	preciznost laboratorijskih i objedinjenih procjena. Ne obuhvaćaju sve probleme mjerenja, odabira i provedbe
Koje drugo objašnjenje ostaje?	standardizacija mijenja ciljanu veličinu i doprinos laboratorija, pa rezultate uspoređujemo sadržajno
Tko snosi posljedice?	istraživači, urednici i čitatelji koji procjenjuju koliko vjerovati izvornom nalazu

Karta tvrdnji u nastavku pokazuje što iz ove analize možemo prenijeti i gdje su granice pojedine tvrdnje.

Tablica 5: Šest dimenzija tvrdnje na granici Dijela IV. Izrada autora prema Wagenmakers i sur. (2016.).

Dimenzija tvrdnje	Što ovaj dokaz dopušta
opis	opisuje laboratorijske procjene, intervale i dvije objedinjene analitičke grane
povezanost	povezuje prosječnu ocjenu s eksperimentalnim uvjetom u provedenom postupku
generalizacija	oprezno prenosi zaključak na usporedive provedene postupke, ne na svaku populaciju ili operacionalizaciju
predviđanje	nije poduprto jer analiza ne gradi ni provjerava pravilo za novi laboratorij ili novoga sudionika
uzročnost	ne podupire uzročno objašnjenje razlike između izvorne i replikacijskih procjena
odluka	podupire opreznije odmjeravanje težine izvorne procjene uz obje grane i njihove intervale

Na kraju dijela provjerite četiri povezane teme. Zašto p-vrijednost ne daje vjerojatnost nulte hipoteze, a nalaz blizu nule ne dokazuje njezinu istinitost? Kako čitamo učinak i interval te zašto opaženi učinak nije neovisan ulaz za naknadnu provjeru snage? Kako pretraživanje analiza mijenja tumačenje najmanje p-vrijednosti? Koji dokumenti omogućuju provjeru rezultata i gdje bi zaključak prekoračio doseg nacrta?

U idućim analizama uvijek ćemo navesti ciljanu tvrdnju, primarni postupak, jednu razumnu alternativu, podrijetlo podataka i ograničenja. Počinjemo kategoričkim tablicama. Prije hi-kvadrat testa trebamo utvrditi koga smo prebrojili, što predstavlja ćelija, koji je nazivnik svakog postotka i kakvu razliku smatramo sadržajno važnom.

Sažetak

Nalaz možemo procijeniti tek kada uz završni račun vidimo kako su podaci prikupljeni, pripremljeni i analizirani te kako je rezultat odabran za objavu. P-hakiranje i račvajući putovi upozoravaju na različite oblike ovisnosti analize o podacima, zbog kojih je važan zapis trenutka i razloga odluke. Reproduciranjem provjeravamo račun na istom materijalu, a replikacijom prikupljamo nove podatke za usporedbu. U višelaboratorijskom primjeru čitanje procjena i intervala dalo je više od brojanja predznaka, a sirova i standardizirana analiza poduprle su sličan, ograničen zaključak o razlici blizu nule. Predregistracija, registrirani izvještaji i otvoreni materijali čine takvu provjeru dostupnijom, iako sami ne jamče dobro mjerenje ni valjan zaključak. U sljedećim analizama zato ćemo uz metodu pratiti i odluke koje su nas do nje dovele.

Pojmovi

potvrđujuća analiza: confirmatory analysis
istraživačka analiza: exploratory analysis
p-hakiranje: p-hacking
vrt račvajućih putova: garden of forking paths
publikacijska pristranost: publication bias
analitička fleksibilnost: analytical flexibility
reproducibilnost: reproducibility
replikacija: replication
forest plot: forest plot
provjera osjetljivosti: sensitivity analysis
predregistracija: preregistration
registrirani izvještaj: registered report

Zadaci

Konceptualni

Istraživač je nakon pregleda podataka iskušao pet pravila isključivanja i objavio jedino ono koje je dalo poželjan rezultat. Druga je istraživačica prije analize odlučila „upotrijebit ću medijan ako je raspodjela jako asimetrična, a sredinu inače” i zatim provela samo odabranu granu. Objasnite koji primjer prikazuje p-hakiranje, a koji vrt račvajućih putova. Za svaki navedite koji bi trag postupka čitatelju omogućio provjeru i pokažite gdje se u primjeru nalazi analitička fleksibilnost (Simmons i sur. 2011.; Gelman i Loken 2013.). Na kraju jednom rečenicom razlikujte reproducibilnost takve provjere od replikacije koja bi prikupila nove podatke.

Simmons, Joseph P., Leif D. Nelson, i Uri Simonsohn. 2011. „False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant“. Psychological Science 22 (11): 1359–66. https://doi.org/10.1177/0956797611417632.

Gelman, Andrew, i Eric Loken. 2013. „The Garden of Forking Paths: Why Multiple Comparisons Can Be a Problem, Even When There Is No ‚Fishing Expedition‘ or ‚p-Hacking‘ and the Research Hypothesis Was Posited Ahead of Time“. https://sites.stat.columbia.edu/gelman/research/unpublished/forking.pdf.

Računski

Koristite samo tiskanu tablicu laboratorijskih procjena, bez pisanja koda. Prebrojite koliko je od 17 točkastih procjena veće od nule i izračunajte taj udio u postocima (Wagenmakers i sur. 2016.). Zatim prebrojite koliko je 95-postotnih intervala u cijelosti iznad nule i koliko ih obuhvaća izvornu procjenu 0,82 (Wagenmakers i sur. 2016.). Napišite dvije rečenice koje objašnjavaju zašto prvi udio nije stopa „uspjelih replikacija”.

Kritički

Vratite se definiciji intervala iz poglavlja Procjena i logici nultoga modela iz poglavlja Logika testiranja. Forest plot temelji se na objavljenoj replikaciji (Wagenmakers i sur. 2016.). Zamislite sljedeći pogrešan komentar. „Niti jedan laboratorij nije dobio značajan rezultat, pa je dokazano da učinak ne postoji.” Revidirajte tu tvrdnju u tri rečenice. Uključite objedinjenu procjenu s intervalom, objasnite što nula u prikazu znači, usporedite primarnu analizu sa standardiziranom granom provjere osjetljivosti te navedite jednu populacijsku ili kontekstualnu granicu koju forest plot ne uklanja. Dodajte jednu rečenicu o tome kako bi publikacijska pristranost promijenila tumačenje sinteze kada nevidljive studije ovise o rezultatu.

Wagenmakers, E.-J., T. Beek, L. Dijkhoff, Q. F. Gronau, i sur. 2016. „Registered Replication Report: Strack, Martin, & Stepper (1988)“. Perspectives on Psychological Science 11 (6): 917–28. https://doi.org/10.1177/1745691616674458.

Revizija modela

Revidirajte analizu iz okvira o pogrešci. Predajte zapis s četiri polja. U prvome prepišite provjerene brojke, u drugome označite jedinu pogrešnu tvrdnju, u trećemu napišite ispravljeni zaključak, a u četvrtome navedite koji biste dokument ili redak postupka provjerili prije prihvaćanja analize i objasnite koju dodatnu vidljivost daje registrirani izvještaj. Ne traži se novi kod.