Het significantieniveau begrijpen (met voorbeelden) (2024)

Het significantieniveau (ook wel alfa, α, of level of significance genoemd) geeft de maximale kans weer dat je de nulhypothese ten onrechte verwerpt. Je kiest het significantieniveau zelf voordat je een statistische toets uitvoert. Meestal kies je voor een α van 0.05 of 0.01.

Bij hypothesetoetsing wordt de verkregen p-waarde (p-value) vergeleken met het significantieniveau om te bepalen of het gevonden verschil of de gevonden relatie statistisch significant is.

Als de p-waarde kleiner is dan de gekozen drempelwaarde, is het resultaat significant. In dat geval kan de nulhypothese worden verworpen.

Wat is hypothesetoetsing?

Bij kwantitatief onderzoek analyseer je de data door middel van hypothesetoetsing. Zo bepaal je of een verband, effect of verschil statistisch significant is.

Populatie vs steekproef

In de meeste gevallen gaat het hier om data voor een steekproef uit de populatie waarin je geïnteresseerd bent, omdat het vaak niet mogelijk is om data te verzamelen voor alle leden uit een populatie.

Hypothesen formuleren

Allereerst formuleer je je hypothesen:

• De nulhypothese (H0)voorspelt altijd dat er geen effect, geen relatie tussen variabelen of geen verschil tussen groepen bestaat.
• De alternatieve hypothese (H1)geeft je belangrijkste voorspelling van een effect, een relatie tussen variabelen of een verschil tussen groepen weer.

Je wilt onderzoeken of je de nulhypothese kunt verwerpen.

Significantieniveau kiezen

Voordat je je statistische toets uitvoert, bepaal je het significantieniveau (α-niveau). In de meeste gevallen kies je een drempelwaarde van 0.05 (5%), maar voor een meer conservatieve (strengere) toets kies je 0.01 (1%). Als je een lager significantieniveau kiest, moet het effect groter zijn om statistisch significant te zijn.

Als de drempelwaarde voor het significantieniveau lager is, verlaag je ook het risico op een Type I-fout waarbij je de nulhypothese onterecht verwerpt. In het geval van een Type I-fout denk je dat je een effect, verband of verschil hebt gevonden, terwijl het in werkelijkheid niet bestaat (false positive). Een Type I-fout wordt ook wel een alfa-fout genoemd.

Significantieniveau kiezen voor niet-wetenschappelijk onderzoek

Meestal wordt een waarde van 0.05 of 0.01 gekozen als significantieniveau voor statistische toetsen. Je kunt echter ook een hoger significantieniveau kiezen (bijvoorbeeld 0.1 of 10%). Dit komt vaak voor bij niet-wetenschappelijk onderzoek, zoals onderzoek voor marketingdoeleinden.

In dat geval is het vaak minder belangrijk dat je het risico op Type I-fouten minimaliseert, omdat de implicaties van dit type onderzoek over het algemeen minder serieus zijn.

Significantieniveau en p-waarde vergelijken

Iedere statistische toets levert een teststatistiek en p-waarde op. Deze p-waarde vergelijk je met het vooraf vastgestelde significantieniveau om te bepalen of het resultaat significant is.

• Als p kleiner is dan het significantieniveau, spreek je van een statistisch significant resultaat. Je verwerpt de nulhypothese.
• Als p groter is dan het significantieniveau, spreek je niet van een statistisch significant resultaat. Je behoudt de nulhypothese.

De p-waarde zegt niets over de juistheid van de alternatieve hypothese. Dep-waarde geeft alleen aan hoe waarschijnlijk het is dat je data zouden voorkomen als de nulhypothese waar is.

Als de p-waarde lager is dan de grenswaarde, kun je de nulhypothese dus verwerpen, maar het betekent niet per se dat je alternatieve hypothese waar is.

Rapporteren van je resultaten

Als je je resultaten rapporteert, is het belangrijk om niet alleen de teststatistiek en p-waarde te vermelden, maar ook relevante descriptieve statistieken, zoals het gemiddelde en de standaarddeviatie.

Let op: In het Nederlands gebruik je de komma als decimaalteken, maar bij het rapporteren van statistische resultaten is het gebruikelijk om de punt als decimaalteken te gebruiken.

Kritiek op de statistische significantie

Het is belangrijk om je ervan bewust te zijn dat veel onderzoekers kritiek hebben op de wijze waarop blind wordt vertrouwd op statistische significantie.

• De drempelwaarde (zoals 0.05 of 0.01) is vrij willekeurig. Een afname van dep-waarde met 0.001 kan een resultaat significant maken, terwijl in de praktijk niets verandert.

• De significantie wordt beïnvloed door de steekproefomvang. Het is makkelijker om een significant resultaat te vinden met een grote steekproef dan met een kleine steekproef.

• Er is sprake van een publicatiebias: wetenschappelijke tijdschriften publiceren bijna uitsluitend onderzoeken met statistische resultaten, omdat deze interessanter worden gevonden. Vaak kunnen deze resultaten bij herhaling niet worden gerepliceerd.

Veelgestelde vragen

Wat is statistische significantie?

Statistische significantie is een term die door onderzoekers wordt gebruikt om aan te geven dat het onwaarschijnlijk is dat hun resultaten op toeval gebaseerd zijn. Significantie wordt meestal aangeduid met een p-waarde (overschrijdingskans).

Statistische significantie is enigszins willekeurig, omdat je zelf de drempelwaarde (alfa) kiest. De meest voorkomende drempel is p < 0.05, wat betekent dat de kans 5% is dat de resultaten worden gevonden terwijl de nulhypothese waar is. Een andere drempel die vaak wordt gekozen isp< 0.01.

Als de p-waarde lager is dan de gekozen alfa-waarde, mag je stellen dat het resultaat van de toets statistisch significant is.

Hoe bereken je een p-waarde (p-value)?

Je berekent p-waarden meestal automatisch met het programma dat je gebruikt voor je statistische analyse (zoals SPSS of R). Je kunt de p-waarde ook schatten met behulp van tabellen voor de teststatistiek die je gebruikt.

P-waarden vertellen je hoe vaak een teststatistiek waarschijnlijk zou voorkomen onder de nulhypothese, op basis van de positie van de teststatistiek in de nulverdeling.

Als de teststatistiek ver verwijderd is van het gemiddelde van de nulverdeling, dan is de p-waarde klein. Dit laat zien dat het niet waarschijnlijk is dat de teststatistiek zou voorkomen als de nulhypothese waar is.

Kun je op basis van de p-waarde aannemen dat de alternatieve hypothese waar is?

Nee, de p-waarde zegt niets over de alternatieve hypothese. De p-waarde geeft aan hoe waarschijnlijk het is dat de data die je hebt gevonden zouden voorkomen als de nulhypothese waar zou zijn.

Als de p-waarde onder je grenswaarde (vaak p < 0.05) valt, kun je de nulhypothese verwerpen, maar dit betekent niet per se dat je alternatieve hypothese waar is.

Wat is een significantieniveau?

Het significantieniveau (alfa, α) geeft de maximale kans weer dat je de nulhypothese ten onrechte verwerpt (een Type I-fout). Je kiest het significantieniveau zelf voordat je een statistische toets uitvoert. Meestal kies je voor een α van 0.05 (5%) of 0.01 (1%).

Wat is het doel van hypothesetoetsing?

Met hypothesetoetsing bereken je hoe waarschijnlijk het is dat een patroon of verband tussen onafhankelijke en afhankelijke variabelen door toeval zou kunnen zijn ontstaan.

Bij kwantitatief onderzoek analyseer je de data door middel van hypothesetoetsing van de nulhypothese en alternatieve hypothese. Je voert een statistische analyse uit en vergelijkt de verkregen p-waarde met het vooraf gekozen significantieniveau. Zo bepaal je of een verband, effect of verschil statistisch significant is.