Er is een verhaal uit de Tweede Wereldoorlog dat dit begrip in één klap duidelijk maakt, en het is bovendien waar.
De Amerikaanse luchtmacht wilde het pantser van bommenwerpers verzwaren. Zwaarder pantser kost brandstof en laadvermogen, dus het kon maar op een paar plekken. Ze onderzochten de teruggekeerde toestellen, brachten in kaart waar de meeste kogelgaten zaten en stelden voor om juist daar te verstevigen.
De statisticus Abraham Wald keek naar dezelfde gegevens en kwam tot de omgekeerde conclusie. Verstevig de plekken waar géén gaten zitten. Want de toestellen die daar geraakt werden, kwamen niet terug.
Wat survivorship bias is
Overlevingsbias is de denkfout waarbij je conclusies trekt uit een groep waaruit de mislukkingen al verdwenen zijn.
Je vindt hetzelfde begrip ook onder de schrijfwijzen survivor bias, survival bias en survivability bias.
Het venijn zit erin dat je niet merkt dat er iets ontbreekt. De gegevens die je vóór je hebt zien er compleet uit. Je telt, je vergelijkt, je vindt een patroon, en dat patroon is echt. Alleen geldt het voor de overlevers en niet voor de vraag die je eigenlijk had.
Wald had geen betere gegevens dan de luchtmacht. Hij had dezelfde gegevens en hij vroeg zich af welke toestellen er niet bij zaten.
Waar je het in je eigen werk tegenkomt
Succesverhalen. Je leest tien interviews met ondernemers die het gemaakt hebben. Allemaal zeggen ze dat ze zijn doorgegaan toen iedereen zei dat ze moesten stoppen. Daar zit geen les in, want de duizend die precies hetzelfde deden en omvielen worden niet geïnterviewd.
Vroeger was alles beter gebouwd. De huizen uit 1900 die er nog staan, staan er nog omdat ze goed gebouwd waren. De slechte zijn allang gesloopt. Van de huizen die we nu bouwen zie je zowel de goede als de slechte.
Advies van wie het gered heeft. Iemand die zijn baan opzegde om voor zichzelf te beginnen en het redde, vertelt je dat je die sprong moet wagen. Hij is geen betrouwbare bron over die vraag, want de mensen bij wie het misging vertellen hun verhaal zelden op een podium.
Klantonderzoek. Je vraagt je huidige klanten waarom ze voor je kozen. Nuttig, en het antwoord op de vraag waarom mensen níet voor je kiezen zit er per definitie niet in.
Sollicitaties. Je kijkt naar de mensen die je hebt aangenomen en die goed functioneren, en concludeert waar je op moet selecteren. De kandidaten die je hebt afgewezen en die het ergens anders uitstekend doen, komen in dat overzicht niet voor.
Hoe je het herkent
Er is één vraag die het in vrijwel alle gevallen blootlegt.
Wie zit er niet in deze gegevens, en waarom niet?
Als het antwoord daarop iets te maken heeft met het onderwerp dat je onderzoekt, heb je te maken met overlevingsbias. Vielen ze weg om een reden die met je vraag samenhangt, dan is je groep scheef.
Een tweede vraag helpt bij advies en succesverhalen: deden de mensen die het niet redden dit ook? Vaak is het antwoord ja, en dan verklaart het genoemde recept helemaal niets.
Waarom het zo moeilijk te zien is
Omdat afwezigheid geen signaal geeft. Je hersenen werken met wat er ligt en gaan niet uit zichzelf op zoek naar wat er ontbreekt. Dat is dezelfde beweging als bij deletie, distortie en generalisatie: wat weggevallen is, valt niet op.
In gesprekken zie je hetzelfde gebeuren. Iemand vertelt wat er gebeurde en vertelt vanzelfsprekend niet wat er niet gebeurde. De vraag die daar iets losmaakt is dezelfde als hierboven, alleen wat vriendelijker geformuleerd: "En hoe ging het de keren dat het anders liep?"
Waar het vandaan komt
De term komt uit de statistiek en werd bekend door het werk van Abraham Wald voor de Statistical Research Group aan Columbia University tijdens de Tweede Wereldoorlog. In de financiële wereld wordt hij ook gebruikt voor het verschijnsel dat fondsoverzichten alleen de fondsen tonen die nog bestaan, waardoor het gemiddelde rendement er beter uitziet dan het was.
Het plaatje van het vliegtuig met rode stippen dat je overal ziet, is een latere illustratie. Wald zelf werkte met formules en niet met dat beeld. De redenering is wel van hem.
Veelgestelde vragen
Wat is survivorship bias in het Nederlands?
Overlevingsbias. Je ziet het ook wel als overlevingsvertekening. De Engelse term wordt in Nederland vaker gebruikt dan de vertaling.
Wat is het verschil tussen survivorship bias en confirmation bias?
Bij overlevingsbias ontbreken de gegevens: de mislukkingen zitten niet in je groep. Bij bevestigingsbias zijn de gegevens er wel en kijk je er selectief naar. De eerste is een probleem met je materiaal, de tweede met je aandacht.
Wat is het verhaal van de vliegtuigen met kogelgaten?
Onderzoekers wilden bommenwerpers verstevigen op de plekken waar teruggekeerde toestellen de meeste kogelgaten hadden. Abraham Wald wees erop dat je juist de plekken zonder gaten moest verstevigen, omdat toestellen die daar geraakt werden niet terugkwamen.
Hoe voorkom je survivorship bias?
Door bij elke verzameling gegevens te vragen wie er niet in zit en waarom niet. Hangt de reden van uitval samen met wat je onderzoekt, dan is je groep scheef en zeggen je conclusies weinig.