Om selectief zorg in te kunnen kopen of om als consument te kunnen kiezen tussen zorgaanbieders is inzicht in de geleverde kwaliteit van zorg noodzakelijk. Bureau Zichtbare Zorg, onderdeel van het Ministerie van Volksgezondheid, Welzijn en Sport ondersteunt zorgaanbieders in verschillende sectoren bij het inzichtelijk maken van de kwaliteit van de geleverde zorg. Hiertoe ontwikkelt Zichtbare Zorg kwaliteitsindicatoren. Zij verzamelt gegevens met betrekking tot deze indicatoren bij de zorgaanbieders en maakt deze gegevens beschikbaar voor cliënten, zorgverzekeraars, toezichthouders, zorgverleners en beleidsmakers om hen te informeren over de kwaliteit van de zorg.

Zichtbare Zorg heeft Significant de opdracht gegeven over twee methodologische vraagstukken te adviseren.

Signaalvlag statistisch betrouwbaar onderscheiden

Gebruikers van de data moeten voldoende context geboden krijgen, zodat zij verantwoord kunnen omgaan met de gegevens. Zichtbare Zorg heeft een indicatorstandaard opgesteld waarin een viertal kwaliteitseisen staat beschreven waarop indicatoren worden beoordeeld: inhoudsvaliditeit, vergelijkbaarheid, registratiebetrouwbaarheid en statistisch betrouwbaar onderscheiden. De mate waarin de indicatoren voldoen aan de kwaliteitseisen wordt met behulp van zogenaamde signaalvlaggen inzichtelijk gemaakt.

De kwaliteitseis statistisch betrouwbaar onderscheiden is een methodologische kwaliteitseis: een indicator dient het vermogen te hebben om zorgaanbieders met bovengemiddelde en ondergemiddelde indicatorwaarden te onderscheiden van het landelijk gemiddelde, zonder dat toeval hier een grote rol in speelt. Om de mate waarin een indicator voldoet aan deze kwaliteitseis vast te stellen, is gebruik gemaakt van power berekeningen. Met deze berekening is het mogelijk vast te stellen op hoeveel cliënten een indicator van een afzonderlijke zorgaanbieder minimaal gebaseerd moet zijn wil een vergelijking tussen de betreffende zorgaanbieder en het landelijk gemiddelde statistisch verantwoord zijn.

De resultaten van dit advies zijn vastgelegd in de leeswijzer signaalvlag statistisch betrouwbaar onderscheiden.

Gebruik Empirical Bayes methoden

De gegevens die door Zichtbare Zorg worden verzameld hebben een hiërarchische structuur. Binnen een groot aantal zorgaanbieders is informatie verzameld over een groep cliënten. De cliënten kunnen niet als één random steekproef worden gezien uit de populatie van alle mogelijke cliënten van Nederland: de cliënten zitten genest binnen de zorgaanbieders. De gegevens van cliënten binnen een zorgaanbieder zullen in het algemeen meer op elkaar lijken dan de gegevens van cliënten van verschillende zorgaanbieders. Om hiermee in de analyses rekening te houden wordt gebruikgemaakt van multilevel analyses.

De indicatorwaarden kunnen met klassieke of met Empirical Bayes methoden worden geschat. Vanuit de wetenschap wordt het gebruik van Empirical Bayes methoden geadviseerd. Deze methode kan echter niet binnen elke sector of voor elke indicator zondermeer worden toegepast. Significant heeft een Beslismodel Empirical Bayes opgesteld. Het beslismodel geeft antwoord op de vraag waar en wanneer Empirical Bayes methoden toegepast kunnen worden, en wat er dient te gebeuren wanneer Empirical Bayes methoden niet gewenst zijn of naar verwachting niet tot de gewenste resultaten leiden.