La présente étude porte sur l’effet d’un programme de formation comportementale des parents biologiques (Parent Management Training-Oregon —– PMTO) sur le bien-être des enfants (mesuré d’après le fonctionnement socioaffectif, les comportements problématiques et les aptitudes sociales) et la stabilité du placement en famille d’accueil. Les sujets venaient d’un État du Midwest et étaient pris en charge par le système privé de placement en famille d’accueil, à travers lequel ils devaient participer à un essai aléatoire avec pré-test et post-test. À cette étape formative du processus, les chercheurs voulaient vérifier si leurs résultats étaient mesurables et si les instruments sélectionnés étaient assez sensibles pour détecter le changement. Ils voulaient également déterminer s’il y avait des différences entre les groupes d’intervention et les groupes témoins.
Akin et ses collègues ont eu recours à un processus d’évaluation en plusieurs étapes pour épargner du temps et des ressources tout en assurant la fiabilité et la validité des mesures et des construits de l’étude. Cette méthode aide également à accélérer la mise en œuvre de programmes fondés sur des données probantes. Plus précisément, cet article représente l’étape formative de l’évaluation, qui sert à établir l’efficacité initiale du programme et à confirmer les trajectoires de changement avant de passer à des étapes plus coûteuses et plus complexes comme l’évaluation sommative et la diffusion. Les chercheurs ont également appliqué le concept de la science translationnelle de l’échange culturel, dans lequel une collaboration active et un apport mutuel se produisent entre les praticiens de l’organisme, les administrateurs et les chercheurs afin de réduire les obstacles liés à la pratique.
Résultats :
Le bien-être a été mesuré au moyen de trois variables : fonctionnement socioaffectif, comportement problématique et compétences sociales. Le fonctionnement socioaffectif a été mesuré à l’aide de l’Échelle d’évaluation du fonctionnement de l’enfant et de l’adolescent (Child and Adolescent Functioning Assessment Scale —– CAFAS), avec une validité concourante et prédictive satisfaisante et une fiabilité interne de 0,63 et 0,85 respectivement pour le temps 1 et le temps 2. Le comportement problématique et les compétences sociales ont été évalués ensemble à l’aide du Système d’amélioration des compétences sociales (Social Skills Improvement System —– SSIS), une mesure qui a des indices de validité modérément élevés pour les deux échelles (comportement problématique et compétences sociales). Le coefficient alpha de Cronbach a été calculé pour déterminer la fiabilité interne et les échelles de comportement des problèmes étaient de 0,89 au temps 1 et de 0,82 au temps 2, tandis que les échelles de compétences sociales étaient de 0,92 au temps 1 et de 0,92 au temps 2. La stabilité du placement a été mesurée chaque année en utilisant des données administratives et a été calculée en incluant le nombre total de placements divisé par le nombre de jours en famille d’accueil, multiplié par 365 pour obtenir un taux annualisé.
Les deux groupes ont amélioré leurs résultats selon les trois mesures du bien-être, le groupe d’intervention montrant la plus grande amélioration. Le groupe de traitement affichait 22 % moins de placements annuels que le groupe témoin. Les résultats préliminaires démontrent la capacité de la mesure à fonctionner correctement et à détecter les changements. Les trois mesures de bien-être au temps 1 ont significativement prédit le bien-être au temps 2 (six mois plus tard). Cependant, aucune relation dans un sens ou dans l’autre n’a été trouvée entre le bien-être et la stabilité du placement, à une exception près : les compétences sociales et l’instabilité du placement du groupe d’intervention au temps 2. Les auteurs prévoient qu’avec une taille d’échantillon plus grande et une augmentation subséquente de la puissance, ces relations sont susceptibles de réapparaître et une évaluation sommative de la prochaine étape devrait commencer.
L’échantillon de l’étude présente certains problèmes manifestes. La taille de l’échantillon (n = 121) a été analysée par deux simulations pour en déterminer la puissance statistique et a été jugée globalement insuffisante (0,40) par le test de non-adéquation. Cependant, d’après le test de Monte-Carlo, elle était suffisamment puissante pour de nombreuses variables (0,89 et plus) et d’une puissance légèrement insuffisante pour d’autres (0,65). Les chercheurs ont jugé ces niveaux acceptables à des fins formatives à cette étape du processus, mais ils ont indiqué que ces résultats ne devraient pas être utilisés pour en tirer des conclusions sommatives. Les calculs de la puissance auraient dû être effectués avant le recrutement afin de s’assurer de disposer d’un échantillon de taille adéquate.
La mesure du taux de placement annualisé est un résultat très simplifié qui vise à décrire des situations potentiellement complexes. Elle est donc limitée en ce sens qu’elle ne décrit pas les raisons du changement de placement, elle indique simplement qu’un déménagement a eu lieu. Certains changements de placement peuvent être positifs et adaptatifs, mais l’analyse actuelle suppose qu’un plus grand nombre de placements est associé à de moins bons résultats.
Les chercheurs ont utilisé un essai avec prérandomisation pré-test, post-test, ce qui signifie que les participants ont été assignés aléatoirement selon leur problème de santé et informés de leur affectation avant de donner leur consentement. Certains chercheurs indiquent que cette séquence inverse de randomisation et de consentement peut réduire les taux de participation et donc la puissance statistique (Homer, 2002). Cet article n’a pas fourni les valeurs initiales de l’échantillon pour déterminer si cela s’était produit, mais il reste possible que la limite exprimée de l’échantillon sous-alimenté ait été influencée par cette méthode. On observe également un nombre beaucoup plus élevé de participants dans le groupe d’intervention (n = 78) que dans le groupe témoin (n = 43), même s’ils étaient répartis de manière égale, ce qui semble indiquer que plusieurs familles n’accorderaient pas leur consentement après avoir été informées de leur placement dans le groupe témoin. De plus, les praticiens qui administraient le traitement étaient en cours d’obtenir la certification du PMTO, qui exigeait le traitement d’un nombre minimum de dossiers, ce qui a également augmenté la proportion de participants au groupe de traitement. Des recherches plus poussées avec une taille d’échantillon plus importante devraient résoudre certaines de ces limites statistiques.
Bibliographie
Homer, C. (2002). Using the Zelen design in randomized controlled trials: Debates and controversies. Journal of Advanced Nursing, 38(2), 200-207.