Courtney, M. E., Zinn, A., Zielewski, E. H., Bess, R. J., Malm, K. E., Stagner, M., et al. (2008). Evaluation of the Life Skills Training Program, Los Angeles County, California: Final Report. SO - Administration for Children and Families (125 pp., incl. 6 pp. of introductory material).
Cette étude évaluait le programme de préparation à la vie quotidienne destiné aux jeunes placés en famille d’accueil dans le comté de Los Angeles. Ce programme était légitime, se déroulait en classe sur plusieurs sites et offrait 30 heures de formation en cinq semaines dans sept domaines de compétence : éducation, emploi, aptitudes à la vie quotidienne, aptitudes à la survie, choix et conséquences, habiletés sociales interpersonnelles et informatique. Les sujets ont été rémunérés pour leur participation. Les cours ont été dispensés dans les campus communautaires par des travailleurs des services d’approche qui ont amené les jeunes à participer au programme et qui ont fait de la gestion de cas.
Les chercheurs se sont efforcés d’appliquer une méthodologie rigoureuse. Ils ont utilisé un protocole expérimental dans lequel les sujets ont été répartis aléatoirement dans un groupe de traitement (n = 234) et dans un groupe témoin (n = 248). Ils ont recueilli des données sur plusieurs variables relatives au mode de vie (p. ex., diplôme d’études secondaires, emploi, logement, délinquance, grossesse, compte bancaire ou d’épargne) en effectuant trois entrevues en personne en deux ans. L’analyse minutieuse des données se basait sur deux modèles de régression multiple afin de tenir compte de l’effet d’une série de covariables.
Les résultats indiquent que le programme a eu peu d’impact sur les résultats évalués. Après avoir corrigé les niveaux de signification pour expliquer la possibilité de résultats faux positifs, les chercheurs ont découvert que le programme n’avait pas de résultats significatifs du tout.
How can this complete failure be explained? One possible reason might be a number of problems in program implementation, for example, an apparent breakdown in the randomization process. Of the 234 youth originally assigned to the LST group, 55 (23.5%) dropped out. More surprisingly, of the 248 youth originally assigned to the control group, 66 (26.6%) actually enrolled in the LST program, and 22.6% graduated from the program. Also, the procedures for recruiting subjects, and recruiting and training program staff, were complicated and difficult to implement. There was a high rate of staff turnover and some LST staff members were reported to have concerns about the qualifications and performance of workshop trainers.
More important, however, are questions about the basic program concept. Is it reasonable to expect that only 30 hours of classroom-based life skills training could have much impact? In fact, program staff are quoted as saying that this amount of workshop time was not adequate to provide all the necessary information. The failure of the program to show any significant impact on life skills suggests that these subjects may already have been getting life skills information from school or foster care providers. However well-intentioned, this program appears to have been a costly failure.