A nationwide analysis of the effectiveness of a Social and Emotional Learning program in Portugal: Focus on the role of developers’ involvement

Abstract

The current study was the first to analyze the effectiveness of Positive Attitude Secondary School (PASS) Social and Emotional Learning (SEL) program upon the self-perceptions (social, academic, and emotional self-concept and self-esteem) of secondary school students, with a nationwide sample. The study also compared how different levels of developers’ involvement (defined as “led”, “involved” or “independent”) in program implementation influenced its effectiveness. Nine-hundred-nighty-five participants (7th to 9th grade; M_age = 12.95, SD = 1.70) participated in this study, 789 students (37 classes) received the PASS SEL program and 206 (nine classes) took part in the control groups. The program was implemented by the programs’ developers in the programs’ original setting (Torres Vedras); by another team in another municipality (Cadaval), where the program has been implemented in the last two years (“involved”); and by new teams in six Gulbenkian Academies of Knowledge spread throughout Portugal (“independent”). Self-report questionnaires were administered before and after the intervention. The results from the repeated measures MANOVAs showed that students who participated in the PASS SEL program displayed statistically significant larger gains in social self-concept and self-esteem when compared with students from the control group. However, there were no statistically significant differences in program effectiveness between the different level of developers’ involvement in the implementation of the PASS SEL program. Altogether, the results support the effectiveness of the PASS SEL program in enhancing self-perceptions, even with different levels of developers’ involvement, which indicates the program is ready for further dissemination.

Resumen

El presente estudio ha sido el primero en implementar, a nivel nacional, un análisis de la eficacia del programa SEL Actitud Positiva en la Enseñanza Secundaria (PASS) en Portugal sobre las autopercepciones (autoconcepto social, académico y emocional y autoestima) de alumnado de secundaria. Este estudio ha analizado también la forma en que los diferentes niveles de participación de los implementadores (en adelante definidos como “dirigido”, “involucrado” o “independiente”) en la ejecución del programa han influido en la eficacia de un programa de Aprendizaje Socio-Emocional (SEL). Mil siete participantes (de 7° a 9° curso; M_edad = 12.95, DT = 1.70) han participado en este estudio, 801 alumnos (37 clases) se han beneficiado del programa SEL PASS y 206 (nueve clases) han formado parte del grupo de control. El programa ha sido “dirigido” directamente por sus creadores en el medio original del programa (Torres Vedras); por otro equipo, en otro municipio (Cadaval) donde el programa ha sido implementado en los últimos dos años (“involucrado”); y por nuevos equipos en seis Academias del Conocimiento de Gulbenkian distribuidas por Portugal (“independiente”). Se han aplicado auto reportes antes y después de la intervención. Los resultados de las MANOVAs de medidas repetidas muestran que los estudiantes que han participado en el programa PASS SEL presentan mayores ganancias estadísticamente significativas en el autoconcepto social y la autoestima en comparación con los estudiantes del grupo de control. Pero no se han encontrado diferencias significativas en efectividad entre los niveles de participación de los implementadores en la ejecución del programa SEL PASS. Los resultados apoyan la eficacia del programa SEL PASS en el aumento de las autopercepciones, incluso con diferentes niveles de participación de los implementadores. Estos resultados indican que el programa el programa está listo para una mayor difusión.