x

¿Aún no está registrado?

Cree su cuenta. Regístrese en Elsevier y obtendrá: información relevante, máxima actualización y promociones exclusivas.

Registrarme ahora
Ayuda - - Regístrese - Teléfono 902 888 740
Buscar en

Indexada en:

Excerpta Medica/EMBASE, IBECS, IME, SCOPUS

Métricas

  • SCImago Journal Rank (SJR):0,183
  • Source Normalized Impact per Paper (SNIP):0,374
Rev Calidad Asistencial 2007;22:78-84 - DOI: 10.1016/S1134-282X(07)71197-1
La utilización del cliente simulado en la evaluación de los servicios de atención al cliente
Use of the simulated client technique in non-medical services in the healthcare setting
Pablo Hernandoa, Francisco Javier Lechugaa, Antonio Ávilaa
a Servicios de Atenci??n al Cliente. Corporaci?? Sanit??ria Parc Taul??. Sabadell. Barcelona. Espa??a.
Resumen
Introduction: The simulated client technique (SCT) has been little used in the evaluation of patient advice and liaison services. Objectives: To evaluate non-medical services and to propose improvements. Material and method: Firstly, the elements and situations to be evaluated were determined and standards for an appropriate response to each were defined. Amateur actors aged between 20 and 50 years old were selected, excluding those with familial or professional links to the institution. The actors were trained in the SCT and were provided with an adapted script and a checklist to be completed. Seventy situations with 16 dimensions to be evaluated in distinct shifts and professional groups were selected. Finally, staff members were informed that the study would take place but were not told the start date. Results: For telephone staff, noncompliance with the standard appropriate response of 90% was found in two formal elements and noncompliance of 75% was found in one of the situations. For porters, noncompliance was found in five of the 10 formal elements and in two of six situations. In administrative staff, noncompliance ranging between 63% and 33% was found in formal elements. In two of the five situations evaluated, there was 100% compliance with the standard for appropriate response. Conclusions: The results of this study reveal opportunities for improvement and provide answers to the objectives proposed. The use of the SCT represents a step forward in the concept of the patient as client but should be complemented by other evaluations.
Keywords
Simulated client, Patient advice and liaison services, Evaluation of services

Introducción

El cliente simulado (CS), también conocido como "cliente fantasma" (mystery shopping), supone la "... utilización de investigadores entrenados para que actúen como consumidores o potenciales consumidores en una organización con la intención de monitorizar y evaluar la calidad de la atención al cliente y los procesos y procedimientos utilizados al proveer el servicio"1. El CS se ha utilizado habitualmente como herramienta de evaluación en empresas de servicios con 3 finalidades: la mejora del proceso, la mejora de las conductas de los profesionales para proveer el servicio y la realización de benchmarking con organizaciones similares.

Aunque parece que hay datos de este tipo de evaluación desde los años cuarenta, es una técnica que surge en los ochenta, cuando se la utilizó frecuentemente en servicios financieros y de hosteleria1. En la actualidad es una industria importante, y así existe la Mystery Shopping Providers Association2, que incluye un buen número de compañías que proveen estos servicios en todo el mundo y que incluso disponen de un código ético de autorregulación para su actuación. En España no hemos encontrado una regulación específica para esta actividad, pese a que puede ampararse bajo la regulación y el Comité Ético de la Asociación Española de Estudios de Mercado Marketing y Opinión (AEDEMO)3.

El CS es una técnica evaluativa de carácter cualitativo. Se podría asumir que es una variable de la observación en tanto que ésta es un "... procedimiento para la obtención de datos primarios por el que se contemplan y registran (...) hechos o sucesos diversos, ya sean derivados de comportamientos de personas o relativos a cosas"4. Es de destacar, sin embargo, la falta de referencia a esta alternativa de investigación o evaluación en tratados teóricos de metodología5. De hecho, hay opiniones críticas en cuanto a su validez y fiabilidad y la generalización de sus resultados4, que, sin embargo, comparten muchos otros métodos de carácter cualitativo. Los problemas en este sentido se pueden resumir en los siguientes aspectos: el tamaño de la muestra, la formación y preparación de los CS y los métodos de registro1, en los que se ha de maximizar todas las alternativas que disminuyan la posibilidad de olvido y finalmente los aspectos a evaluar, dado que es importante la máxima concreción de los cuestiones a valorar, y se aconseja la utilización de una check-list6.

La técnica del CS ha sido poco usada para la evaluación de los servicios sanitarios7, lo cual puede deberse a las especiales características de este tipo de servicio, así como a la escasa orientación al cliente6. En el entorno sanitario es importante diferenciar el CS del "paciente simulado", que supone una propuesta evaluativa8 y de soporte para el aprendizaje mucho más elaborada mediante la utilización de enfermos simulados dentro de la Objective Structured Clinical Examination (OSCE). Esta utilización obliga a mayores preparación y especialización tanto del paciente simulado como del observador. En la OSCE el paciente simulado "... es una persona ficticia con una características personales cuidadosamente desarrolladas (sociales y económicas) dibujadas de acuerdo con el objeto de dar respuesta a una investigación"9.

Un ejemplo de ello, fuera del ámbito sanitario, es la evaluación de una reforma legislativa en derecho familiar en Escocia8 o la evaluación de accesibilidad y servicios de residencias asistidas en Reino Unido10. En estas evaluaciones no sólo se obtiene información sobre si se realizan o no determinadas acciones, sino también sobre su proceso. En nuestro caso los CS utilizados no tienen unas "características personales cuidadosamente desarrolladas" como en la OSCE, dado que el tipo de interacción es puntual y la intención es evidenciar si se dan o no determinadas conductas sin entrar a valorar el proceso.

El trabajo que aquí presentamos pretende la evaluación de profesionales de primera atención (ordenanzas, telefonistas, administrativos) en una institución sanitaria (Corporació Parc Taulí) con diferentes ámbitos de atención (especializada, sociosanitaria, primaria y salud mental).

El objetivo es valorar la atención de los profesionales no asistenciales y realizar propuestas de mejora en función de los resultados obtenidos.

Material y método

La determinación de los aspectos y las situaciones que evaluar

En primer lugar hemos de concretar qué aspectos y situaciones se evalúan; es un elemento esencial en este procedimiento1. Los responsables de este ámbito, conjuntamente con algunos profesionales, determinaron una serie de conductas o aspectos clave que evaluar y unas situaciones concretas que estudiar (tabla 1). En cada situación se determinó cuáles eran los sucesos que implicaban el cumplimiento de un estándar de respuesta aceptable, donde aparecía un breve guión más desarrollado. En los formales, la evaluación se determinaba según se produjera determinada conducta o no (tabla 2). Se las escogió en función de su frecuencia y del grado de importancia para desarrollar el trabajo del día a día.

La selección de los clientes simulados

Se acudió a actores amateurs con edades comprendidas entre 20 y 50 años. Las vinculaciones familiares o profesionales con la organización fueron criterios excluyentes. Se realizó una sesión formativa de 3 h de duración, con sesiones de role playing para el ensayo de sus "papeles". Cada CS disponía de un guión adaptado a cada una de las situaciones con una check-list que tenían que memorizar para posteriormente completarla.

Muestra

Se determinaron un total de 70 acciones en 16 dimensiones a evaluar (aspectos formales y situaciones). Hay que tener en cuenta que la técnica del CS parte del supuesto de que todos los aspectos formales y las situaciones tienen unas respuestas estándares, por lo que se espera un cumplimiento correcto del 100%. Al tratarse de un método cualitativo, la representatividad de la muestra no es un aspecto esencial. Por otro lado, sí se consideró que las diferentes acciones se realizasen en todas las franjas horarias y todos los ámbitos: recepción, urgencias, centralita, consultas externas, etc.). Las situaciones se diferenciaban en función del colectivo (ordenanzas, telefonistas o administrativos) (tabla 1). Paralelamente, se programaron visitas, intervenciones o pruebas diagnósticas con datos de pacientes ficticios en sintonía con el guión de las situaciones del CS. Una vez realizada la simulación, se eliminaba todo lo programado para no interferir con la actividad ordinaria del centro.

Conocimiento de los profesionales de la acción evaluativa

Los profesionales fueron avisados de que tal evaluación se iba a realizar pero no se indicó el momento. En ningún caso se recogía el nombre del profesional que mantenía la interacción.

Resultados

En la tabla 3 se pueden ver con detalle algunos de los resultados. No se reproducen todos por su exhaustividad. En las figuras 1-3 se resumen las diferentes situaciones evaluadas.

Figura 1. Resultados en telefonía.

Figura 2. Resultados en recepción.

Figura 3. Resultados en programación.

Aspectos formales

Telefonía: necesidad muy evidente de mejora, con un incumplimiento del estándar del 90% en los aspectos: "Si no puede pasar la llamada, informar que queda en espera", y en caso de que ocurra lo anterior, "preguntar si desea esperar".

Ordenanzas: mejoras necesarias con incumplimiento del estándar entre el 67 y el 30% en los aspectos: "Saludo inicial", "Tarjeta de identificación visible", "Hablar de usted", "Dar opción a hacer más preguntas" y "Utilizar fórmula de cortesía al finalizar la conversación".

Programación: necesidad de mejora, con incumplimiento del estándar entre el 63 y el 33% en los mismos aspectos que para los ordenanzas.

Situaciones

Telefonía: el promedio de cumplimiento de las respuestas esperadas (estándares) oscila entre un 22% ("Petición de documentación clínica") y un 75% ("Atención a los medios de comunicación").

Ordenanzas: el promedio del cumplimiento oscila entre el 38% ("Realización de una reclamación fuera del horario de la UAC") y el 88% ("Localización de un paciente"). En ninguna acción hay un cumplimiento del 100% de las respuestas esperadas.

Programación: el promedio de cumplimiento oscila entre el 50 y el 100%. En 2 de las 5 situaciones estudiadas hay un cumplimiento total de las conductas consideradas correctas.

Discusión

La técnica evaluativa del CS, tal y como se justifica en la introducción, es una técnica ampliamente utilizada en empresas de producción de servicios centradas en el cliente: hoteles, restauración, bancos, etc. Uno de los cambios fundamentales que se han producido en la provisión de servicios sanitarios durante el siglo xx es que el profesional ha de estar orientado al cliente11. Ello explica la aparición de la evaluación de la satisfacción del paciente, de la calidad percibida o de cualquier otro método o concepto que integre las evaluaciones que el cliente del servicio sanitario realiza. Pues bien, la utilización del CS implica un paso más en esa concepción del paciente como cliente, en la que la satisfacción de éste es una cuestión clave, especialmente en los servicios sanitarios.

Los datos que aquí presentamos corresponden a la tercera experiencia con este método para la evaluación de una parte de los servicios de atención al cliente. Los resultados no son totalmente comparables debido a la variabilidad de las situaciones de una experiencia a otra o la inclusión de nuevas categorías profesionales e incluso de la variabilidad de los propios actores. Eso explica que no se haya analizado la diferencia que puede darse de una experiencia a otra entre los profesionales o entre los actores. En cualquier caso los resultados que hemos obtenido dan respuesta a los objetivos planteados, de tal forma que nos permiten proponer acciones de mejora y la información obtenida es de gran utilidad para realizar una acción formativa muy práctica. Las acciones de mejora propuestas y que posteriormente se llevaron a cabo fueron las siguientes:

­ Sesión general del servicio informativa de los resultados obtenidos. Se facilita a los profesionales la dirección de la intranet donde poder consultar el documento completo. En la sesión se menciona expresamente los aspectos formales (identificación, trato) que hay que mejorar, se aconseja evitar los automatismos cuando se da información al familiar o a utilizar información "inventada" cuando no se tiene la suficiente. De la misma forma, se informa de las acciones de mejora que se llevarán a cabo (modificación de circuitos administrativos, acción formativa, etc.).

­ Redacción y unificación de circuitos y procedimientos administrativos (información de pruebas diagnósticas, programación de visitas de especialistas, circuito de reclamaciones, información de la lista de espera).

­ Formación específica de circuitos y procedimientos administrativos en aspectos formales (grupos de profesionales de atención telefónica y el grupo de profesionales suplentes habituales).

Valoramos como satisfactoria la opinión de los profesionales sobre el estudio, a pesar de que inicialmente eran negativas, por varias razones: aceptación del estudio por parte del comité de empresa como herramienta de mejora; puntuaciones notables recogidas en el informe de evaluación tras la formación (promedio, 8,34 sobre 10), así como anotaciones de los profesionales calificando los cursos como los que mejor se han diseñado para la tarea que desarrollan, de gran utilidad y aplicabilidad inmediata; otros comentarios verbales e informales han sido positivos e incluso divertidos por las situaciones vividas (en un caso, por la eficacia del profesional, el propio actor se delató).

Hemos de tener en cuenta que en los ámbitos evaluados apenas se recogió alguna reclamación durante el año 2005 al respecto de las conductas evaluadas. Bien sabemos que los clientes no expresan su reclamación formal en todas las ocasiones, lo cual plantea la necesidad de disponer de otros métodos complementarios para evaluar y proponer acciones de mejora. En nuestro centro la técnica del CS se complementa con la atención y el análisis de las reclamaciones y la realización de encuestas en ámbitos o procesos específicos12,13.

Hemos hallado pocas experiencias comparables a la nuestra. Curiosamente éstas están preferentemente en Australia y Nueva Zelanda. Así es el caso de Norris14,15, que evalúa el consejo ofrecido por los farmacéuticos o la provisión de recetas con necesidad de prescripción médica. Una experiencia similar a la nuestra es la descrita por Hartley6, en la que los CS evalúan, de acuerdo con una check-list, aspectos tales como: aparcamiento, señalización, limpieza en general, comodidad de las salas de espera, limpieza de los lavabos, rapidez de la respuesta telefónica, tono, amabilidad de esta respuesta, corrección en el vestir, etc., según una escala de 0 a 5. Otras experiencias se acercan más al paciente simulado, cuya caracterización precisa de más preparación5,8.

Finalmente, nos gustaría destacar algunos aspectos que aconsejamos tener en cuenta para la utilización del CS:

­ El consenso con los profesionales por evaluar en las conductas que se va a valorar y en la necesidad de utilizar este tipo de métodos. Hay que ver su utilización en positivo (posibilidad de mejora) y no en negativo (la fiscalización). El anonimato en el registro de la evaluación es fundamental en este sentido. Hay que evitar las reacciones negativas de los profesionales1.

­ La utilización de una check-list de registro para minimizar la falta de recuerdo y homogeneizar la recogida de las observaciones5.

­ La formación de los CS debe ser proporcional al tipo de evaluación: la formación será más o menos amplia y extensa en función de los objetivos que se va a evaluar y el tipo de interacción.

­ La utilización no puntual, sino de forma habitual y complementada con otros métodos de evaluación de la satisfacción del cliente. La evaluación de los servicios ha de ser continua en el tiempo, no sirve hacer una "foto" en un momento determinado, sino que se trata de "montar una película".


Correspondencia: Dr. P. Hernando Robles.

Servicios de Atención al Cliente. Corporació Sanitària Parc Taulí.

Parc Taulí, s/n. 08208 Sabadell. Barcelona. España.

Correo electrónico: phernando@cspt.es

Bibliografía
1
Calvert PH.
It's a mystery. Mystery shopping in New Zealand's public libraries.
Library Rev, 54 (2005), pp. 24-35
2
Disponible en: http://www.mysteryshop.org.
3
Comit?? de ??tica. Asociaci??n Espa??ola de Estudios de Mercado, Marketing y Opini??n (AEDEMO) [citado 21 Nov 2006] Disponible en: http://www.aedemo.es/
4
Investigaci??n en marketing. Fundamentos. Madrid: Ariel Econom??a; 1997.
5
Jesson J.
Mystery shopping demystified: is it a justifiable research method.
Pharma J, 272 (2004), pp. 615-7
6
Leon FR,Quiroz G,Brazzoduro A.
The reliability of simulated client's quality-of-care ratings.
Study Family Planning, 25 (1994), pp. 184-90
7
Hartley R.
Mystery Shopping as quality adjunct in publiv health organizations.
J Qual Clin Pract, 15 (1995), pp. 203-9
8
Tervo KC,Mimitrevich E,Trujill AL,Wittle K,Radinius P,Wellman L.
The Objective Structured Clinical Examination (OSCE) in clinical clerkship: an overview.
SDJ Med, 50 (1997), pp. 153-6
9
The simulated client. Aldershot: Averbury; 1996.
10
Care homes mystery shopping. Office of fair trading 2005 May [citado 26 Feb 2006]. Disponible en: http://www.oft. gov.uk/NR/rdonlyres/FA9CF825-1134-4FC8-B316-97A7 C2DEB44F/0/oft780g.pdf
11
??tica de las organizaciones sanitarias. Madrid: Triacastella; 2005.
12
Hernando P,Lechuga FJ,Guma JR,Martín-Florido C,Vivancos H,Carrau E,et al.
Valoración de la satisfacción en pacientes hospitalizados por infarto agudo de miocardio: la utilidad del informe del usuario y los grupos de discusión.
Rev Calidad Asistencial, 16 (2001), pp. 261-8
13
Hernando P,Lechuga FJ,Moya J.
La satisfacción del paciente de un centro de salud mental utilizando el método del informe del usuario.
Revista Asociaci??n Espa??ola de Neuropsiquiatr??a, 85 (2003), pp. 137-52
14
Wich sort of pharmacies provide more patient counselling? J Health Service Res Policy. 2002;Suppl 1:23-8.
15
Norris P.
Purchasing restricted medicines en New Zealand pharmacies: results from a mystery shopper study.
Pharma World Sci, 24 (2002), pp. 149-53