Regístrese
Buscar en
Revista de Senología y Patología Mamaria
Toda la web
Inicio Revista de Senología y Patología Mamaria Lectura crítica de la literatura biomédica (ii): cómo valorar la calidad de l...
Información de la revista
Vol. 28. Núm. 2.
Páginas 79-84 (Abril - Junio 2015)
Compartir
Compartir
Descargar PDF
Más opciones de artículo
Visitas
2646
Vol. 28. Núm. 2.
Páginas 79-84 (Abril - Junio 2015)
Artículo docente
DOI: 10.1016/j.senol.2014.10.002
Acceso a texto completo
Lectura crítica de la literatura biomédica (ii): cómo valorar la calidad de la evidencia y establecer recomendaciones
Critical appraisal of the biomedical literature (ii): How to assess the quality of evidence and the strength of recommendations
Visitas
2646
Jaime Latour-Péreza,
Autor para correspondencia
jlatour@coma.es

Autor para correspondencia.
, Álvaro Rodríguez-Lescureb
a Servicio de Medicina Intensiva, Hospital General Universitario de Elche, Elche, España
b Servicio de Oncología Médica, Hospital General Universitario de Elche, Elche, España
Este artículo ha recibido
2646
Visitas
Información del artículo
Resumen
Texto completo
Bibliografía
Descargar PDF
Estadísticas
Figuras (3)
Mostrar másMostrar menos
Tablas (2)
Tabla 1. Riesgo de sesgo
Tabla 2. Perfil de evidencia para los principales desenlaces clínicos
Mostrar másMostrar menos
Resumen

El ejercicio de una práctica clínica basada en la evidencia exige unas competencias básicas para valorar e interpretar la literatura biomédica. En este artículo se revisan los puntos críticos para determinar la calidad de la evidencia global y formular recomendaciones.

Palabras clave:
Lectura crítica
Ensayos aleatorizados
Calidad de la evidencia
Guías de práctica clínica
Fuerza de la recomendación
Abstract

Clinicians interested in evidence-based clinical practice need some basic competencies in critical appraisal of the biomedical literature. This article reviews key concepts for the assessment of the quality of the evidence and the strength of recommendations.

Keywords:
Critical appraisal
Randomized clinical trials
Quality of the evidence
Clinical practice guidelines
Strenght of recommendation
Texto completo
Introducción

En la primera parte de esta serie1 se presentó el escenario de una mujer de 53 años con adenocarcinoma ductal infiltrante de mama subsidiario de cirugía conservadora, con 2/2 biopsias de ganglio centinela positivas, en la que se planteaba la opción de vaciamiento ganglionar frente a cirugía axilar conservadora. Una vez leído detenidamente el estudio, se concluía que el ensayo ACOSOG-Z0011 presenta debilidades metodológicas importantes (en especial las pérdidas en el seguimiento y el desequilibrio en las variables pronósticas basales) que le restan credibilidad.

Por otro lado, somos conscientes de que la calidad de la evidencia no se puede valorar con un único estudio, y hemos decidido examinar el cuerpo de evidencia disponible. En este punto, seguiremos los pasos de la aproximación Grading of Recommendations Assessment, Development and Evaluation (GRADE) para establecer el grado de evidencia y la fuerza de la recomendación sobre la seguridad de evitar la disección ganglionar en nuestra enferma.

La aproximación Grading of Recommendations Assessment, Development and Evaluation

GRADE es un sistema formal de jerarquización del grado de evidencia y de la fuerza de la recomendación, que ha sido asumido por un gran número de organizaciones2.

El sistema GRADE define la calidad de la evidencia en el contexto de una revisión sistemática como la confianza que tenemos en que la estimación del efecto es correcta. GRADE clasifica la calidad de la evidencia en 4 grados: alta, moderada, baja o muy baja. En gran medida el grado de evidencia está condicionado por el tipo de diseño: así, los estudios aleatorizados parten de un nivel de evidencia alto, sin embargo la evidencia procedente de ensayos clínicos puede degradarse en uno o 2 niveles (a evidencia moderada o baja) en función de ciertas características que comprometen la credibilidad de los resultados. De igual forma, los estudios observacionales parten de nivel de evidencia bajo, pero este nivel puede aumentar (generalmente en un grado) o reducirse si concurren otras características.

Respecto al grado de recomendación a favor o en contra de una intervención, GRADE lo clasifica en 2 niveles (fuerte o débil), según el grado de confianza en que los efectos beneficiosos superan los efectos adversos, lo cual depende de la relación (trade-off) entre los efectos beneficiosos y los efectos adversos de la intervención, del nivel de evidencia, de las preferencias del paciente y, en ocasiones, de los costes.

En las páginas que siguen intentaremos seguir los pasos de la metodología GRADE para intentar resolver el escenario que nos planteábamos al principio del artículo.

Formulación de la pregunta y búsqueda de la evidencia

El primer paso es formular correctamente la pregunta, según el formato PICO, especificando el tipo de Paciente, la Intervención, la alternativa de Comparación y desenlace clínico (Outcome en inglés). En el escenario que nos ocupa estos 4 elementos podrían definirse de la siguiente manera:

  • Paciente: mujer con cáncer de mama sin indicaciones de mastectomía, en estadio T1-T2, sin adenopatías palpables, con metástasis en la biopsia del ganglio centinela.

  • Intervención: biopsia de ganglio centinela sin disección de adenopatías axilares.

  • Comparación: vaciamiento axilar.

  • Desenlace clínico a evaluar: supervivencia global, supervivencia libre de enfermedad, recidivas locorregionales, linfedema, etc.

Estos desenlaces se jerarquizan en una escala de 9 grados, agrupados como desenlaces críticos para la decisión (niveles 7-9), desenlaces importantes pero no críticos para la decisión (niveles 4-6) y desenlaces poco importantes (niveles 1-3). Por razones de claridad expositiva, en nuestro escenario consideramos solo 3 desenlaces, que ordenamos de la siguiente forma: supervivencia global (9), recidivas locorregionales (7) y morbilidad quirúrgica (linfedema) (7).

Las preguntas que nos formulamos (una para cada desenlace) son preguntas de efectividad, por lo que inicialmente buscaremos para contestarlas ensayos aleatorizados o revisiones sistemáticas de ensayos aleatorizados. Afortunadamente encontramos un metaanálisis3 con 3 ensayos aleatorizados: el estudio ACOSOG-Z00114,5, el IBCSG 23-016 y el EORTC 10981-220237–9.

El siguiente paso es valorar la calidad de la evidencia, lo cual se establece a partir de 5 parámetros1: el riesgo de sesgo global2, inconsistencia3, imprecisión4, evidencia indirecta5 y sesgo de publicación.

Riesgo de sesgo del conjunto de los estudios

El riesgo de sesgo de los 3 ensayos encontrados se resume mediante el instrumento de la colaboración Cochrane (fig. 1, tabla 1). Este instrumento nos muestra que, con la excepción del estudio ACOSOG-Z0011, la evidencia respecto a la mortalidad a los 5 años procede de estudios con bajo riesgo de sesgo. Es decir, el riesgo de sesgo de los estudios no constituiría por sí mismo una razón que nos haga dudar de la estimación del efecto.

Figura 1.

Valoración del riesgo de sesgo global.

(0,11MB).
Tabla 1.

Riesgo de sesgo

  ACOSOG-Z0011  IBCSG 23-01  EORTC 10981-22023 
Generación de la lista aleatoria  Bajo riesgo:Un artículo previo del grupo6 afirma: «a computer would randomly assign her to either group 1 (SLND_ALND; n_445) or group 2 (SLND alone; n_446) in a 1:1 ratio»  Bajo riesgo:«Randomisation was done with permuted blocks generated by a congruence algorithm»  Bajo riesgo:No se especifica 
Ocultación secuencia de aleatorización  Bajo riesgo:Asignación central6  Bajo riesgo:«Participating centre staff accessed the central randomisation system»  Bajo riesgo:«Randomization was accomplished centrally by the EORTC headquarters» 
Enmascaramiento (participantes y personal)  Bajo riesgo:No enmascaramiento de pacientes/personal, pero es dudoso que esto influya en los resultados de mortalidad  Bajo riesgo:No enmascaramiento de pacientes/personal, pero es dudoso que esto influya en los resultados de mortalidad  Bajo riesgo:No enmascaramiento de pacientes/personal, pero es dudoso que esto influya en los resultados de mortalidad 
Enmascaramiento (evaluadores)  Bajo riesgo para mortalidad, dudoso para edema linfático o movilidad  Bajo riesgo para mortalidad, dudoso para edema linfático o movilidad  Bajo riesgo para mortalidad, dudoso para edema linfático o movilidad 
Manejo pérdidas  Alto riesgo:Número de pérdidas alto, capaz de condicionar sesgo de selección  Bajo riesgo (pocas pérdidas)  Riesgo dudoso (datos no disponibles) 
Notificación selectiva  Bajo riesgo:El artículo incluye todos los desenlaces esperables  Bajo riesgo:Registrado en clinicaltrials.gov (NCT00072293)  Bajo riesgo:Registrado en clinicaltrials.gov (NCT00014612) 
Otros  Grupos disbalanceados  No analiza por separado las metástasis>2mm  Datos no disponibles 

Pregunta: ¿Se debe realizar disección ganglionar axilar en el cáncer de mama (no avanzado)?

Bibliografía: Rao et al3.

Inconsistencia

La obtención de resultados parecidos en diferentes estudios aumenta la confianza en la estimación del efecto. La figura 2 muestra el diagrama de Forest correspondiente al riesgo relativo de mortalidad a los 5 años. La I2 —un indicador de la heterogeneidad relativa— es del 0%, lo cual indica que las diferencias observadas en la mortalidad se explican por error de muestreo. Por lo tanto, no tenemos argumentos de peso para degradar la calidad del estudio por inconsistencia. No obstante, si calculamos —mediante el software adecuado— el intervalo de confianza al 95% del I2 comprobamos que este se extiende entre el 0 y el 67%; por tanto, tampoco se puede afirmar en rigor que los estudios sean consistentes.

Figura 2.

Diagramas de Forest.

(0,62MB).

La consistencia de los estudios respecto a la recidiva ganglionar es similar a la encontrada para la supervivencia. En cambio, respecto al desenlace del linfedema, aunque los 3 estudios muestran resultados claramente favorables al tratamiento conservador, la I2 es del 70% (p=0,04), lo que indica que un porcentaje importante de la dispersión de efectos observados se debe a verdadera heterogeneidad, quizá por las diferentes definiciones operativas utilizadas por los diferentes estudios.

Imprecisión

Aquí el punto crítico es valorar si el intervalo de confianza es suficientemente estrecho2. En el ámbito del escenario, en el que el interés final es establecer una recomendación sobre si se debe realizar disección ganglionar axilar, esto se traduce en comprobar si el límite superior del intervalo de confianza al 90% del riesgo relativo de mortalidad supera el umbral de decisión fijado en el estudio de Giuliano (un aumento relativo del riesgo del 30%). Como se muestra en las figuras 2 y 3, el límite superior del IC 90% es de 1,29, prácticamente en el límite de la no-inferioridad. Y si se excluye el estudio de Giuliano et al. (de mayor riesgo de sesgo) el límite superior del IC 90% se eleva hasta 1,45. Este intervalo de confianza cuestiona nuestra convicción de que el tratamiento conservador es no-inferior al vaciamiento ganglionar, por lo que los autores decidimos reducir el grado de evidencia en un escalón (desde evidencia alta a moderada).

Figura 3.

Valoración de la imprecisión.

(0,08MB).

Respecto a la recidiva axilar, en cambio, el límite superior del IC 95% es un aumento absoluto del riesgo de solo un 1%. Si consideramos que este nivel es aceptable para la mayoría de las pacientes (dado el mayor riesgo de linfedema asociado al vaciamiento ganglionar), entonces no habría razón para degradar el nivel de evidencia para este desenlace por imprecisión10.

Y respecto al riesgo de edema linfático, todos ellos presentan un aumento importante del riesgo en el grupo tratado con vaciamiento axilar. Por lo tanto, se debería degradar la evidencia respecto a este outcome por inconsistencia, pero no por imprecisión.

Volveremos sobre este tema al hablar de las recomendaciones.

Evidencia indirecta (indirectness)

Cuando la población en estudio, la intervención o los desenlaces evaluados son distintos de los de la población de interés, la confianza en la estimación del efecto disminuye11. Sin embargo, hay que tener en cuenta que, habitualmente, las condiciones en que se realizan los ensayos difieren en importantes aspectos de las condiciones locales del paciente individual. Por tanto, la aplicación de la evidencia científica al paciente individual exige, además de competencias de lectura crítica, un adecuado conocimiento de las circunstancias locales y buen juicio clínico.

Por ejemplo, algunos autores12 han criticado que la población finalmente reclutada en el estudio de Giuliano et al.4 es una población de bajo riesgo, no representativa del espectro de pacientes con criterios de inclusión. Asimismo, el estudio de Galimberti6 incluye una muy baja proporción de pacientes con macrometástasis. Y el estudio AMAROS7,8 evalúa 2 estrategias (radioterapia versus vaciamiento axilar) que no coinciden exactamente con las del escenario (en el que las 2 alternativas incluyen la radioterapia). Por lo tanto, se podría considerar degradar un escalón el grado de evidencia debido a datos indirectos. En nuestro caso, esta posibilidad se desestimó al considerarse que existe un importante cuerpo de evidencia indirecta que sugiere que la presencia de metástasis en la biopsia del ganglio centinela no es más que un factor pronóstico13, y que el tratamiento coadyuvante actual garantiza una baja tasa de recaída axilar en pacientes con afectación ganglionar tratados de forma conservadora14.

Sesgo de publicación

Es bien conocido que los estudios con resultados positivos tienen más probabilidad de ser publicados que los estudios con resultados menos favorables. Ello es especialmente frecuente en estudios pequeños, lo que se puede detectar mediante diversas herramientas gráficas y estadísticas. Como consecuencia se genera un sesgo de selección que favorece la sobreestimación del efecto. En el caso de metaanálisis de Rao et al.3 se hizo una búsqueda exhaustiva, y dado el escaso número de estudios las herramientas de diagnóstico no son de utilidad, por tanto se decidió no degradar la calidad de evidencia por este concepto.

Perfil de evidencia y calidad global de la evidencia (tabla 2)

De forma general GRADE propone como grado de evidencia global el asignado al desenlace crítico de peor calidad (en nuestro caso, la mortalidad a los 5 años). Para la pregunta que nos formulábamos en el escenario, la calidad de la evidencia sería por tanto moderada. Ello significa que tenemos moderada confianza en que el tratamiento conservador no es inferior a la disección ganglionar en pacientes con cáncer de mama no avanzado con metástasis axilares con intención de tumorectomía y radioterapia..

Tabla 2.

Perfil de evidencia para los principales desenlaces clínicos

Valoración de la calidadEfecto relativo (IC 95%)  Calidad 
N.° de estudios  Diseño  Riesgo de sesgo  Inconsistencia  Datos indirectos  Imprecisión  Otras     
Supervivencia (mediana de seguimiento 5-6,3 años)
  Ensayos aleatorizados  No serio riesgo de sesgoa  No seria inconsistencia  Nob  Seriac  Ninguna  RR 1,09 (0,78 a 1,53)  Moderada 
Recidiva regional
  Ensayos aleatorizados  No serio riesgo de sesgoa  No seria inconsistencia  Nob  No seria imprecisión  Ninguna  RR 2,27 (0,92 a 5,58)d  Alta 
Edema linfático
  Ensayos aleatorizados  No serio riesgo de sesgoa  Seriae  Nob  No seria imprecisión  Ninguna  RR 0,30 (0,12 a 0,72)  Moderada 
a

Estudio ACOSOG-Z0011 sensible a las pérdidas en el seguimiento. Grupos disbalanceados a favor del grupo tratado con biopsia sola.

b

Bajo número de metástasis (Galimberti). Perfil pronóstico favorable (Giuliano).

c

Tras excluir el estudio con mayor riesgo de sesgo, LS IC 90% del riesgo relativo de mortalidad=1,45.

d

Diferencia absoluta de riesgos: 0,01 (IC 95%: 0-0,01).

e

I2=70% (p=0,04).

Grado de recomendación

El siguiente paso consiste en determinar el grado de confianza en que los efectos beneficiosos del tratamiento conservador (la reducción de la morbilidad quirúrgica) superan a los efectos adversos (aumento de las recidivas axilares, posible reducción de la supervivencia) comparación con el vaciamiento ganglionar. Ello depende de la calidad de la evidencia de los efectos importantes, la valoración de los riesgos con respecto a los beneficios, las preferencias de los pacientes y, en ocasiones, los costes15.

Cuando el grado de evidencia no es alto, las preferencias del paciente desempeñan un papel importante. En efecto, Galper et al.16 entrevistaron cuidadosamente a un grupo de mujeres con cáncer de mama encontrando una gran variabilidad en las preferencias. Mientras que el grupo de mujeres con cáncer invasivo exigía una mejoría mínima de la supervivencia del 3% para someterse a una disección ganglionar axilar, en pacientes con carcinoma ductal in situ este porcentaje subía al 10%. Por lo tanto, la recomendación adecuada para una enferma con un umbral del 5% sería la de hacer tratamiento conservador, mientras que para una enferma con mayor aversión al riesgo de muerte o menor rechazo del edema linfático, la recomendación adecuada sería la de hacer vaciamiento ganglionar.

Cuando se puede asumir que la práctica totalidad de los pacientes bien informados elegirían una de las opciones, la recomendación sería fuerte. Si, como ocurre en nuestro caso, una parte sustancial de pacientes discrepa respecto a la decisión a elegir, entonces la recomendación sería débil. Ello obligaría al clínico a dedicar un mayor tiempo a la decisión compartida, para asegurarse que la recomendación final es coherente con los valores y preferencias de la enferma.

Con matices, esta recomendación es consistente con la de las guías más recientes. Así, las guías SIGN de 201317 afirman que «(las) pacientes tratadas con cirugía conservadora de mama y radioterapia para T1 o T2, ganglios axilares clínicamente negativos y con uno o 2 ganglios positivos en la biopsia del ganglio centinela se pueden considerar para no tratamiento axilar ulterior». Y de acuerdo con las guías ASCO de 201417 «(los) clínicos no deberían recomendar la disección ganglionar axilar en mujeres con cáncer de mama en estadio precoz y solo una o 2 metástasis del ganglio centinela programadas para cirugía conservadora de la mama con radioterapia mamaria fraccionada convencional».

Conclusiones

Aunque con limitaciones, el cuerpo de evidencia apoya la hipótesis del estudio ACOSOG Z0011, y sugiere que el beneficio de evitar la iatrogenia (linfedema) justifica la omisión del vaciamiento axilar en pacientes seleccionados con cáncer de mama no avanzado y metástasis en la biopsia del ganglio centinela.

La aproximación GRADE puede facilitar la valoración de la calidad del cuerpo de la evidencia científica, y establecer recomendaciones de acuerdo con dicha evidencia y las circunstancias locales.

Responsabilidades éticasProtección de personas y animales

Los autores declaran que para esta investigación no se han realizado experimentos en seres humanos ni en animales.

Confidencialidad de los datos

Los autores declaran que en este artículo no aparecen datos de pacientes.

Derecho a la privacidad y consentimiento informado

Los autores declaran que en este artículo no aparecen datos de pacientes.

Conflicto de intereses

Los autores declaran no tener ningún conflicto de intereses.

Bibliografía
[1]
J. Latour-Perez, A. Rodríguez-Lescure.
Lectura crítica de la literatura biomédica (i): cómo valorar el riesgo de sesgo de un estudio.
Rev Senol Patol Mamar., 28 (2015), pp. 34-38
[2]
G.H. Guyatt, A.D. Oxman, R. Kunz, J. Brozek, P. Alonso-Coello, D. Rind, et al.
GRADE guidelines 6. Rating the quality of evidence--imprecision.
J Clin Epidemiol, 64 (2011), pp. 1283-1293
[3]
R. Rao, D. Euhus, H.G. Mayo, C. Balch.
Axillary node interventions in breast cancer: A systematic review.
JAMA, 310 (2013), pp. 1385-1394
[4]
A.E. Giuliano, K.K. Hunt, K.V. Ballman, P.D. Beitsch, P.W. Whitworth, P.W. Blumencranz, et al.
Axillary dissection vs no axillary dissection in women with invasive breast cancer and sentinel node metastasis: A randomized clinical trial.
JAMA, 305 (2011), pp. 569-575
[5]
A. Lucci, L.M. McCall, P.D. Beitsch, P.W. Whitworth, D.S. Reintgen, P.W. Blumencranz, et al.
Surgical complications associated with sentinel lymph node dissection (SLND) plus axillary lymph node dissection compared with SLND alone in the American College of Surgeons Oncology Group Trial Z0011.
J Clin Oncol, 25 (2007), pp. 3657-3663
[6]
V. Galimberti, B.F. Cole, S. Zurrida, G. Viale, A. Luini, P. Veronesi, et al.
Axillary dissection versus no axillary dissection in patients with sentinel-node micrometastases (IBCSG 23-01): A phase 3 randomised controlled trial.
Lancet Oncol, 14 (2013), pp. 297-305
[7]
E.J. Rutgers, M. Donker, M.E. Straver, P. Meijnen, C.J.H. Van De Velde, R.E. Mansel, et al.
Radiotherapy or surgery of the axilla after a positive sentinel node in breast cancer patients.
Final analysis of the EORTC AMAROS trial (10981/22023).,
[8]
Bean J. EORTC study shows radiotherapy and surgery provide excellent regional control for breast cancer patients. 2013 [consultado 26 Feb 2014]. Disponible en: http://www.eortc.org/news/eortc-study-shows-radiotherapy-and-surgery-provide-excellent-regional-control-breast-cancer-pat
[9]
A. Goodman.
Axillary radiotherapy: New standard of care in node-positive breast cancer?.
The ASCO Post, 4 (2013),
[10]
G.H. Guyatt, A.D. Oxman, R. Kunz, J. Woodcock, J. Brozek, M. Helfand, et al.
GRADE guidelines: 7 rating the quality of evidence--inconsistency.
J Clin Epidemiol, 64 (2011), pp. 1294-1302
[11]
G.H. Guyatt, A.D. Oxman, R. Kunz, J. Woodcock, J. Brozek, M. Helfand, et al.
GRADE guidelines: 8 Rating the quality of evidence--indirectness.
J Clin Epidemiol, 64 (2011), pp. 1303-1310
[12]
W. Gatzemeier, G.B. Mann.
Which sentinel lymph-node (SLN) positive breast cancer patient needs an axillary lymph-node dissection (ALND)--ACOSOG Z0011 results and beyond.
[13]
B. Fisher, J.H. Jeong, S. Anderson, J. Bryant, E.R. Fisher, N. Wolmark.
Twenty-five-year follow-up of a randomized trial comparing radical mastectomy, total mastectomy, and total mastectomy followed by irradiation.
N Engl J Med, 347 (2002), pp. 567-575
[14]
A.E. Giuliano, L. McCall, P. Beitsch, P.W. Whitworth, P. Blumencranz, A.M. Leitch, et al.
Locoregional recurrence after sentinel lymph node dissection with or without axillary dissection in patients with sentinel lymph node metastases: the American College of Surgeons Oncology Group Z0011 randomized trial.
Ann Surg, 252 (2010), pp. 426-432
[15]
S.R. Galper, S.J. Lee, M.L. Tao, S. Troyan, C.M. Kaelin, J.R. Harris, et al.
Patient preferences for axillary dissection in the management of early-stage breast cancer.
J Natl Cancer Inst, 92 (2000), pp. 1681-1687
[16]
Scottish Intercollegiate Guidelines Network (SIGN). Treatment of primary breast cancer. Edinburgh: SIGN; 2013. (SIGN publication no. 134). [September 2013]. Disponible en: http://www.sign.ac.uk
[17]
G.H. Lyman, S. Temin, S.B. Edge, L.A. Newman, R.R. Turner, D.L. Weaver, et al.
Sentinel lymph node biopsy for patients with early-stage breast cancer: American Society of Clinical Oncology clinical practice guideline update.
J Clin Oncol, 32 (2014), pp. 1365-1383
Copyright © 2014. SESPM
Opciones de artículo
Herramientas
es en pt

¿Es usted profesional sanitario apto para prescribir o dispensar medicamentos?

Are you a health professional able to prescribe or dispense drugs?

Você é um profissional de saúde habilitado a prescrever ou dispensar medicamentos

es en pt
Política de cookies Cookies policy Política de cookies
Utilizamos cookies propias y de terceros para mejorar nuestros servicios y mostrarle publicidad relacionada con sus preferencias mediante el análisis de sus hábitos de navegación. Si continua navegando, consideramos que acepta su uso. Puede cambiar la configuración u obtener más información aquí. To improve our services and products, we use "cookies" (own or third parties authorized) to show advertising related to client preferences through the analyses of navigation customer behavior. Continuing navigation will be considered as acceptance of this use. You can change the settings or obtain more information by clicking here. Utilizamos cookies próprios e de terceiros para melhorar nossos serviços e mostrar publicidade relacionada às suas preferências, analisando seus hábitos de navegação. Se continuar a navegar, consideramos que aceita o seu uso. Você pode alterar a configuração ou obter mais informações aqui.