Regístrese
¿Aún no está registrado?
Información relevante

Consulte los artículos y contenidos publicados en este medio, además de los e-sumarios de las revistas científicas en el mismo momento de publicación

Máxima actualización

Esté informado en todo momento gracias a las alertas y novedades

Promociones exclusivas

Acceda a promociones exclusivas en suscripciones, lanzamientos y cursos acreditados

Crear Mi cuenta
Buscar en
Medicina de Familia. SEMERGEN
Toda la web
Inicio Medicina de Familia. SEMERGEN Utilización de los modelos de regresión múltiple en estudios observacionales ...
Información de la revista
Vol. 42. Núm. 8.
Páginas e141-e180 Páginas 509-600 (Noviembre - Diciembre 2016)
Compartir
Compartir
Descargar PDF
Más opciones de artículo
Visitas
1962
Vol. 42. Núm. 8.
Páginas e141-e180 Páginas 509-600 (Noviembre - Diciembre 2016)
ORIGINAL
DOI: 10.1016/j.semerg.2015.06.020
Acceso a texto completo
Utilización de los modelos de regresión múltiple en estudios observacionales (1970-2013) y requerimiento de la guía STROBE en revistas científicas españolas
Use of multiple regression models in observational studies (1970-2013) and requirements of the STROBE guidelines in Spanish scientific journals
Visitas
1962
J. Reala,b, R. Cleriesc,d, C. Fornée,f, A. Roso-Lloracha,g, J.M. Martínez-Sánchezb,h,i,
Autor para correspondencia
jmmartinez@iconcologia.net

Autor para correspondencia.
a Institut Universitari d’Investigació en Atenció Primària Jordi Gol (IDIAP Jordi Gol), Barcelona, España
b Facultat de Medicina i Ciències de la Salut, Universitat Intenacional de Catalunya, Sant Cugat, Barcelona, España
c Pla Director d’Oncologia de Catalunya, Institut Català d’Oncologia, Institut d’Investigació Biomèdica de Bellvitge (IDIBELL), L’Hospitalet de Llobregat, Barcelona, España
d Departament de Ciències Clíniques, Universitat de Barcelona, Campus de Bellvitge, L’Hospitalet de Llobregat, Barcelona, España
e Departament de Ciències Mèdiques Bàsiques, Universitat de Lleida, Lleida, España
f Oblikue Consulting, Barcelona, España
g Universitat Autònoma de Barcelona, Bellaterra, Barcelona, España
h Unitat de Control del Tabaquisme, Programa de Prevenció i Control del Càncer, Institut Català d’Oncologia, L’Hospitalet de Llobregat, Barcelona, España
i Grup de Prevenció i Control del Càncer, Institut d’Investigació Biomèdica de Bellvitge (IDIBELL), L’Hospitalet de Llobregat, Barcelona, España
Este artículo ha recibido
1962
Visitas
Información del artículo
Resumen
Texto completo
Bibliografía
Descargar PDF
Estadísticas
Figuras (1)
Tablas (2)
Tabla 1. Lista de descriptores utilizados en las distintas estrategias de búsqueda en PubMed
Tabla 2. Evolución porcentual de la utilización de los modelos de regresión logística, lineal, Cox y Poisson en los artículos observacionales indexados en PubMed a nivel global y en lengua española (1970-2013)
Mostrar másMostrar menos
Resumen
Fundamentos

En el ámbito de la investigación médica los modelos de regresión logística, lineal, Cox y Poisson son técnicas estadísticas ampliamente conocidas. El objetivo de este trabajo es describir la evolución de estas técnicas de regresión en los artículos observacionales indexados en PubMed (1970-2013) y revisar los requerimientos de las normas de autor de revistas españolas para conocer si requieren el cumplimiento de la guía STROBE.

Métodos

Se realizó una búsqueda dirigida en PubMed para identificar los artículos que utilizaron modelos de regresión logística, lineal, Cox y Poisson. Además, se revisaron las normas de autor de las revistas editadas en España indexadas en PubMed e incluidas en Web Of Science.

Resultados

El 6,1% de los artículos de estudios observacionales contenían algún término relativo a los modelos seleccionados, pasando del 0,14% en 1980 hasta un 12,3% en 2013. Este último año, un 6,7% de los artículos contenían algún término referido a regresión logística, un 2,5% a lineal, un 3,5% a Cox y un 0,31% a Poisson. Por otro lado, el 12,8% de las normas de autor de las revistas revisadas recomendaban explícitamente seguir la guía STROBE, y el 35,9%, la guía CONSORT.

Conclusiones

Los modelos de regresión multivariantes en estudios observacionales publicados, tales como la regresión logística, lineal, Cox y Poisson, son cada vez más utilizados tanto a nivel global como en revistas publicadas en lengua española. Además, un porcentaje bajo de las revistas científicas españolas indexadas en PubMed incluyen en las normas de autoría el requerimiento de la guía STROBE.

Palabras clave:
Análisis multivariante
Análisis de regresión
Modelos logísticos
Modelos lineales
Modelos de riesgos proporcionales
Modelos de Poisson
Estudios observacionales
Epidemiología
Abstract
Background

In medicine and biomedical research, statistical techniques like logistic, linear, Cox and Poisson regression are widely known. The main objective is to describe the evolution of multivariate techniques used in observational studies indexed in PubMed (1970-2013), and to check the requirements of the STROBE guidelines in the author guidelines in Spanish journals indexed in PubMed.

Methods

A targeted PubMed search was performed to identify papers that used logistic linear Cox and Poisson models. Furthermore, a review was also made of the author guidelines of journals published in Spain and indexed in PubMed and Web of Science.

Results

Only 6.1% of the indexed manuscripts included a term related to multivariate analysis, increasing from 0.14% in 1980 to 12.3% in 2013. In 2013, 6.7, 2.5, 3.5, and 0.31% of the manuscripts contained terms related to logistic, linear, Cox and Poisson regression, respectively. On the other hand, 12.8% of journals author guidelines explicitly recommend to follow the STROBE guidelines, and 35.9% recommend the CONSORT guideline.

Conclusions

A low percentage of Spanish scientific journals indexed in PubMed include the STROBE statement requirement in the author guidelines. Multivariate regression models in published observational studies such as logistic regression, linear, Cox and Poisson are increasingly used both at international level, as well as in journals published in Spanish.

Keywords:
Multivariate analysis
Regression analysis
Logistic models
Linear models
Proportional hazards models
Poisson models
Observational studies
Epidemiology
Texto completo
Introducción

En el ámbito de la investigación médica los modelos de regresión logística, lineal, de Cox y de Poisson son técnicas estadísticas ampliamente conocidas y utilizadas, ya que permiten evaluar las relaciones entre distintos factores de exposición e indicadores de salud de diversa naturaleza (dicotómicos, continuos, eventos dependientes del tiempo o recuentos)1,2. Además, en los estudios observacionales es habitual utilizarlos como herramienta de ajuste debido al potencial sesgo de confusión existente en este tipo de diseño2,3. Sin embargo, la mayoría de estos modelos demandan asunciones muy estrictas sobre el ajuste de los datos (linealidad de los predictores, normalidad, homocedasticidad, incolinealidad, etc.), cuyo incumplimiento puede invalidar el modelo y la inferencia realizada1,4.

En los últimos años, a fin de mejorar la comunicación y transparencia de los trabajos científicos, han surgido distintas guías de recomendaciones sobre cómo reportar los resultados científicos (CONsolidated Standards Of Reporting Trials [CONSORT]5, Statistical Analyses and Methods in the Published Literature [SAMPL]6, Strengthening The Reporting of OBservational studies in Epidemiology [STROBE]7). La guía STROBE referencia los aspectos metodológicos esenciales que deben reportar los estudios epidemiológicos observacionales7. Actualmente, revistas de reconocido prestigio internacional, como The Lancet o The British Medical Journal, en sus guías de autor recomiendan seguir la guía STROBE e incluso exigen proporcionar una lista de verificación del cumplimiento de sus 22 puntos para poder enviar los trabajos.

El objetivo del presente trabajo es describir la evolución del uso de modelos de regresión estándares (logística, lineal, Cox y Poisson) en estudios observacionales indexados en PubMed y revisar las normas de autor de revistas españolas con el fin de conocer si requieren el cumplimiento de la guía STROBE.

Material y métodos

Se realizó una búsqueda en PubMed dirigida a identificar todos los trabajos originales indexados en el repositorio bibliográfico con un diseño observacional que incluyeran entre sus métodos de análisis los modelos multivariantes diferenciando por tipo de modelo de regresión (logístico, lineal, Cox y Poisson). La búsqueda fue limitada a todos los estudios realizados en la especie humana incluidos desde el 1 de enero de 1970 hasta el 31 de diciembre de 2013, excluyendo ensayos clínicos, editoriales, comentarios o series de casos. Para discriminar entre los tipos de regresión utilizados se añadieron a la búsqueda los términos que hacían referencia a los tipos de análisis multivariante principales: «logistic», «linear», «Cox», «Poisson» y/o «multivariate», «regression», «statistical regression» (tabla 1). Finalmente, y con el fin de evaluar la sensibilidad de la estrategia de búsqueda, se incorporaron como texto libre los siguientes sinónimos de las técnicas multivariantes: «adjusted odds ratio», «adjusted OR», «adjusted relative risk», «adjusted RR», «adjusted hazard ratio» y «adjusted HR».

Tabla 1.

Lista de descriptores utilizados en las distintas estrategias de búsqueda en PubMed

Criterio de búsqueda  Campos PubMed
Términos o palabras clave  MeSH  ptyp  tiab  text 
Estudios observacionales (+)
Evaluation studies       
Evaluation studies as topic       
Evaluation study       
Evaluation studies       
Intervention studies       
Intervention study       
Intervention studies       
Case-control studies       
Case-control       
Cohort studies       
Cohort       
Longitudinal studies       
Longitudinal       
Longitudinally       
Prospective       
Prospectively       
Retrospective studies       
Retrospective       
Follow up       
Comparative study       
Comparative study       
Observational       
Humanos (+)
Humans       
Exclusión de ensayos clínicos, editoriales, comentarios o series de casos (−)
Editorial/Letter/Comment/Case report    −     
Case report      −   
Case series      −   
Clinical trial    −     
Modelo multivariante
Multivariate analyses       
Multivariate/statistical regression       
Regression/regressions       
Modelo logístico
Logistic model/s       
Logistic regression       
Logistic regressions       
Regresión lineal
Linear model/s       
Linear regression       
Linear regressions       
Modelo de regresión de Cox
Cox regression       
Cox regressions       
Cox models       
Regresión de Poisson
Poisson model/s       
Poisson regression       
Poisson regressions       

MeSH: términos MeSH; ptyp: tipo de publicación; text: texto completo; tiab: título o resumen; +: término incluido; −: término excluido; (+): incluido en todas las búsquedas; (−): excluido en todas las búsquedas.

Fecha de publicación entre el 1 de enero de 1970 hasta el 31 de diciembre de 2013. Estrategia lanzada en PubMed el 16 de abril de 2014.

Se describió la tendencia temporal de la frecuencia del uso de estos modelos de regresión y se calculó el porcentaje de cambio anual (PCA). También se realizó una revisión de las normas de autor de las 39 revistas editadas en España indexadas en PubMed e incluidas en Web Of Science para cuantificar las revistas que recomiendan el uso de la guías STROBE, CONSORT o las recomendaciones del Comité Internacional de Directores de Revistas Médicas, que incluye la guía STROBE, para la elaboración y presentación de los manuscritos8.

La gestión de datos se realizó mediante el paquete estadístico IBM® SPSS® v22, y para el análisis gráfico se utilizó la librería ggplot2 del paquete estadístico R3.1.29.

Resultados

De un total de 2.559.903 artículos observacionales indexados en PubMed, un 9,3% contenía un término relativo al análisis multivariante, pasando del 0,17% en 1970 al 16% en 2013 (PCA 11,15%) (tabla 2). Esta tendencia también se observó en los trabajos en lengua española (PCA 8,56%). El 6,1% de los trabajos reportaron la utilización de modelos de regresión lineal, logística, Cox o Poisson (del 0,14% en 1980 hasta el 12,3% en 2013; PCA 14,5%). Este porcentaje fue inferior para los trabajos en lengua española en todos los años de estudio (fig. 1 y tabla 2). Por otro lado, entre los 238.093 trabajos que contenían el término multivariante, el 48,5% contenía alguno de los modelos estándares estudiados (logístico, lineal, Cox o Poisson), presentando también una tendencia ascendente (del 9,5% en 1980 al 75% en 2013; PCA 6,5%). Se observó una tendencia similar para los artículos en lengua española (datos no mostrados).

Tabla 2.

Evolución porcentual de la utilización de los modelos de regresión logística, lineal, Cox y Poisson en los artículos observacionales indexados en PubMed a nivel global y en lengua española (1970-2013)

Periodo  Número de citas  Logístico, %  Lineal, %  Cox, %  Poisson, %  Término «multivariante», % 
Global
1970-1979  134.839  0,01  0,05  0,00  0,00  0,96 
1980-1989  300.325  0,32  0,23  0,09  0,01  2,75 
1990-1999  574.794  2,11  1,01  0,84  0,07  7,16 
2000-2009  1.013.344  4,07  1,44  1,78  0,15  10,78 
2010-2013  536.601  6,02  2,30  2,92  0,27  14,55 
1970-2013  2.559.903  3,39  1,31  1,51  0,13  9,30 
PCA18,47  15,37  20,09  17,73  11,15 
Lengua española
1970-1979  3.132  0,00  0,03  0,00  0,00  0,13 
1980-1989  4.950  0,08  0,02  0,00  0,00  0,83 
1990-1999  10.809  2,13  0,84  0,33  0,13  5,55 
2000-2009  14.086  3,59  0,69  0,85  0,19  9,41 
2010-2013  4.937  4,15  0,85  1,28  0,14  10,51 
1970-2013  37.914  2,49  0,61  0,58  0,13  6,57 
PCA13,27  7,42  4,70  2,72  8,56 

PCA: porcentaje de cambio anual de todo el periodo respecto al primer año con porcentaje superior a 0.

Número de citas de estudios observacionales según la estrategia establecida en PubMed el 16/04/2014.

Figura 1.

Evolución del porcentaje de los términos referentes a modelos estadísticos en artículos observacionales indexados en PubMed en lengua española (ESP) y a nivel internacional (Global): (a) término multivariante (Multi) respecto a término modelos clásicos (Clas: Logístico, Cox, Lineal o Poisson) y (b) términos específicos relativos a cada modelo.

(0,24MB).

El uso del término multivariante aumentó en los artículos indexados en PubMed en los años de estudio de 0,96 a 14,55% (PCA 11,15%). El término relativo al modelo logístico fue el modelo más utilizado durante todo el periodo de estudio (3,39%; PCA 18,47%). Le siguieron los términos referentes al modelo de Cox (1,51%; PCA 20,09%), al modelo lineal (1,31%; PCA 15,37%) y al de Poisson (0,13%; PCA 17,73%) (tabla 2). El último año analizado (2013), un 6,7% contenía términos referidos a regresión logística, un 2,5% a regresión lineal, un 3,49% a regresión de Cox y un 0,31% a regresión de Poisson. Por otro lado, al incluir los sinónimos de las técnicas multivariantes en el texto libre el número de artículos indexados aumentaron en un 0,99%, siendo el aumento del 0,25% en el modelo logístico y del 0,09% en el modelo de Cox.

El 12,8% de todas las revistas indexadas en Web Of Science y PubMed y editadas en España (n=39) recomendaban explícitamente seguir la guía STROBE antes de enviar el manuscrito, y el 35,9%, seguir la guía CONSORT. El 30,8% recomendaban implícitamente la guía STROBE porque aconsejaban cumplir los requisitos de uniformidad de presentación de manuscritos del Comité Internacional de Directores de Revistas Médicas.

Discusión

Nuestro trabajo refleja un aumento del uso de las técnicas estadísticas multivariantes en los estudios observacionales indexados en PubMed, especialmente los modelos de regresión logística. Por otro lado, las recomendaciones STROBE para mejorar la comunicación de los resultados científicos de los estudios observacionales solo se indican en el 12,8% de las normas de autor de las revistas editadas en España. En contraste, la guía de recomendaciones para los ensayos clínicos (CONSORT) se propone en un 35,9% de las mismas normas de autor.

El aumento observado del uso de las técnicas de regresión en los estudios observacionales puede deberse a la capacidad computacional de los ordenadores actuales y de los paquetes estadísticos para realizar estos análisis. Una revisión de la metodología estadística empleada en artículos publicados en 2 revistas con alto factor de impacto mostró que en un 16% de los artículos revisados se había utilizado metodología multivariante, siendo la regresión logística la más utilizada (10%) entre los años 2000 y 200710, resultados consistentes con los de nuestro estudio. Por otro lado, una revisión más reciente de estudios donde la fuente de datos primaria fue la Encuesta Nacional de Salud de Canadá también indicó un predominio de la utilización del modelo logístico y un incremento del uso de las técnicas de regresión a lo largo de los años, como nuestro estudio11. Sin embargo, el porcentaje global que observaron de la utilización de técnicas de regresión fue notablemente superior al de nuestro estudio (80 vs. 14,5%). Existen motivos que pueden explicar tal discrepancia, como la diferencia en la estrategia de búsqueda o el tipo de referencias incluidas entre ambos estudios. Además, nuestro estudio englobó un universo de artículos de mayor variedad de estudios, especialidades, diseños, muestras y tipos de revistas.

El aumento del uso de las técnicas multivariantes en los artículos científicos observacionales en nuestro estudio también coincide con la cada vez mayor disponibilidad del software para llevarlas a cabo en los últimos años. Sin embargo, el uso de estas técnicas no está libre de potenciales errores y no siempre es apropiado, pues sobre ellas descasan fuertes asunciones que no siempre se cumplen. El incumplimiento de las asunciones formales de los modelos puede invalidar los resultados que se derivan del estudio, produciendo los conocidos errores de tipo i y/o tipo ii1, o importantes sesgos de las estimaciones12. En este sentido, existen herramientas estadísticas que permiten evaluar si los modelos cumplen las condiciones de aplicación1,4.

La necesidad de evaluar críticamente la calidad metodológica de los estudios ha puesto de manifiesto graves deficiencias en los artículos de investigación. Estas deficiencias dificultan el desarrollo de revisiones sistemáticas, que posteriormente influyen en el desarrollo de guías de práctica clínica y, en última instancia, sobre el cuidado de los pacientes. En ese sentido, las guías de recomendaciones son herramientas desarrolladas para facilitar información más exacta y completa de los aspectos clave de los estudios de investigación13. De hecho, un estudio realizado en España demostró que su requerimiento mejoraba la calidad de los manuscritos publicados14. En este sentido, que los editores y revisores dispongan y requieran guías o herramientas estandarizadas para evaluar la calidad metodológica es clave para mejorar la presentación de los trabajos científicos.

El control de la confusión es uno de los aspectos esenciales incluidos en la guía STROBE7. Sin embargo, no incluye explícitamente la validación del método estadístico. Otras guías, como la SAMPL6, de carácter más metodológico, sí que incluyen como recomendación la validación de la metodología estadística empleada, aunque también es incompleta en lo que se refiere a metodología multivariante.

Una de las limitaciones de esta revisión deriva en que la fuente analítica principal se basa en el motor de búsqueda de PubMed. Otra limitación del estudio es la estrategia de búsqueda utilizada, ya que los resultados de la búsqueda dependen de que los autores hayan mencionado las técnicas de regresión en el resumen. En este sentido, nuestros resultados globales podrían estar infraestimados. Por otro lado, también puede haber varios artículos derivados del mismo proyecto, que puede ocasionar cierta sobreestimación del resultado. Este tipo de limitación es común en los estudios bibliométricos basados en motores de búsqueda por palabras como PubMed10. Sin embargo, teniendo en cuenta que a partir del año 1990 todos los descriptores ya estaban incorporados en PubMed y que nos hemos basado en todo su repositorio, en términos de evolución, el efecto de esta limitación probablemente sea reducido.

Por otro lado, en relación con el requerimiento sobre el cumplimiento de STROBE, se han revisado todas las revistas españolas que en la última actualización del año 2012 estaban indexadas en la Web Of Science y PubMed. De todos modos, este análisis no está directamente vinculado con el estudio bibliométrico, y no tiene una referencia temporal, ya que la guía STROBE se publica por primera vez en 2007, más tarde que la CONSORT, por lo que las revistas han tenido más tiempo en adaptar las normas de publicación a esta última.

En conclusión, los modelos de regresión multivariantes (logística, lineal, Cox y Poisson) en estudios observacionales publicados e indexados en PubMed son cada vez más utilizados tanto a nivel global como en revistas publicadas en lengua española. Debido al aumento de la utilización de los métodos multivariantes parece necesario establecer filtros que garanticen el correcto uso de estos métodos. Además, un porcentaje bajo de las revistas científicas españolas indexadas en PubMed incluyen en las normas de autoría el requerimiento de la guía STROBE.

Responsabilidades éticasProtección de personas y animales

Los autores declaran que para esta investigación no se han realizado experimentos en seres humanos ni en animales.

Confidencialidad de los datos

Los autores declaran que han seguido los protocolos de su centro de trabajo sobre la publicación de datos de pacientes.

Derecho a la privacidad y consentimiento informado

Los autores declaran que en este artículo no aparecen datos de pacientes.

Financiación

Los autores no han recibido financiación específica para realizar este estudio.

Autoría

JMMS concibió el trabajo. JR realizó todos los análisis. JR y JMMS escribieron el primer borrador del manuscrito y todos los autores contribuyeron significativamente en sus versiones posteriores. Todos los autores han aprobado la versión final del manuscrito.

Conflicto de intereses

Los autores declaran no tener conflictos de intereses.

Bibliografía
[1]
A.J. Dobson.
An introduction to generalized linear models.
2nd ed., Chapman and Hall, (2001),
[2]
R. Bender.
Introduction to the use of regression models in epidemiology.
Methods in Molecular Biology, Cancer Epidemiology, pp. 179-195
[3]
M. Szklo, F.J. Nieto.
Epidemiología intermedia. Conceptos y aplicaciones.
Díaz de Santos, (2003),
[4]
K.R. Hess.
Graphical methods for assessing violations of the proportional hazards assumption in Cox regression.
Stat Med, 14 (1995), pp. 1707-1723
[5]
K.F. Schulz, D.G. Altman, D. Moher, CONSORT Group.
CONSORT 2010 statement: Updated guidelines for reporting parallel group randomized trials.
[6]
Lang TA, Altman DG. Statistical analyses and methods in the published literature: The SAMPL Guidelines. John Wiley & Sons; 2014.
[7]
J.P. Vandenbroucke, E. von Elm, D.G. Altman, P.C. Gotzsche, C.D. Mulrow, S.J. Pocock, et al.
Strengthening the reporting of observational studies in epidemiology (STROBE): Explanation and elaboration.
e1–28
[8]
International Committee of Medical Journal Editors. Uniform requirements for manuscripts submitted to biomedical journals: Writing and editing for biomedical publication. ICMJE; 2011 [consultado 15 Jun 2014]. Disponible en: www.icmje.org
[9]
H. Wickham.
ggplot2: Elegant graphics for data analysis.
Springer, (2009),
[10]
M. Scotch, M. Duggal, C. Brandt, Z. Lin, R. Shiffman.
Use of statistical analysis in the biomedical informatics literature.
J Am Med Inform Assoc, 17 (2010), pp. 3-5
[11]
D.W. Yergens, D.J. Dutton, S.B. Patten.
An overview of the statistical methods reported by studies using the Canadian community health survey.
BMC Med Res Methodol, 14 (2014), pp. 15
[12]
W. Liang, Y. Zhao, A.H. Lee.
An investigation of the significance of residual confounding effect.
Biomed Res Int, 2014 (2014), pp. 658056
[13]
Altman D, Hoey J, Marušić A, Moher D, Schulz KF. EQUATOR Network. Enhancing the QUAlity and Transparency Of health Research. 2014 [consultado 5 Nov 2014]. Disponible en: http://www.equator-network.org
[14]
E. Cobo, J. Cortés, J.M. Ribera, F. Cardellach, A. Selva-O’Callaghan, B. Kostov, et al.
Effect of using reporting guidelines during peer review on quality of final manuscripts submitted to a biomedical journal: Masked randomised trial.
BMJ, 343 (2011), pp. d6783
Copyright © 2015. Sociedad Española de Médicos de Atención Primaria (SEMERGEN)
Opciones de artículo
Herramientas
es en pt

¿Es usted profesional sanitario apto para prescribir o dispensar medicamentos?

Are you a health professional able to prescribe or dispense drugs?

Você é um profissional de saúde habilitado a prescrever ou dispensar medicamentos

es en pt
Política de cookies Cookies policy Política de cookies
Utilizamos cookies propias y de terceros para mejorar nuestros servicios y mostrarle publicidad relacionada con sus preferencias mediante el análisis de sus hábitos de navegación. Si continua navegando, consideramos que acepta su uso. Puede cambiar la configuración u obtener más información aquí. To improve our services and products, we use "cookies" (own or third parties authorized) to show advertising related to client preferences through the analyses of navigation customer behavior. Continuing navigation will be considered as acceptance of this use. You can change the settings or obtain more information by clicking here. Utilizamos cookies próprios e de terceiros para melhorar nossos serviços e mostrar publicidade relacionada às suas preferências, analisando seus hábitos de navegação. Se continuar a navegar, consideramos que aceita o seu uso. Você pode alterar a configuração ou obter mais informações aqui.