INTRODUCCION
La mayoría de los investigadores están de acuerdo en la relevancia de la revisión de la literatura médica para continuar progresando en nuestro campo de conocimiento. Hasta el sentido común nos dice que para progresar hay que partir de lo que ya hay, por ello antes de emprender ningún estudio es imprescindible precisar cuál es el estado actual de conocimientos sobre un tema. El análisis de las referencias bibliográficas es uno de los capítulos más desarrollados por López Piñero y Terrada1.
La bibliometría tiene por objeto el tratamiento y estudio de datos cuantitativos procedentes de las publicaciones científicas. Los primeros estudios bibliométricos se remontan a principios del siglo xx, y consistían en recuentos manuales de publicaciones científicas. A partir de los años sesenta, aparece la denominada «ciencia de la ciencia», que nace en la confluencia de la documentación científica, la sociología de la ciencia y la historia social de la ciencia, con el objeto de estudiar la actividad científica como fenómeno social y mediante indicadores y modelos matemáticos. Esta área dará origen a lo que hoy día se conoce como «estudios sociales de la ciencia», campo de carácter claramente interdisciplinario, que se nutre de los recursos técnicos y conceptuales de distintas áreas de investigación, entre las cuales se encuentra la bibliometría2.
Los estudios sobre calidad de tesis y proyectos de investigación en ciencias biomédicas son realmente muy escasos, pero de enorme interés para la docencia universitaria, ya que permiten observar deficiencias metodológicas en los trabajos de investigación para corregirlas en la enseñanza de posgrado3,4.
El objetivo de este estudio fue evaluar cuál es la situación de la bibliografía aportada en los proyectos de tesis doctoral en el Departamento de Obstetricia, Ginecología y Cirugía de la Universidad de Zaragoza entre los años 1995 y 2002, y dilucidar cómo influye ésta en la calidad de los proyectos de tesis, para poder hacer predicciones sobre la calidad de cualquier proyecto de tesis en función de sus parámetros bibliográficos.
Se propone como hipótesis de estudio que la calidad de la bibliografía de los proyectos de tesis, medida como su ajuste a las normas Vancouver, el número de citas, su porcentaje en inglés y en español, y su porcentaje de los últimos 5 años se correlaciona directamente con la calidad del proyecto de tesis medido en una escala cuantitativa continua (0-10).
MATERIAL Y MÉTODO
Estudio analítico de casos y controles (proyectos con bibliografía y sin ella, respectivamente) en el que se analizan 273 proyectos de tesis corregidos por dos personas (546 sujetos evaluados) presentados en el Departamento de Obstetricia, Ginecología y Cirugía de la Universidad de Zaragoza entre los años 1995 y 2002.
Se consultaron las Normas Vancouver de 20035.
Variables estudiadas
Variables independientes
− Bibliografía (bibliografía): No existe, es incorrecta (no sigue las normas Vancouver) y correcta.
− Número de citas (N_citas).
− Porcentaje de citas en español (Por_Esp).
− Porcentaje de citas en inglés (Por_Ing).
− Porcentaje de citas de antigüedad inferior a 5 años (Por_Antig).
Variable dependiente
Valoración corregida. Mide la calidad del proyecto de tesis, acotada entre 0 y 10 puntos (Val_Corr).
Tratamiento estadístico
En primer lugar, se ha realizado un examen exploratorio (descriptivo) de todos los datos para averiguar con exactitud de la base que se dispone. En un principio, la base de datos proporcionados para el estudio era de 546 casos, dentro de los cuales vamos a distinguir entre erróneos, incompletos y útiles.
Llamaremos casos incompletos a los que, a pesar de tener recogidas algunas de las variables estudiadas, no disponen de observaciones para todas ellas, por lo que no se incluirán en el estudio global.
De los 546 casos que conforman la muestra recogida, 5 de ellos no disponen de la variable respuesta, por lo que no los consideraremos en el estudio al catalogarlos como incompletos.
Disponemos pues de 541 casos que separaremos en dos bloques: controles (bibliografía no existente) y casos (bibliografía correcta-incorrecta).
Comprobaremos la existencia de normalidad de todas la variables, deteniéndonos en la cualitativa bibliografía y sus posibles opciones (mediante el empleo de histogramas y polígono de frecuencias), para posteriormente investigar la presencia de asociación estadística entre ella y la valoración corregida (calidad) mediante los test de análisis de la varianza (ANOVA) y la t de Student. Después realizaremos el estudio descriptivo del resto de las variables propuestas.
Dentro de los dos grupos, divididos según la bibliografía, en el correspondiente a los 296 casos (bibliografía correcta-incorrecta), ajustaremos la recta de regresión, proponiendo varios modelos, previo cálculo de los coeficientes de Pearson (debido a que todas son cuantitativas), y verificaremos o rechazaremos la hipótesis de influencia de las variables independientes en la variable respuesta. En el otro bloque, 245 controles (no hay bibliografía) nos planteamos intentar definir un intervalo de confianza (IC) en el que se encuentre la variable respuesta, una vez sepamos que la tesis no posee bibliografía.
Se rechaza la hipótesis nula con un nivel de significación de p < 0,05.
Para el tratamiento estadístico se utilizaron los programas Stat View 5.0.1, SPSS 11.0 y Splus 6.0.
RESULTADOS
En primer lugar, observamos que el porcentaje de citas bibliográficas correctas y de no existentes es muy similar, frente al 12,8% que entregan la bibliografía incompleta o incorrecta (tabla 1).
Se realizaron los histogramas de las variables independientes. Aunque no es el mejor método para ver la normalidad de la variable, nos puede dar una idea aproximada de que sí presentaron una distribución normal en este caso. En las figuras detallamos la normalidad de la variable bibliografía y sus opciones (figs. 1-4).
Respecto a la dependencia entre la variable categórica bibliografía y la variable respuesta valoración corregida se obtuvo una diferencia de medias, por lo que sí que es dependiente estadísticamente la calidad del proyecto de tesis de la bibliografía.
Esta comprobación se hizo por medio del test ANOVA y la prueba de la t de Student, previa comprobación de la normalidad de las variables implicadas. Para ANOVA, p < 0,002 en la bibliografía inexistente, correcta e incorrecta (no sigue normas de Vancouver) frente a calidad (valoración corregida) y p < 0,003 en el caso de bibliografía existente (correcta, incorrecta). Para la t de Student, los valores fueron p < 0,0026 y p < 0,0867, respectivamente para los mismos grupos.
En el descriptivo de la variable valoración corregida (calidad), la nota media ± desviación estándar (DE) es de 5,53 ± 1,77; la nota media más elevada se da en los trabajos con la bibliografía correcta (5,83) y la menor de las medias en los que no hay bibliografía (5,28), al igual que la nota mínima (0,67). La máxima nota se encuentra también dentro de los que tienen correcta la bibliografía (9,99) (tabla 2).
Los 296 casos que poseen bibliografía se detallan en la tabla 3.
El número de citas medio fue de 18 ± 16 citas (rango, 92). Se obtuvo una mediana de 13 citas y un rango intercuartílico de 12.
La media de las citas en inglés fue del 77% (rango, 100; DE, 29). Se obtuvo una mediana del 86% de las citas y un rango intercuartílico de porcentaje del 35%.
La media de citas en español fue del 19% (rango, 100; DE, 27). Se obtuvo una mediana del 9% de citas en español y un rango intercuartílico de 27.
La media de las citas con una antigüedad inferior a 5 años fue del 51% (rango, 100; DE, 16). Se obtuvo una mediana de el 50% de las citas con antigüedad inferior a los 5 años marcados y un rango intercuartílico de 45 de las citas.
Análisis multivariante y de regresión múltiple
En primer lugar, se calcularon los coeficientes de correlación de Pearson, para las variables independientes continuas, y se encontraron las siguientes relaciones:
− Sólo la variable N_citas parece estar algo más relacionada linealmente con la valoración corregida, es decir, con la calidad del proyecto de tesis (0,229).
− Hay una fuerte correlación entre las variables Por_Esp y Por_Ing (0,881).
Para establecer una idea visual entre las relaciones de las posibles variables y la variable dependiente, dibujamos la matriz de los gráficos de dispersión (fig. 5), y se observa una relación lineal fuerte entre las variables de porcentaje en español y en inglés, como habíamos dicho anteriormente. En el gráfico se observa también que los trabajos con mayor número de citas presentan la mayoría en inglés y los mayores porcentajes de español se dan en trabajos con menos número total de citas.
Se observa una distribución casi perfecta de los puntos en una «nube nula» del porcentaje de citas con menos de 5 años respecto a la variable dependiente.
Resultados para la predicción de la valoración corregida (Val_cor)
Recordamos que se realizaron dos grupos de estudio, casos con bibliografía (296 para las rectas de regresión) y controles sin bibliografía (245 para el IC). Al inicio se incluyeron todas las variables del estudio y se fueron eliminando una a una para poder comprobar si la ausencia de una mejora o no mejora el resto. A medida que hallamos R2 mayores, el polinomio de regresión nos explica mejor la variabilidad de la variable dependiente. De esta forma, se revelaron los modelos 1 y 2 como los de mayor poder de predicción. Debido a la naturaleza de los datos, se pensó que una posible transformación de las variables independientes podría ser necesaria para dar una mayor explicación de la respuesta. Debido a que la variable que es más significativa es N_citas, probamos posibles transformaciones en ella. Debido a la amplitud del rango de la variable (94 citas) y el rango de la variable respuesta probamos con la transformación por medio del logaritmo neperiano. La nueva variable es Ln (N_citas) en el gráfico siguiente parece observarse algo más la relación lineal (figs. 6-8).
Explicación de la variable respuesta en función de la no existencia de bibliografía
Nos planteamos intentar definir un IC en el que la variable respuesta se encuentre una vez sepamos que el proyecto de tesis (control) no posee bibliografía.
El problema presenta un total de 245 casos con un rango de 8,67 (mínimo 0,67 y máximo 9,33) y una DE de 1,751.
Habíamos detallado también con anterioridad que se podía observar diferencia en las medias significativa entre cada uno de los grupos, así como que la variable presentaba una distribución normal.
Asumiendo esta normalidad, construimos un IC del 95% para la media en el caso de no haber bibliografía:
IC α =[μ± (σ/√ n) * tn-1, 1-α/2]
Los valores de la media y DE poblacional los aproximamos por los valores muestrales (basándonos en la hipótesis de normalidad de la variable dentro del grupo de la no existencia de bibliografía).
IC para la media del 95% = [5.057, 5.497]
DISCUSION
Explicación de los hallazgos del estudio y sesgos
La existencia de dependencia estadística entre las variables bibliografía y valoración corregida (calidad del proyecto de tesis) es un hecho contrastado de modo reiterado en los estudios bivariantes, lo cual es tenido en cuenta para el posterior estudio de regresión múltiple. Es importante reseñar que la variable bibliografía puede estar expuesta a numerosos sesgos (falseado) y que su presencia incumpliendo las normas de Vancouver (variable bibliografía incorrecta) es realmente rara, ya que se suelen copiar y pegar electrónicamente desde MEDLINE, lo que a su vez le resta peso respecto a la corrección bibliográfica, mermando la valoración de la bibliografía como factor de calidad.
El hecho de que las variables predictoras (excluida la variable bibliografía, ya analizada) estén relacionadas entre sí, hace que disminuya la cantidad de información que nos pueden aportar de cara a predecir la valoración corregida (calidad), mucha menos y más contaminada que si fuesen independientes entre sí. Las variables porcentaje de citas en español y en inglés son el ejemplo más claro de esta situación. Como la mayoría de las citas se encuentran en castellano o en inglés, esta fuerte relación lineal era esperada (r = 0,881).
Respecto a las correlaciones lineales de las variables independientes con la desenlace (valoración corregida o calidad del proyecto), la correlación sólo es algo mayor con el número de citas (r = 0,229) pero no fuerte, luego no explica mucho la calidad (menor correlación aún para las otras independientes). El caso de la variable % citas de los últimos 5 años, que a priori podría parecer un buen medidor de calidad, la respuesta fue una nube nula de dispersión, que indica la falta de relación con la valoración corregida; por tanto, no nos vale para predecir la calidad.
Con respecto a los diferentes modelos de regresión propuestos, descartando variables sucesivamente que nos distorsionen la predicción de la variable desenlace o bien modificando su manejo con métodos matemáticos, encontramos que pese a tener en cuenta las variables bibliografía (con asociación estadística previamente demostrada por asociación de medias con la calidad) y número de citas (la de mayor correlación lineal con la calidad) los valores de r2, el porcentaje de variabilidad de la calidad explicado por la regresión de variables predictoras estudiadas es muy reducido (el máximo hallado es del 8,5%), cuando lo óptimo se sitúa a partir del 80%. No obstante, entre los diferentes modelos de regresión propuestos cabe resaltar lo siguiente:
− El primero de los modelos lo descartamos frente a los otros dos debido a que no tiene en cuenta el valor de la variable categórica bibliografía, ya que sabemos que había diferencia entre las medias.
− Nos queda decidir entre los modelos 2 y 3, quedándonos con el 3 (el que usa la transformación de logaritmo neperiano), pues al menos presenta una R2 algo más alta frente a los valores de p similares.
− Si tenemos en cuenta la no existencia de bibliografía del trabajo, podemos conseguir un aprobado en la valoración corregida, con un IC de medio punto de radio, lo cual aún refuerza más el menor peso del aparato bibliográfico en la valoración global del proyecto.
Limitaciones del estudio
Lo ideal hubiese sido poder evaluar la calidad bibliométrica de un proyecto de tesis en el ámbito del estudio de indicadores epistémicos, como la medicina basada en la evidencia, o empíricos, como el factor de impacto, lo cual no ha sido posible debido a no estar recogidas estas informaciones en ningún proyecto de tesis evaluado por cada doctorando de la línea de investigación.
Las posibles razones por las que no pueda influir tanto el aparato bibliográfico en la calidad del proyecto de tesis son las siguientes:
1. Existencia de herramientas avanzadas en el problema de la búsqueda bibliográfica al alcance de todo el mundo (internet, MEDLINE...).
2. La búsqueda bibliográfica se estudia como materia específica en la licenciatura de medicina, no así el resto de apartados del método científico.
CONCLUSIONES
1. Para responder a la hipótesis conceptual de trabajo se podría decir que el apartado bibliográfico no influye en la calidad de los proyectos de tesis doctoral.
2. Sí que se observan relaciones ya comentadas, como que a grandes cantidades de citas el trabajo suele estar algo mejor calificado, de ahí que aunque nos salgan algunas variables significativas no nos expliquen prácticamente nada de la variabilidad de la respuesta.
3. La única variable que tiene valor predictivo o explicativo de la calidad del proyecto de tesis es el número de citas: a mayor número de citas, mayor calidad del proyecto de tesis, pero desgraciadamente es muy pobre, apenas un 8,5%.
Por tanto, es posible, aunque complejo, poder predecir en cierto grado la calidad del proyecto de tesis en función de su apartado bibliográfico.
Correspondencia:
Dr. P. Royo Manero.
Departamento de Ginecología y Obstetricia. Clínica Universitaria. Universidad de Navarra. Universidad, s/n. Pamplona. España.
Correo electrónico: proyo@unav.es
Fecha de recepción: 25/7/05.
Aceptado para su publicación: 28/3/06.