Vol.3 Nro. 35 (2016) julio–septiembre págs. [1 -14] http://atenas.mes.edu.cu

Funciones de la Estadística en la publicación de artículos científicos originales

Functions of Statistics in the publication of scientific original papers

Silvio Faustino Soler Cárdenas1
silviosoler.mtz@infomed.sld.cu

RESUMEN:

A través de este trabajo se pone de manifiesto la importancia de la metodología estadística en el proceso de redacción de artículos originales; se destaca además la necesidad de cierto dominio de esta disciplina por parte de los autores, como componente necesario de la redacción científica. Se discute la estrecha relación existente entre la ciencia, concebida como fuerza productiva directa, la publicación científica, en tanto vehículo de salida de resultados de investigación científica, y la Estadística, destacando la función de esta disciplina en cuanto a la descripción del diseño del estudio, el análisis y la interpretación de los resultados obtenidos.

Palabras clave: metodología estadística, artículo científico, rechazo de artículos.

ABSTRACT:

Through this work, the importance of statistical methodology in writing original papers is apparent; in addition, the necessary level of knowledge of the makers in the statistical matter, as a necessary issue of the scientific redaction, is evidenced. It is discussed the fine relation among science, conceived as a direct productive power, the scientific publication and Statistics, pointing out the function of this discipline according to the description of the design of the study, the analysis and explanation of obtained results.

Keywords: statistical methodology,scientific paper,refuse of papers.

INTRODUCCIÓN

Todos tenemos más o menos una idea acertada de lo que es la ciencia porque hoy día la palabra “ciencia” y vocablos derivados forman parte del lenguaje cotidiano. No obstante, conviene esbozar algunos elementos históricos que contribuyan a precisar la noción de ciencia, su contenido y lugar que ocupa en el mundo circundante.

La ciencia es una esfera de la actividad investigadora del ser humano dirigida a la adquisición de nuevos conocimientos, sobre la naturaleza, la sociedad y el pensamiento; incluye todas las condiciones y elementos necesarios para ello: los científicos con sus conocimientos y capacidades; instituciones científicas; equipos de experimentación y laboratorio; métodos de trabajo de investigación científica y la suma de los conocimientos existentes que constituyen una premisa importante para la obtención de nuevos conocimientos.

La ciencia es un efecto necesario de la división del trabajo y surge después que el trabajo intelectual se separa del manual y la actividad cognoscitiva se convierte en un género específico de ocupaciones de personas.

Las premisas para el surgimiento de la ciencia aparecen en los países del Oriente Antiguo (Egipto, Babilonia y China). Allí se acumulan y racionalizan conocimientos empíricos sobre la naturaleza y la sociedad, surgen gérmenes de la astronomía, las matemáticas, la ética y la lógica. Este patrimonio de las civilizaciones orientales fue asimilado y transformado en un armónico sistema en la Grecia Antigua donde aparecen pensadores que se dedican especialmente a la ciencia y se apartan de la tradición religiosa y mitológica.

Desde aquel entonces hasta la Revolución Industrial la principal función de la ciencia es explicativa y su tarea fundamental consiste en proporcionar el conocimiento necesario para ampliar los horizontes de la visión del mundo y la naturaleza, parte de la cual es el hombre mismo.

En el marco de la Revolución Industrial, se gestan las condiciones necesarias para que la ciencia se convierta en un factor activo de la propia producción. Se plantea como principal la tarea del conocimiento con el fin de transformar la naturaleza. En virtud de esta orientación técnica de la ciencia, pasa a ser prioritario el conjunto de disciplinas físico – químicas y las correspondientes investigaciones aplicadas. Durante la revolución científica – técnica, la ciencia vuelve a transformarse radicalmente como sistema. Para que la ciencia pueda satisfacer las necesidades de la producción moderna, los conocimientos científicos deben convertirse en patrimonio del gran ejército de especialistas, ingenieros, organizadores de la producción y obreros. En el proceso de trabajo en los sectores automatizados se requiere que el obrero tenga amplios conocimientos científico – técnicos y domine los fundamentos del saber científico.

La ciencia se convierte cada vez más en una fuerza productiva directa. De ahí las correspondientes exigencias que se le plantean a la misma, la cual debe orientarse en grado cada día mayor no solo a la técnica, sino también al hombre mismo, al desarrollo ilimitado de su intelecto, de sus capacidades mentales generales.

Todos los resultados de la investigación científica estimulan la producción de bienes materiales. Si bien antes la ciencia se desarrollaba como parte del todo social, hoy empieza a penetrar todas las esferas de la vida: los conocimientos científicos y los bienes científicos son necesarios en la producción de bienes materiales, la economía, la política y en las esferas de dirección y educación.

En los últimos tiempos se ha acentuado el carácter de la ciencia como fuerza productiva directa, lo que en gran medida se deriva de su aplicación generalizada a casi todas las esferas del quehacer humano. En este sentido, la ciencia ha generado una contradicción entre la producción de conocimientos por parte de pequeños grupos de investigadores y la necesidad de actualización científica de profesionales y técnicos que la aplican como garantía de desempeño exitoso. En gran medida esta contradicción se resuelve mediante la implementación de diferentes vehículos de salida para los resultados de investigaciones, entre los que se encuentran las publicaciones científicas. Estas y otras formas como son las tesis doctorales, monografías, cursos, talleres, entrenamientos y otras modalidades de divulgación científica, constituyen puentes que conectan a los productores de conocimiento con aquellos que los aplican en la práctica productiva social.

DESARROLLO

¿Qué es una publicación?

Hoy día está bien establecido en el mundo académico, que el producto del quehacer de investigación se refleja fundamentalmente en los artículos que publican los investigadores. Algunos estudiosos incluso sostienen que la publicación en revistas es indiscutiblemente una de las principales actividades del investigador, tan importante como la investigación misma.

El significado y alcance de una publicación está bien definido en el ambiente de investigación internacional y se puede dar una definición simple y concreta.

Una publicación válida es un documento escrito de difusión de la actividad de investigación seria y relevante, evaluada por pares y puesto a disposición de la comunidad investigadora a través de revistas especializadas.

Dicho documento debe contener información suficiente que permita a otros investigadores del tema, entender los avances descritos, evaluar los resultados y comprender los alcances de las conclusiones.

Hay varios tipos de publicaciones; pero en el presente trabajo estamos interesados en los llamados artículos científicos.

¿Qué es un artículo científico?

Un artículo científico es un informe escrito y publicado que describe resultados originales de investigación.

Esta breve definición debe matizarse, sin embargo, diciendo que un artículo científico debe ser escrito y publicado de cierta forma, definida por tres siglos de tradiciones cambiantes, práctica editorial, ética científica e influencia recíproca de los procedimientos de impresión y publicación.

Se exige además que una publicación científica debe contener información suficiente para que los lectores puedan: 1) evaluar las observaciones, 2) repetir los experimentos, y 3) evaluar los procesos intelectuales.

Es necesario destacar el hecho de que toda publicación científica tiene como premisa la ejecución de una determinada investigación y sobre la misma, la publicación debe dar respuesta a las siguientes preguntas:

¿Cómo fue planificada? ¿Cómo se realizó? ¿Cuáles fueron los resultados? ¿Cuáles fueron las conclusiones? ¿Cuáles fueron las fortalezas y las debilidades? ¿En qué medida son generalizables los resultados?

Estructura de un artículo científico

Las primeras revistas científicas aparecieron en 1665, cuando, casualmente, empezaron a publicarse dos revistas diferentes: la "Journal des Scavans" en Francia y las "Philosophical Transactions of the Royal Society of London" en Inglaterra; desde entonces, las revistas han servido de medio principal de comunicación en las ciencias. En la actualidad se publican unas 70 000 revistas científicas y técnicas en todo el mundo.

Las primeras revistas publicaban artículos que hoy día llamamos “descriptivos”. De forma típica, un científico informaba: “primero vi esto y luego vi aquello”, o bien “primero hice esto y luego hice aquello”. A menudo las observaciones guardaban un simple orden cronológico.

Este estilo descriptivo resultaba apropiado para la clase de ciencia sobre la que se escribía. De hecho, este estilo directo de informar se emplea aun hoy en las revistas a base de “cartas”, en los informes médicos sobre casos, en los levantamientos geológicos, etc.

Hacia la segunda mitad del siglo XIX, la ciencia empezaba a moverse de prisa y de formas cada vez más complicadas. Especialmente gracias a la labor de Louis Pasteur que confirmó la teoría microbiana de las enfermedades y elaboró métodos de cultivos puros para estudiar microorganismos, tanto la ciencia como la información sobre la ciencia hicieron grandes adelantos.

En esa época, la metodología se hizo sumamente importante y en este sentido, Pasteur comenzó a describir sus experimentos con todos los detalles posibles. Como los colegas de Pasteur pudieron reproducir sus experimentos, el principio de la “reproducibilidad de los experimentos” devino exigencia fundamental de la filosofía de la ciencia, y así apareció el llamado formato IMRYD (Introducción, Método, Resultados Y Discusión), sumamente estructurado.

La lógica del IMRYD puede definirse mediante una serie de preguntas: ¿Qué cuestión (problema) se estudió? La respuesta es la Introducción. ¿Cómo se estudió el problema? La respuesta son los Métodos. ¿Cuáles fueron los resultados o hallazgos? La respuesta son los Resultados. ¿Qué significan esos resultados? La respuesta es la Discusión.

Ahora nos parece evidente que la lógica sencilla del IMRYD ayuda realmente al autor a organizar y escribir su texto, y que constituye una guía efectiva tanto para directores y árbitros de revistas como para lectores del artículo.

Prácticamente todos los artículos científicos se publican siguiendo las pautas del formato IMRYD. En particular, la Revista Médica Electrónica de la provincia Matanzas tiene el siguiente formato para los artículos científicos:

Título – Resumen – Palabras clave – Introducción - Material y método – Resultados – Discusión – Referencias bibliográficas.

En la sección de Material y Método es donde interviene la metodología estadística, donde se describen los procedimientos para la determinación del tamaño de la muestra del estudio y el diseño para la selección de la misma. Se describen además todos los modelos estadísticos aplicados en la investigación subyacente.

El rechazo de artículos durante el proceso editorial.

Hacer una revisión de los errores más comunes y técnicas básicas para escribir un artículo parece, a simple vista, un asunto banal. Pero si se tiene en cuenta que cerca del 44% de los trabajos presentados en forma de resumen en congresos y conferencias internacionales jamás llegarán a publicarse y que el índice de rechazo de los trabajos en extenso va en aumento, resulta evidente que éste no es un asunto tan insignificante (Pierson (2004); Weber, Callaham, Wears, Barton y Young (2005); Rosenfelt, Dowling, Pepe y Fullerton (2000)).

Cada día la presión por publicar es mayor. La expresión “publicar o morir” suena algo dramática, pero es bastante acertada. Actualmente gran parte del prestigio de una institución depende de la calidad de su investigación. En nuestro medio académico, variadas son las razones que impulsan a los docentes a enviar trabajos para publicar a revistas científicas. Entre ellas se pueden citar: 1) comunicación de resultados totales o parciales de un proyecto de investigación; 2) evaluación docente anual; 3) promoción de categoría docente 4) obtención de un grado científico y 5) proceso de acreditación docente de una carrera.

Sin embargo, somos del criterio de que, tanto la formación básica de las carreras de nuestras universidades (al menos las universidades médicas) como los planes actuales de postgrado, no contribuyen de manera efectiva a la formación de competencias para la publicación científica.

En fin, resulta paradójico el hecho de que, por una parte, los procesos de formación de nuestras universidades no contribuyan de manera efectiva a desarrollar habilidades y capacidades para publicar y por otro, que constituya al mismo tiempo una exigencia para el desarrollo exitoso de la gestión docente y la obtención de grados científicos. Es probable que esta sea una de las causas del rechazo de artículos por diferentes comités editoriales.

Citando algunos ejemplos, el 90% de los artículos sometidos para revisión a la revista Nature son rechazados. Lo mismo ocurre con el 89% de los artículos en el Annals of Internal Medicine, el 80% de los artículos enviados al European Journal of Cancer y el 71% de los recibidos en el American Journal of Ophthalmology. Esto puede resultar desalentador, sin embargo, se ha demostrado que al menos el 50% de estos artículos llegarán a ser publicados en otra revista, aunque quizá de menor impacto que la primera a la que fue enviado (Liesengag, Shaikh y Crook (2007)).

Cuando se envía un trabajo a una revista para ser publicado, en general éste es inicialmente visto por alguno de los editores de la revista en cuestión y posteriormente enviado a una serie de revisores a quienes se les considera expertos en el campo de estudio del escrito. Tanto la opinión del primero como de los segundos interviene en la decisión de publicar o no el trabajo. Aunque se ha criticado mucho, el sistema de revisión por pares sigue siendo la mejor forma de tratar de mantener la calidad y veracidad de lo que se publica. Varios estudios han abordado las causas del rechazo desde el punto de vista de los revisores y han señalado algunos puntos como las áreas de mayor conflicto (Seals y Tanaka (2000)); entre ellas se pueden citar las siguientes:

No seguir las instrucciones.

Todas las revistas establecen una guía de cómo se ha de enviar un artículo. Usualmente incluyen el formato en que se presentará el texto, las limitaciones de extensión del mismo, qué tan detallada ha de ser escrita la metodología y, de mayor relevancia, el tipo de artículo que reciben. También se incluyen instrucciones precisas sobre el formato de las referencias (y a veces su cantidad) y la necesidad de mandar una carta donde cada autor describe su contribución para el artículo como son el diseño, colección del material, análisis estadístico y su papel en la redacción del manuscrito final.

Revista equivocada.

Es probable que un artículo recibido no tenga errores graves, incluso el editor puede estar convencido de que el trabajo es publicable, pero en otra revista. No es el tipo de artículos que ellos publican o simplemente, reciben tantos trabajos que, aunque el trabajo tiene mérito, necesitan rechazarlo.

Errores en el reenvío de nuevas versiones.

En general los revisores son seleccionados por tener experiencia en el tópico del artículo. Estos lo leen y mandan una serie de sugerencias sobre los errores mayores y menores en el mismo. Si el editor de la revista señala su disponibilidad para considerar una versión revisada del manuscrito, básicamente está dando la posibilidad de tomarlas en cuenta para mejorarlo y poderlo publicar con ellos. No es necesario que absolutamente todas las sugerencias sean seguidas al pie de la letra; pero tampoco se pueden ignorar todas. En general se ha demostrado que la calidad de los artículos mejora después de la revisión.

Pobre redacción.

Se refiere a un texto cuya lectura resulta difícil de seguir a causa de errores sintácticos, vocabulario no apropiado y uso excesivo de abreviaturas o incluso el intento de inventar algunas nuevas. Básicamente hay que mantener un texto sencillo, fácil de entender, ya que esto invita a seguir leyendo; además hay que evitar el uso de expresiones francamente regionales. Si se usan abreviaturas, hay que escribir la expresión completa la primera vez que se usa y a partir de ahí usar la abreviatura.

Diseño inadecuado del estudio.

Este es en realidad, el más grave de los motivos para rechazar un artículo. No hay manera de arreglar algo que debió hacerse antes de empezar. Este punto se refiere al mal diseño del experimento, una pobre elección de variables, un mal control de los factores de confusión, la población estudiada es muy pequeña o está sesgada y la ausencia de una hipótesis clara.

Uso inadecuado de estadígrafos de posición.

En un trabajo de investigación donde se requiere la comparación de dos o más grupos para evaluar la eficacia, digamos, de dos intervenciones, es necesario calcular estimaciones por intervalos de estadígrafos que cuantifican valores centrales. En estos casos las estimaciones puntuales son insuficientes debido a que no tienen en cuenta la variabilidad de los valores de la muestra utilizada. Un ejemplo de esta insuficiencia aparece en el trabajo de Salcedo, P. y del Valle, M. (2012).

Dificultades en la triangulación metodológica. Con mucha frecuencia tiene lugar el uso de métodos cuantitativos y cualitativos en las investigaciones sociales, lo que pone de manifiesto la necesidad de analizar datos provenientes de estas dos perspectivas metodológicas. Para este tipo de análisis se requiere no solamente el dominio de la estadística y del enfoque cualitativo de investigación, sino también el uso correcto de la llamada triangulación metodológica, herramienta imprescindible para la correcta interpretación de datos empíricos. En un estudio reportado por Torres, P. F. (2016) se ponen de manifiesto las insuficiencias detectadas en el análisis de datos por conducto de la triangulación metodológica. Dicho estudio incluyó la revisión de 1377 reportes que incluyen tesis de maestrías, de doctorado y proyectos de investigación.

Hoy día es indudable el papel protagónico que ha tenido la metodología estadística en el diseño, planificación y análisis de resultados de investigaciones y debido a esto no son pocos los esfuerzos realizados para orientar a los investigadores en cuanto a su adecuada aplicación, interpretación y comunicación de resultados obtenidos. En este sentido, se mencionan a continuación tres trabajos publicados que pretenden orientar a los autores en cuanto a la redacción del diseño de estudios.

Declaración de la Iniciativa STROBE (Da Costa, B.R.; Cevallos M.; Altman D.G.; Rutjes, A.W. y Egger, M. (2011)).

En el marco de la iniciativa STROBE se formularon recomendaciones sobre lo que debería contener una notificación precisa de un estudio de: cohortes, casos y controles, y transversales.

Específicamente, con respecto a la aplicación de métodos estadísticos se precisa:

  1. Especifique todos los métodos estadísticos, incluidos los empleados para controlar los factores de confusión.
  2. Especifique todos los métodos utilizados para analizar subgrupos e interacciones.
  3. Explique el tratamiento de los datos ausentes (missing data).
  4. En estudios de cohortes, explique cómo se afrontan las pérdidas en el seguimiento.
  5. En estudios de casos y controles, explique cómo se relacionaron los casos con los controles.
  6. En estudios transversales, especifique cómo se tiene en cuenta en el análisis la estrategia de muestreo.
  7. Describa los análisis de sensibilidad.

Interpretación correcta de conceptos estadísticos (Scotto y Tobías (2003)).

Se precisan algunos conceptos utilizados habitualmente en el campo de investigación de la salud pública, que en numerosas situaciones son interpretados de manera incorrecta. Entre ellos encontramos la estimación puntual, los intervalos de confianza, y los contrastes de hipótesis. Estableciendo un paralelismo entre estos tres conceptos, podemos observar cuáles son sus diferencias más importantes a la hora de ser interpretados, tanto desde el punto de vista del enfoque clásico como desde la óptica bayesiana.

Uso de la prueba Ji – cuadrado (Amaro (2012)).

Se presentan algunos elementos básicos sobre el uso y abuso de las pruebas de Ji al cuadrado de independencia y de homogeneidad en los informes finales de tesis degrado; así como la importancia del control del sesgo de confusión, la necesidad detenerlo en cuenta en las investigaciones analíticas y algunos métodos para lograrlo.

A pesar de los esfuerzos por mejorar la calidad de los artículos científicos en cuanto a la descripción del diseño del estudio correspondiente y en general a la aplicación de la Estadística, aún persisten errores en la redacción de artículos científicos. Como muestra de este hecho se presentan tres trabajos publicados:

Misuse of statistical methods: critical assessment of articles in BMJ from January to March 1976 (Gore, Jones y Rytter (1977)). Se revisaron 62 artículos originales en 13 números consecutivos del British Medical Journal (de enero a marzo de 1976) que contenían análisis estadístico.

Se detectaron errores estadísticos 32 (52%) artículos; de ellos, 18 (29%) contenían errores de cierta gravedad. Adicionalmente, los resúmenes de 5 artículos (8%) mostraron conclusiones inconsistentes con los resultados de un re – análisis de los datos.

Las pruebas de significación estadística en tres revistas biomédicas: una revisión crítica (Sarria y Silva (2004)).

Se examinaron todos los artículos originales descriptivos o explicativos que fueron publicados en el quinquenio de 1996–2000 en tres publicaciones: Revista Cubana de Medicina General Integral, Revista Panamericana de Salud Pública/Pan American Journal of Public Health y Medicina Clínica.

En las tres revistas examinadas se detectaron diversos rasgos criticables en el empleo de las pruebas de hipótesis basadas en los “valores P” y la escasa presencia de las nuevas tendencias que se proponen en su lugar: intervalos de confianza (IC) e inferencia bayesiana.

Los hallazgos fundamentales fueron los siguientes: mínima presencia de los IC, ya fuese como complemento de las pruebas de significación o como recurso estadístico único; mención del tamaño muestral como posible explicación de los resultados; predominio del empleo de valores rígidos de alfa; falta de uniformidad en la presentación de los resultados, y alusión indebida en las conclusiones de la investigación a los resultados de las pruebas de hipótesis.

Surveillance for Non-Communicable Diseases risk factors in Cienfuegos, Cuba: an efficient sampling approach (Silva, Benet, Morejón y Ordúñez (2012)).

Una búsqueda bibliográfica en tres bases de datos (PubMed, Medline, Bireme) de artículos sobre prevalencia de hipertensión en países latinoamericanos y caribeños publicados en las dos décadas anteriores arrojó la existencia de 58 trabajos, 48 de los cuales (83%) vieron la luz en fecha posterior a 1990. Quedó en evidencia que en el 26% de los trabajos no se explicaba el diseño muestral empleado, en el 31% de los casos, la muestra no fue probabilística; el 74% no empleó fórmulas acordes con el diseño para hacer las estimaciones puntuales y el 90% se abstenía de computar errores e intervalos de confianza con acuerdo a dicho diseño muestral. De hecho, solo uno de los 58 trabajos cumplió todos los requisitos y en 10 de ellos no se cumplía ninguna de esas condiciones.

CONCLUSIONES

Los artículos científicos originales constituyen la vía más efectiva para la comunicación de resultados de la actividad científica investigativa. La Estadística es una disciplina metodológica insustituible en la investigación cuantitativa, así como también en el proceso de redacción de artículos científicos.

Es necesario que los autores tengan el nivel de conocimientos necesarios para diseñar estudios cuantitativos y aplicar consecuentemente la metodología estadística para el análisis e interpretación de datos empíricos.

REFERENCIAS BIBLIOGRÁFICAS

Amaro, I. (2012). Uso inadecuado de la prueba ji al cuadrado y la omisión del control del sesgo de confusión. MEDISAN. Volumen 16. (Nro. 4), pp. 623.

Da Costa, B. R.; Cevallos M.; Altman D.G.; Rutjes, A.W. y Egger, M. (2011). Uses and misuses of the STROBE statement: bibliographic study. BMJ Open; 1: e000048. Doi:10.1136/bmjopen-2010-000048.

Gore, S.; Jones, I. y Rytter, E. (1977). Misuse of statistical methods: critical assessment of articles in BMJ from January to March 1976. British Medical Journal. Volumen1, pp. 85 – 87.

Liesengag, T. J.; Shaikh, M. y Crook, J. E. (2007). The outcome of manuscripts submitted to the American Journal of Ophthalmology between 2002 and 2003. Am J Ophtalmol. Volumen 143. (Nro.4), pp. 551 – 60.

Pierson, D. J. (2004). The Top Ten Reasons Why Manuscripts Are Not Accepted for Publication. Repir Care. Volumen 49. (Nro. 10), pp. 1246 – 52.

Rosenfelt, F. L.; Dowling, J. T.; Pepe, S. y Fullerton, M. J. (2000). How to Write a Paper for Publication. Heart, Lung and Circulation. Volume 9. (Nro. 2), pp 82 – 7.

Salcedo, L. P. y del Valle, M. (2013). Disponibilidad léxica matemática en estudiantes de enseñanza media de Concepción, Chile. Atenas. Revista Científico Pedagógica. Cuba. Volumen 2, (Nro. 21). Recuperado de: http://atenas.mes.edu.cu

Sarria, C. M. y Silva, L. C. (2004). Las pruebas de significación estadística en tres revistas biomédicas: una revisión crítica. Rev. Panam. Salud Pública. Volumen 15. (Nro. 5), pp. 300–6.

Scotto, M. G. y Tobías, A. (2003). Interpretando correctamente en salud pública estimaciones puntuales, intervalos de confianza y contrastes de hipótesis. Salud Pública Mex. Nro. 45, pp. 506-511.

Seals, D. R. y Tanaka, H. (2000). Manuscript Peer Review: A Helpful Checklist For Students and Novice Referees. Adv. Physiol. Educ. Volumen 22. (Nro. 52), pp. 52 – 8.

Silva, L. C.; Benet, M.; Morejón, A. y Ordúñez, P. (2012). An efficient sampling approach to surveillance of non-communicable disease risk factors in Cienfuegos, Cuba. MEDICC rev. Volumen 14 (Nro. 4), pp. 36-39. Recuperado de:http://www.scielosp.org/scielo.php?script=sci_arttext&pid=S1555-79602012000400008&lng=en.

Torres, P. F. (2016). Acerca de los enfoques cuantitativo y cualitativo en la investigación educativa cubana actual. Revista Científico Pedagógica. Cuba. Volumen 2, (Nro. 34). Recuperado de: http://atenas.mes.edu.cu

Weber, E.J.; Callaham, M.L.; Wears, R.L.; Barton, C. y Young, G. (2005). Unpublished Research from a Medical Specialty Meeting. J. of Surg. Research. (Nro. 128), pp. 165 – 7..