El traje nuevo del investigador

“Hace muchos años vivía un catedrático de universidad español que era comedido en todo excepto en una cosa: se preocupaba mucho por la excelencia en la investigación. Gracias a sus méritos, perseverancia y su prodigiosa inteligencia consiguió ser nombrado ministro de investigación. Un día escuchó a dos investigadores extranjeros, que estaban haciendo una estancia en su universidad,  decir que habían construido el mejor baremo para evaluar la calidad de investigación que se pudiera imaginar. Eran los hermanos Guido y Luigi Farabutto, que acumulaban más de 100 trabajos publicados en las revistas de primer cuartil del famoso JCR (y su índice h era superior a 60). Este baremo, añadieron, tenía la especial capacidad de dar cero puntos a cualquier estúpido o incapaz para su cargo en una institución universitaria. Por supuesto, no había baremo alguno sino que los pícaros producían números arbitrarios, eso sí, si alguien introducía en la aplicación alguna publicación cuya pregunta de investigación estuviera relacionada con la docencia,se le asignaba una elevada puntuación negativa a ese trabajo.

Sintiéndose algo nervioso acerca de si él mismo sería capaz de salir bien parado o no con el baremo, el ministro de investigación envió primero a dos de sus hombres de confianza a ser sometidos a la evaluación. Evidentemente, ninguno de los dos introdujo méritos relacionados con investigación docente (pues no los tenían) y, puesto que la aplicación les otorgó unos números altos comenzaron a alabarla. Toda la comunidad académica empezó a oír  hablar del fabuloso baremo y estaba deseando comprobar su puntuación, pero sobre todo, si tenían más puntos que sus  vecinos. Los investigadores más prestigiosos de la disciplina sacaron elevadas puntuaciones, en parte por azar y en parte porque ninguno de ellos había publicado jamás artículos de investigación docente. Pronto la aplicación fue ganando popularidad.

Los hermanos Farabutto ayudaron al ministro a parametrizar la aplicación informática y el propio ministro obtuvo la mayor puntuación de España (tras seguir los consejos de los hermanos Farabutto y no introducir unos cuántos artículos sobre investigación docente que el catedrático había publicado en revistas como Academy of Management Learning & Education, Journal of Management Education, Intangible Capital, Journal of Engineering Education, Cuadernos de Economía y Dirección de Empresas, entre otras).

Toda la comunidad científica alabó enfáticamente el baremo, y empezaron a esconder sus investigaciones docentes, temerosos de que sus vecinos se dieran cuenta y les obligaran a introducirlas en la aplicación. Así pasaron muchos, mucho años.

De vez en cuando algún estúpido reclamaba «¡Pero si la investigación docente es investigación!… Sin embargo, sus palabras se perdían entre risitas despectivas por parte de una mayoría autocomplacida con sus elevados índices de prestigio académico (infinitamente mayores que los de los osados reclamantes)…”

Como ya os habréis dado cuenta,  esta historia  es una adaptación (http://es.wikipedia.org/wiki/El_traje_nuevo_del_emperador#cite_note-4) de lo que  escribió Hans Christian Andersen (1837)… Aunque resulta que, en ocasiones, las maravillas extranjeras parten de ideas españolas . Parece ser que Andersen adaptó, sin citar (ahora diríamos, plagió), la historia XXXII recogida en el El conde Lucanor ( infante Don Juan Manuel, 1330- 1335).

Por supuesto, en mi texto, se podría sustituir el concepto “investigación docente” por “investigación con metodología cualitativa” o por “Investigación haciendo replicación de estudios” o incluso “publicar en más campos de los que yo [evaluador] soy capaz de dominar” o “investigación en temas que, unas pocas personas y contra toda lógica, deciden que no son propias del área, sin que haya ningún documento que manifieste, explícitamente, dónde están las fronteras consensuadas por la comunidad científica del área (en el caso de que, de verdad, sea posible acotar fronteras sin matar la investigación transversal y multidisciplinar) ” y seguiría teniendo la misma vigencia.

No sé cómo acabará este cuento. En la ficción se acaba descubriendo el “pastel” y se rectifica y se aprende la lección. Pero es bien sabido que la realidad muchas veces supera a la ficción.

Visitas: 33

Ideas surgidas de la edicion 2013 del workshop OMTECH-ACEDE

He asistido un año más a la reunión de trabajo de la sección de Dirección de Operaciones y Tecnología de la Asociación ACEDE (Sevilla, 29 de abril 2013 https://twitter.com/OMTech2013; http://congreso.us.es/omtech2013/). La reunión me ha resultado muy interesante y fruto de lo oído y visto, me traigo unas reflexiones, preguntas  o cuestiones que intentaré ir digiriendo en el futuro:

  1. Evaluación de aprendizajes en nuestras asignaturas de grado. La explosión de Mini actividades puntuadas y sumadas quizás hace que se consigan aprobados o notas sin que se haya aprendido lo suficiente.
    1. ¿comprobamos  o las diseñamos para que sean ESTIMADORES válidos y fiables de los objetivos de aprendizaje superado por el alumno?
    2. ¿Las mini-actividades son necesarias para que se aprendan cosas que permitan  sacar buena nota en el final? ¿superándolas implica que aprenden cosas necesarias para superar los objetivos de aprendizaje?
  2. Formulación de objetivos de aprendizaje (enlazado también con la presentación de Maria Teresa Ortega). Se me ocurre que hay dos forma de formularlos:
    1. En base a lo que medimos. Verbalizar lo que estamos midiendo realmente y lo conviertimos en objetivo de aprendizaje (ejem. Leer y recordar unos capítulos de un libro)
    2. Describir las componentes de las competencias que queremos trabajar en la asignatura: sería como constructos formativos de un segundo orden –la competencia- y las mini-actividades o preguntas del examen serían Estimadores –reflectivos o formativos- de ese constructo de objetivo de aprendizaje. Ejemplo: Establecer, redactar y comunicar objetivos para cada una de las secciones del departamento. Esta forma de trabajar permite aplicar técnicas multivariantes para comprobar el ajuste de los datos al “modelo teórico de evaluación que deseamos”.
  3. Sobre lo que comentaba Pedro de resultados contraintuitivos cuando se introducen innovaciones docentes y notas obtenidas por los alumnos.
    1. Creo que no es la metodología docente  lo que genera resultados de aprendizaje (y por lo tanto notas diferentes). Son las horas de trabajo ACTIVO de los alumnos en la asignatura lo que genera el aprendizaje. La pregunta es si diferentes metodologías fomentan más horas de trabajo activo en los alumnos (¿a todos o hay metodologías que son más reactivas para determinados alumnos?). Es decir, necesitamos un mediador entre “metodología” y “resultados”, de lo contrario podemos encontrar datos cofnusos (que al cambiar una metodología “tradicional” por una que se supone que es “una buena práctica”, los alumnos no sacan más notas). Bueno, además del mediador de horas de trabajo activo, necesitamos estar seguros de que el modo en que evaluamos es adecuado (y no está sesgado y deja de lado los verdaderos objetivos de aprendizaje de la asignatura).
  4. Hay muchas personas haciendo innovación docente (solo en la reunión pudimos ver más de 50 experiencias). Pero no lo compartimos de la manera adecuada para que sea útil. No publicamos nada de esto y así es difícil que se haga avanzar la “ciencia”. Pero debemos publicar bien. informar con el suficiente detalle nuestros  experimentos/experiencias docentes para que:
    1. cualquier profesor pueda replicar nuestro experimento, cuasi-experimento o experiencia (eso implica compartir o enlazar los materiales y protocolos usados en aula.
    2. haya información suficiente para poder hacer un meta-analisis en el futuro (que resuma e integre los aportes de cada experiencia). esto incluye una buena descripción de las poblaciones y grupos, así como de los “tratamientos” y efectos de los mismos.
    3. Si no se os ocurre ninguna revista que pueda estar interesada en publicar este tipo de trabajos, yo os adelanta que en WPOM somos receptivos a esta investigación necesaria. Pero sospecho que hay otras muchas revistas que serían receptivas: Intangible Capital, Journal of Industrial Engineering and Management y EDUCADE
  5. El reto de siempre de compartir materiales entre docentes. ¿Podemos crear un canal youtube para compartir los buenos vídeos localizados y que no tengamos que gastar tanto tiempo localizando materiales?  En el fondo se puede extender a casos o articulos de periódicos (como comentaba Jose Antonio Alfaro o Juan José Tarí). Lo importante es poder hacer unos buenos tags,…. Quizás por eso lo mejor usar Diigo o una buena herramienta de marcadores sociales
    1. Igual lo sencillo es colgar cosas en servidores (cada uno el que prefiera: youtube, google drive, servidores propios o blogs propios) y usar marcadores sociales –públicos o cerrados para el grupo OMTECH, lo que queramos-
    2. No necesitamos un servidor propio de ACEDE.. nos basta con marcadores y una forma de gestionar acceso o hacerlo publico
  6. Repensar lo de los badges (http://www.openbadges.org/) y gamificación sin caer en “edu-tainement” comentado por Elcio Mendoça
  7. Relación de la ponencia de Dolores Quiruga con mi propuesta de “aprendizaje servicio” la experiencia con la SVPAP
  8. “Lo nuevo de Bolonia es poner al alumno en el centro de aprendizaje” He de reconocer que me da un poco de tirria esta frase porque, para mí, desde 1994 el alumno era el centro de aprendizaje ;-).
1 Star2 Stars (No Ratings Yet)
Cargando...

Visitas: 49

La replicación de estudios, una necesidad olvidada en investigación científica.

Siempre he pensado que hay dos cosas que parecen haberse olvidado en la publicación científica:

1.- La validación de escalas de medida (tanto de las creadas nuevas como de las adaptadas a un nueva muestra y/o un nuevo lenguaje)

2.- La replicación de investigaciones (tanto la replicación exacta de experimentos, como la reutilización de escalas previamente validada como la adaptación de escalas y experimentos a muestras diferentes).

Hasta hoy no tenía más argumentos que mis impresiones, basadas en mi sentido común y en mi forma de interpretar lo que dicen los manuales de investigación científica. Esto podría confundirse con ignorancia o ingenuidad, ya que los que se supone que saben de estas cosas o, al menos los que controlan la publicación científica o actúan como revisores, perece que se comportan absolutamente en contra de estás dos prácticas.

Desde hoy tengo una opinión externa a favor del segundo de los puntos: Yong, E. “Replication studies: Bad copy” [Weblog entry.] Nature 485, 298–300 (17 May 2012) doi:10.1038/485298a (http://www.nature.com/news/replication-studies-bad-copy-1.10634) Date accessed: 2 junio 2012

Quizás en el futuro tenga también evidencias de que el punto 1 no es sólo una impresión mía, sino algo que más gente considera imprescindible para hacer avanzar la ciencia.

Mientras no se demuestra que estoy equivocado, voy a seguir mi intuición y fomentaré en la revista WPOM – Working Papers on Operations Management Logo del Encabezado de la Página  la publicación de trabajos rigurosos que se basen en replicaciones y de validaciones de escalas, aunque los resultados de esos estudios contradigan los resultados de los estudios originales.

Visitas: 60

Publicación científica: ni contigo, ni sin ti, tienen mis penas remedio…

Interesante artículo leído en “El País” de Juan Arechaga:

http://www.elpais.com/articulo/sociedad/espanoles/revistas/cientificas/editen/elpepusoc/20110915elpepusoc_21/Tes

Comentado en el blog http://jpgarcia.blogs.upv.es/2011/09/17/que-editen-ellos/

Lo comparto, y me inquieta pensar que seguimos perdiendo oportunidades para tener alguna ventaja competitiva como Pais: perderemos la poca ciencia que nos queda igual que perdimos los territorios de ultramar (que, por cierto, no eran nuestros, y ni siquiera los explotamos nosotros, sino que fuimos una especie de intermediario que se quedó con las migajas del expolio). Y no podemos decir que no tengamos ciencia, si te das una vuelta por centros de investigación internacionales de prestigio, no es raro encontrar españoles en ellos (y en una proporción elevada si tenemos en cuenta lo que se invierte realmente en investigación científica en España). Una gran paradoja que un país pobre como el nuestro (porque somos un país pobre) gaste su dinero en formar científicos para regalar su producción científica a países muchos más ricos que nosotros (y que lejos de redistribuir esa riqueza, la acumulan).
Y ya que han citado a Intangible Capital, la revista tiene algunas editoriales donde manifiestan una posición valiente y muy sensata sobre su política editorial (ya quisieran muchas revistas TOP ser tan honestas, serias, y rigurosas como son IC, JIEM y muchas otras revistas CIENTIFICAS con mayúsculas):
Vol 0, No 1 (2004) – EDITORIAL
Editorial: Una declaración de principios

Abstract PDF [ES]
Vol 3, No 1 (2007) – EDITORIAL
From the Editors: Making Intangible Capital a better review in its third year

Vol 1, No 1 (2005) – EDITORIAL
New objectives of the magazine

Vol 2, No 1 (2006) – EDITORIAL
From the Editors: An assessment of open access journals: quality, prestige and social responsibility

Vol 2, No 2 (2006) – EDITORIAL
From the Editors: The present and future of the scientific communication system

Vol 5, No 3 (2009) – EDITORIAL
Intangible Capital: An opportunity for PhD students and junior researchers

Termino con una propuesta para que las cosas cambien un poco… es la política editorial que yo he seguido desde mis comienzos de publicación:
1.- Si tengo que publicar en inglés para tener cierto “impacto” en el curriculum, lo haré, pero no voy a dejar de publicar en castellano nunca, porque mi sueldo me lo pagan personas que hablan y trabajan en castellano y mi producción científica debe beneficiarles, en primer lugar, a ellos que son “mis jefes”.
2.- Debo apoyar a las revistas serias manándoles mis mejores artículos. Independientemente de dónde estén indexadas y el factor de impacto que tengan. Es muy fácil saber cuando una revista es seria: te responden pronto, no te pierden los artículos, mantienen el mismo rigor en la evaluación de cualquier artículo (es decir, son BLIND de verdad),  los comentarios que te hacen los revisores son siempre útiles (tanto si te aceptan como si te rechazan) y no te obliga a incluir citas de su revista para ser publicado una vez aceptado. En el fondo, esta es una estrategia ganadora a largo plazo, pues las revistas serias acaban siendo incluidas en los índices y acaban teniendo un factor de impacto,  moderado, pero aceptable.

Visitas: 14