Reseñas

Evaluar los sistemas de evaluación.

El libro se estructura en tres partes que abordan niveles de análisis diferentes. En el estudio introductorio, F. Beigel y F. Bekerman responden al interrogante “¿Qué significa categorizar?”. Luego de un repaso sobre el estado del arte, prontamente destacarán las dos caras de esta práctica: aquella relacionada con clasificar, valuar y reconocer, y la segunda, que consiste en excluir, desvaluar y descartar. La legitimidad que se desprende del acto evaluativo proviene de la decisión de especialistas en áreas del conocimiento y su retribución se traduce en la obtención de financiamiento y prestigio. Sin embargo, esa decisión nunca será objetiva en la medida en que intervienen factores cognitivos y extra-cognitivos, “propios de una cultura epistémica e influenciados por la ‘identidad social’ de los evaluadores, su impronta disciplinar, sus autopercepciones, sus definiciones de la `excelencia´ y sus propias trayectorias” (2019, p. 18). Los docentes-investigadores de las universidades se encuentran insertos en dos culturas evaluativas disímiles que se dan a nivel nacional. Una, cristalizada en el Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET), de tipo internacionalizada, más relacionada con las ciencias exactas, que fomenta la publicación indexada, y otra local, propia de las Universidades Nacionales, que pone en valor la trayectoria docente expresada en el Programa de Incentivos a Docentes-Investigadores (PROINCE). Diversos estudios sobre culturas evaluativas en Argentina indican que las prácticas evaluativas no sólo responden a una lógica del campo al que pertenecen, sino que también se constituyen entre saberes institucionales en los espacios y equipos en los que se desarrolla la investigación. Dichas prácticas incluso varían en el tiempo y se ven influidas por posiciones dominantes (ciencia mainstream). La especificidad del caso argentino consiste en una mezcla de integridad y heterogeneidad. En primer lugar, las/os investigadoras/es de CONICET aspiran a ser profesores en una Universidad nacional, mientras que los profesores de las Universidades pretenden ser considerados iguales a los/as investigadores de CONICET. En segundo lugar, profesores e investigadores de dichas instituciones participan de los procesos de categorización del PROINCE. Por último, la Universidad de Buenos Aires influye en los estilos de producción y circulación del CONICET.

La segunda parte del libro agrupa trabajos orientados a mostrar el proceso de creación del Programa, su desarrollo en términos históricos y la distribución de sus recursos, y sus vínculos con la cultura evaluativa del CONICET y con el desarrollo de circuitos de publicación científica. En el trayecto por los dos primeros capítulos se presenta el Programa desde sus inicios, delimitado por un incipiente rol del Estado como evaluador y en un contexto de ajuste presupuestario y reformas educativas. Fabio Erreguerena se encarga de desentrañar los procesos de elaboración, discusión e implementación de un programa que se desarrolló entre las pretensiones políticas representadas por la Secretaría de Políticas Universitarias y la defensa de los intereses docentes y de la autonomía universitaria reclamada por el Consejo Interuniversitario Nacional. Por su parte, Bekerman introduce un análisis estructural en el que destaca su particularidad en cuanto al carácter centralizado en materia administrativa y regionalizado en cuanto a su ejecución. Las consecutivas modificaciones que incorporaron mecanismos de estandarización con manuales de procedimientos y grillas de evaluación tendieron a otorgarle un carácter homogéneo a la evaluación. Sin embargo, por su pretendida implementación a nivel nacional, las evaluaciones se han concretado en un espacio universitario heterogéneo, diferenciado, principalmente, por la disímil distribución de los recursos para investigación y de capital simbólico. Esto se evidencia en los resultados de las categorizaciones, en los que la distribución histórica de los/as docentes-investigadores/as incentivados refleja asimetrías interinstitucionales, con la UBA como el bastión que ha proporcionado el grueso de los evaluadores y ha concentrado las más altas categorías.

En el tercer capítulo, Beigel expone las relaciones tensas entre las culturas evaluativas del CONICET y del PROINCE, y obliga a reflexionar sobre el proceso de surgimiento y los modelos de ciencia que ambas enarbolan. El CONICET, institucionalizado en 1958, sostiene un perfil academicista e internacionalizado, su cultura evaluativa promueve una productividad abundante y resalta su perfil altamente meritocrático. En contrapartida, la cultura evaluativa del PROINCE se demuestra nacionalizante y pondera la docencia como función principal de las universidades. Estas diferencias dan origen a estilos de producción y circulación del conocimiento divergentes y con ellos nacen dos principios de legitimidad que se desarrollaron en rivalidad.

En el capítulo IV, Maximiliano Salatino analiza el surgimiento y proceso por el cual las revistas pasaron de ser medios de circulación y divulgación científica a constituirse en fuentes de prestigio académico, al visibilizar las producciones mediante la citación y favorecer el diálogo con el mundo académico. En el desarrollo histórico desde las primeras revistas (1858) en adelante, en la Argentina y América Latina, este autor da cuenta de las áreas disciplinares o temáticas que inician una tradición editorial -ciencias exactas y médicas- para posteriormente, en 1980, dar lugar a las ciencias sociales y humanas. Desarrolla las características en el sistema argentino con mapas que muestran la distribución de revistas, en la que se destaca el origen marcadamente universitario y que el 34,4 % de las revistas no están indexadas. Destaca que el español sigue siendo predominante en las publicaciones, a pesar del prestigio que reviste el inglés, sobre todo en la cultura evaluativa del CONICET. La digitalización se manifiesta como forma extendida de publicar, sin que implique consecuentemente mayor acceso, al existir restricciones a la lectura del texto completo. El caso argentino, por sus variaciones en cuanto a la circulación, se mueve entre lo local, lo nacional y lo global.

La tercera parte de la obra nos adentra en “La cocina de la evaluación” de la última categorización 2016-2018 sobre la base de un trabajo empírico de tipo etnográfico, desarrollado a través de observaciones participantes durante las reuniones de evaluación y de entrevistas en profundidad realizadas a los evaluadores en todas las Comisiones Regionales que funcionaron en el país. Víctor Algañaraz, en el quinto capítulo, presenta el acto de evaluación como una práctica productora de sentidos que concede márgenes de autonomía de intervención. En este sentido, las/os evaluadoras/es toman diferentes actitudes entre la adaptación y la resistencia, que responden a factores institucionales, regionales y disciplinares. El proceso de categorización tiene como objetivo valuar y por consiguiente involucra relaciones de poder. Por un lado, se jerarquiza en torno de lo que se ha definido como excelencia y, por otro lado, funciona como un dispositivo de regulación y disciplinamiento. De las observaciones in situ se desprenden dos estilos en el proceso de evaluación. Una es vertical-estandarizada, que dispone de un actor que toma la voz cantante y las actividades se distribuyen sistemáticamente, y otra es horizontal-interpretativa, más participativa. Enseguida, el autor elabora una estratigrafía de las prácticas evaluativas desagregando en capas los indicadores de las grillas evaluativas que expresan las condiciones cuantitativas mínimas para el acceso a cada categoría. Finalmente, afirma que el Programa ha logrado la institucionalización de una metodología con criterios relativamente homogéneos de evaluación y ha promovido una cultura de tipo institucional demarcada por la aplicación de relativos márgenes de acción otorgados por la grilla evaluativa.

Osvaldo Gallardo, en el capítulo VI, indaga sobre las clasificaciones disciplinares que delimita el PROINCE, en tanto principios ordenadores de las representaciones de las/os evaluadoras/es, en relación con las identidades, diferencias y tensiones que surgen de la práctica. En este sentido, la demanda por mayor especificidad disciplinar de los criterios de evaluación es uno de los mayores reclamos entre los evaluadores. A ello se agrega la imposibilidad que se desprende de los formularios y grillas para adaptarse a las particularidades de los distintos campos disciplinares. Se destaca, en las categorías más altas, la supremacía de docentes con pertenencia a las ciencias exactas y naturales. Las tareas de evaluación se perciben como simples actos administrativos por el volumen de postulaciones a analizar en el poco tiempo del que se dispone y ante la imposibilidad de indagar sobre las producciones de las/os interesadas/os.

En el capítulo VII, Roberto Salim y Paola Bayle nos introducen en un análisis cualitativo y cuantitativo del proceso de Categorización de la Comisión Regional Centro Oeste en 2016-2018. Conformada por 16 casas de estudio, heterogéneas en cuanto a sus dimensiones y trayectorias institucionales, se expone la constitución de la Regional en consideración de aspectos como la procedencia institucional, las categorías y las áreas disciplinares. En cuanto a los resultados de la categorización, analizan la categoría obtenida en relación con la solicitada, la procedencia por Universidad y por área disciplinar, y la distribución según el sexo.

Cerrando la segunda parte, Bekerman afirma que el PROINCE instituyó una cultura evaluativa particular con aciertos y desaciertos. Entre los segundos, la autora menciona que algunos docentes que se postulan al Programa en busca de prestigio, capital simbólico, se desempeñan, al mismo tiempo, como evaluadores, siendo juez y parte en el proceso. Además, los evaluadores no son expertos en una línea disciplinar, sino que pertenecen a grandes áreas, aunque evalúan especificidades disciplinares; por otro lado, no acceden a las publicaciones de los candidatos sino sólo a datos editoriales. En suma, una serie de factores que definen un tipo de evaluación más administrativo-burocrática que cognitiva. A pesar de ello, la categorización se encuentra legitimada y extendida. El PROINCE ha combinado dos herramientas de evaluación: una, tendiente a universalizar los criterios para valorar la producción de conocimiento, y otra que busca ponderar en forma diferenciada la producción considerando las diversas identidades académicas. Coexisten así perfiles diferentes que buscan posicionarse entre las categorías superiores, moviéndose entre los puntajes de la grilla de evaluación, la cual puede favorecer a las trayectorias docentes o de producción científica, indistintamente. Se pone en funcionamiento una cultura que por un lado promueve formas tradiciones de producción científica pero que a la vez alienta perfiles orientados a la transferencia o la vinculación.

Por la envergadura del trabajo desarrollado por las/os autoras/es, esta obra es altamente recomendada para el desarrollo de estudios sobre los sistemas de evaluación científica, las culturas evaluativas y los perfiles de producción y circulación del conocimiento científico que se sustenten de una fuerte base empírica.