Casi 15 mil evaluaciones de propuestas de observación con ALMA, el proceso más competitivo a la fecha

20 Agosto, 2021 / Tiempo de lectura: 8 minutes

El nuevo ciclo de observaciones de ALMA, el Ciclo 8, ha resultado muy desafiante. La cantidad de horas de observación solicitadas en el conjunto de 12 metros fue seis veces superior al tiempo disponible. En esta compleja etapa de evaluación de propuestas se requirió un número sin precedentes de evaluadores, puesto que participaron más de mil investigadores en el marco del nuevo proceso distribuido de revisión por pares y de paneles de revisión para los programas más extensos.

El 6 de agosto pasado se dieron a conocer los resultados del llamado de 2021 para presentar propuestas para el Ciclo 8, concluyendo de esa forma un proceso iniciado con el preanuncio publicado en diciembre. Así, quedaron seleccionados 253 programas de alta prioridad que ALMA comenzará a observar en octubre próximo.

“Todo proceso de revisión depende del apoyo y el compromiso de la comunidad, que fue especialmente importante en el Ciclo 8 debido al sistema de revisión por pares distribuido y a la necesidad de celebrar reuniones de paneles virtuales”, explica el director de ALMA, Sean Dougherty. “ALMA está en deuda con la comunidad científica por todo el entusiasmo y el apoyo que recibió en este nuevo proceso”.

El Ciclo 8, que tuvo que ser pospuesto a causa de la pandemia de COVID19, fue un proceso extraordinario por distintas razones:

• Pese a las difíciles condiciones de trabajo impuestas por la pandemia, la comunidad científica presentó 1.735 propuestas que demandan más de 26.000 horas de observación con el conjunto de antenas de 12 metros, lo cual excede con creces el tiempo solicitado en los ciclos anteriores. De esa forma, el Ciclo 8, que comprende 4.300 horas de observación para el conjunto de 12 metros, resultó ser uno de los más competitivos a la fecha. 
• El proceso de revisión contó con un nivel de participación de la comunidad científica sin precedentes. Con el nuevo proceso distribuido de revisión por pares y el mantenimiento del sistema de revisión por paneles para las propuestas de observación de más de 25 horas para el conjunto de 12 metros o más de 150 horas en el Conjunto Morita (también conocido como Conjunto Compacto de Atacama o ACA), más de mil astrónomas y astrónomos ayudaron a elegir los programas del nuevo ciclo de observación de ALMA.
• Por primera vez, ALMA solicitó la presentación de propuestas doblemente anónimas, donde la identidad de los equipos postulantes se mantuvo oculta para los revisores.

• Debido a las restricciones a los viajes impuestas por la pandemia, los paneles tuvieron que reunirse de manera virtual para llevar a cabo su trabajo de revisión.

“Tomando en cuenta las considerables innovaciones al proceso de revisión, estamos realizando un análisis detallado de los resultados. Nuestro objetivo es descartar posibles sesgos y evaluar cuidadosamente los comentarios de los evaluadores y de los equipos postulantes”, señala John Carpenter, científico jefe de ALMA y líder de la reforma al proceso de revisión.  “En los próximos meses, se publicará un análisis detallado del proceso distribuido de revisión por pares”.

Proceso de revisión doblemente anónimo

En los ciclos anteriores, ALMA monitoreó cuidadosamente los resultados de los procesos de presentación de propuestas con el fin de identificar problemas sistemáticos en la clasificación de propuestas. De esa forma, el observatorio estableció un proceso de revisión doblemente anónimo con miras a evitar posibles sesgos y obtener un proceso lo más justo posible para todos los usuarios. 

“La gran mayoría de los postulantes pudo adaptarse a los nuevos lineamientos y anonimizar sus propuestas”, afirma Andrea Corvillón, líder del equipo de gestión de propuestas. “Los revisores hicieron comentarios muy positivos, pues consideran que el nuevo sistema hizo el proceso más justo y les permitió concentrarse en el contenido científico y no en el equipo postulante”.

Proceso distribuido de revisión por pares 

Tras la exitosa adopción de la revisión distribuida por pares en el Llamado Complementario del ACA en Ciclo 7, ALMA aplicó este método por primera vez en un llamado principal en el marco del Ciclo 8. En esta ocasión, 1.016 astrónomos revisaron 1.497 propuestas de hasta 25 horas de observación en el conjunto de 12 metros o 150 horas en el Conjunto Morita.

“Con el proceso distribuido de revisión por pares la comunidad llevó a cabo la impresionante cantidad de 14.960 evaluaciones en un par de meses”, celebra Carpenter. “Este proceso ha permitido además una participación mucho más amplia de la comunidad en la fase de revisión comparado con el método tradicional”.

La mayoría de los evaluadores (un 67 %) leyó 10 propuestas y algunos (un 23 %) revisaron 20. El proceso transcurrió sin percances, y muchos evaluadores elogiaron el software de revisión por su facilidad de uso. Los valiosos comentarios de los evaluadores ayudarán a mejorar el proceso en los ciclos futuros. 

Paneles de revisión

Los paneles de revisión de ALMA (ARPs) se reunieron del 21 al 25 de junio, y el Comité de Revisión de Propuestas de ALMA (APRC) se reunió del 29 de junio al 1 de julio. El resultado de estas reuniones fue una lista clasificatoria de las propuestas que no entraron a la revisión distribuída por pares y una preselección de programas de Larga Duración (más de 50 horas en el conjunto de 12 metros). Esta última fue examinada por el Comité de Revisión de Propuestas, constituido por los directores de los paneles y otros miembros.

Estadísticas y resultados

Los usuarios presentaron 1.735 propuestas por un total de 26.325 horas de observación en el conjunto de 12 metros para el Ciclo 8. Si bien el número de propuestas del Ciclo 8 fue similar al del Ciclo 7 (1.773), el tiempo de observación total solicitado fue un 37 % mayor. La tasa de sobresuscripción del Ciclo 8 fue, por lo tanto, la más alta de todos los ciclos de ALMA, con lo cual hubo que descartar muchas propuestas de excelente nivel. De manera general, un 15 % de las propuestas se aceptaron con calificación de prioridad A o B.

Por recomendación de varios comités, ALMA continuó fomentando la presentación de programas más extensos y ambiciosos en el Ciclo 8. El límite máximo en la cantidad de tiempo asignada a los programas extensos (un 15 %) fue sustituido por un piso (10 %) que representa la cantidad mínima de tiempo priorizado para propuestas de más de 25 horas en el conjunto de 12 metros.  La comunidad científica acogió con entusiasmo estos cambios. El número de programas extensos presentados aumentó a 40 en el Ciclo 8 en comparación con los 14 del Ciclo 7, y 6 de ellos fueron aceptados. Asimismo, el número de propuestas de entre 25 y 50 horas aumentó de 97 a 198.

"Comenzaremos a observar los nuevos proyectos el 1 de octubre. Estamos muy emocionados de ver los asombrosos descubrimientos que la comunidad encontrará en el Ciclo 8," dice la jefa del Departamento de Operaciones Científicas de ALMA, Elizabeth Humphreys, después de revisar el programa científico preparado para el nuevo período.

El Joint ALMA Observatory es optimista en cuanto a que este nuevo proceso reducirá los posibles sesgos y mantendrá un alto estándar en las revisiones al tiempo que reducirá considerablemente la huella de carbono del proceso.

Una versión completa de este reporte se puede descargar en el Portal de Ciencia de ALMA.

ALMA es una asociación entre ESO (en representación de sus estados miembros), NSF (EE.UU.) y NINS (Japón), junto con NRC (Canadá), MOST y ASIAA (Taiwán), y KASI (República de Corea del Sur), en cooperación con la República de Chile. El Joint ALMA Observatory es operado por ESO, AUI/NRAO y NAOJ.

Tablas y Figuras