Inspirado por lo que discutimos en Instauremos una cola de revisión "triaje" para que solo las preguntas con cierto nivel entren en la página de inicio, y tratando de ver si se aumentó en tal grado la cantidad de preguntas que no llegamos a cubrirlas con la cantidad de revisores, siempre me da la impresión de que el problema central es que se bajó mucho en la calidad de las revisiones. Así que me puse a revisar datos. Un poco de scraping para agarrar todas las revisiones del mes pasado (feb 2018) y este es mi intento de llegar a analizar de forma cuanti algo que para mí es cuali. Quiero mostrar lo que veo, quizás sirva para generar una discusión interesante.
Revisiones de febrero
Esta es la base sobre la que trabajé. 6278 revisiones que, divididas según cada cola, fueron:
Pocos usuarios
Algo que salta a la vista es la fragilidad que tenemos en revisores. Si tomamos todas esas revisiones, y analizamos por usuario, tenemos que solamente 23 usuarios son los responsables del 85% del total de todas las revisiones.
* Vale aclarar que los 3 moderadores son un caso especial. El trabajo que hacen de revisión es con herramientas que no se ven en estas métricas.
Son muy pocos usuarios realmente los que se encargan de la mayor parte del trabajo. Esto habla del poco compromiso que hay... Si 1 solo usuario descansa por unas horas o unos días, el impacto es enorme.
Revisiones "malas"
Ahora, ¿qué falta en este análisis? Poder cuantificar la cantidad de revisiones "malas" (malas más allá de diferencias de opinión, malas porque están equivocadas por motivos obvios) -que sé que son muchas, en serio son muchas, pero es un análisis que me llevaría demasiado tiempo y prefiero empezar con esto. Hice una aproximación improvisada, buscando los usuarios que tienen revisiones demasiado rápidas. Esto es lo que encontré:
* Los datos de revisiones rápidas son incompletos, ya que no tengo acceso a ver el tiempo que tardaron, por lo que este número es conservador sobre la cantidad de revisiones y da un tiempo mayor al que realmente tardaron.
No creo que una revisión rápida implique que sea mala, en absoluto, pero en algún punto me pregunto cómo es que 4 usuarios se diferencian del resto, teniendo tantas revisiones con una media que llega a los 4 segundos y medio. ¿No es muy poco tiempo para evaluar una publicación?
Tardamos demasiado
Otro punto a considerar es la demora... Al estar tan frágiles en cantidad de revisores, dependemos de que esos revisores estén activos constantemente. En colas que requieren más revisores, esto hace que se tarde demasiado.
Tomemos la cola de Cierre. Ahí se ve muy fácil cómo desde septiembre-octubre del año pasado se bajó en la eficiencia de revisiones.
¿Se ve cómo nos fuimos al carajo, no? Esos picos del 2018 representan una media (desde el inicio del año) de 6576 minutos hasta concluir una revisión de cierre. Es decir, en promedio ¡tardamos 4.6 días en evaluar si se cierra una pregunta o no!
En fin, estoy un poco preocupado por la calidad, la fragilidad y la demora en las revisiones. Quería ver las opiniones sobre esto, si creen que hay algo más a tener en cuenta, o qué les parece en general.
/review/close
y no a una cola de moderador o a cierres directos en una publicación?/review
. Sin embargo puse ese asterisco por los reportes, y porque se espera que en cierto grado no actúen al igual que otros revisores debido a que tienen un voto final / vinculante. Sirve para ver algunas de sus acciones, pero sería injusto compararlos con otros usuarios sin tener en claro este concepto. Por ejemplo, lois6b estaba entre los que más revisaba de todo el sitio hasta que fue electo.