15

Inspirado por lo que discutimos en Instauremos una cola de revisión "triaje" para que solo las preguntas con cierto nivel entren en la página de inicio, y tratando de ver si se aumentó en tal grado la cantidad de preguntas que no llegamos a cubrirlas con la cantidad de revisores, siempre me da la impresión de que el problema central es que se bajó mucho en la calidad de las revisiones. Así que me puse a revisar datos. Un poco de scraping para agarrar todas las revisiones del mes pasado (feb 2018) y este es mi intento de llegar a analizar de forma cuanti algo que para mí es cuali. Quiero mostrar lo que veo, quizás sirva para generar una discusión interesante.

Revisiones de febrero

Esta es la base sobre la que trabajé. 6278 revisiones que, divididas según cada cola, fueron:

C: Cierre; LA: Respuestas tardías; LQ: Baja Calidad; R: Reapertura; FP: Primeras publicaciones; SE: Ediciones sugeridas


Pocos usuarios

Algo que salta a la vista es la fragilidad que tenemos en revisores. Si tomamos todas esas revisiones, y analizamos por usuario, tenemos que solamente 23 usuarios son los responsables del 85% del total de todas las revisiones.

23 usuarios con más revisiones

* Vale aclarar que los 3 moderadores son un caso especial. El trabajo que hacen de revisión es con herramientas que no se ven en estas métricas.

Son muy pocos usuarios realmente los que se encargan de la mayor parte del trabajo. Esto habla del poco compromiso que hay... Si 1 solo usuario descansa por unas horas o unos días, el impacto es enorme.


Revisiones "malas"

Ahora, ¿qué falta en este análisis? Poder cuantificar la cantidad de revisiones "malas" (malas más allá de diferencias de opinión, malas porque están equivocadas por motivos obvios) -que sé que son muchas, en serio son muchas, pero es un análisis que me llevaría demasiado tiempo y prefiero empezar con esto. Hice una aproximación improvisada, buscando los usuarios que tienen revisiones demasiado rápidas. Esto es lo que encontré:

4 usuarios destacados con revisiones rápidas, anonimizado

* Los datos de revisiones rápidas son incompletos, ya que no tengo acceso a ver el tiempo que tardaron, por lo que este número es conservador sobre la cantidad de revisiones y da un tiempo mayor al que realmente tardaron.

No creo que una revisión rápida implique que sea mala, en absoluto, pero en algún punto me pregunto cómo es que 4 usuarios se diferencian del resto, teniendo tantas revisiones con una media que llega a los 4 segundos y medio. ¿No es muy poco tiempo para evaluar una publicación?


Tardamos demasiado

Otro punto a considerar es la demora... Al estar tan frágiles en cantidad de revisores, dependemos de que esos revisores estén activos constantemente. En colas que requieren más revisores, esto hace que se tarde demasiado.

Tomemos la cola de Cierre. Ahí se ve muy fácil cómo desde septiembre-octubre del año pasado se bajó en la eficiencia de revisiones.

Cola de cierre - demora media diaria, segmentado en semanas

¿Se ve cómo nos fuimos al carajo, no? Esos picos del 2018 representan una media (desde el inicio del año) de 6576 minutos hasta concluir una revisión de cierre. Es decir, en promedio ¡tardamos 4.6 días en evaluar si se cierra una pregunta o no!


En fin, estoy un poco preocupado por la calidad, la fragilidad y la demora en las revisiones. Quería ver las opiniones sobre esto, si creen que hay algo más a tener en cuenta, o qué les parece en general.

24
  • 1
    Hey yo no salgo en la gráfica de revisores, por alguna extraña razón todas mis estadísticas se quedaron congeladas, por ejemplo siempre tengo 800 en "Votos de cierre"
    – Jorgesys Moderador
    Commented el 14 mar. 2018 a las 21:14
  • 1
    Mi opinión, que ya he expresado anteriormente, es que en los sitios en otros idiomas somos ciudadanos de segunda. Y en SOes en particular somos excesivamente elitistas y restrictivos en cuanto a qué se puede preguntar. Sigo aquí porque no conozco alternativa mejor, y en inglés dudo mucho que la llegue a haber a corto plazo. Pero en español lo ideal sería un sitio hecho por hispanoparlantes para hispanoparlantes. Commented el 14 mar. 2018 a las 23:15
  • @Jorgesys Es el top 85% por cantidad de revisiones. El corte está hecho con 70 o más revisiones y tuviste 17 en total en febrero. Las colas de moderador no están incluidas. No tengo acceso a esos datos. Algunas estadísticas quedan congeladas siendo moderador, no recuerdo cuáles exactamente.
    – Mariano
    Commented el 15 mar. 2018 a las 0:47
  • Gracias @Mariano lo curioso es que las estadísticas de Lois y Alvaro si cambian, ya revise y no estoy "banned", creo que pediré ayuda con respecto a esto a instancias de grandes vuelos.
    – Jorgesys Moderador
    Commented el 15 mar. 2018 a las 0:54
  • @Jorgesys ¿estás seguro de que te estás refiriendo a revisiones realizadas desde /review/close y no a una cola de moderador o a cierres directos en una publicación?
    – Mariano
    Commented el 15 mar. 2018 a las 0:58
  • 3
    @Jose Si el problema fuese que somos demasiado elitistas, se vería una demora mucho menor en cierres, y no una media de 4.6 días para cerrar una pregunta. Sin embargo, eso correspondería más a un análisis cuali de cuál se cerro bien y cuál no, que me encantaría hacer, pero aclaré que no estoy haciendo por cuestiones prácticas (de tiempo que llevaría).
    – Mariano
    Commented el 15 mar. 2018 a las 1:07
  • 1
    Yo creo que esto se debe a que bastantes usuarios están aquí solo por los puntos, de ahí viene la falta de interes por revisar las colas, hay ~800 usuarios que tienen acceso a las colas de revisión, pero como bien dices solo hay 23 que se encargan del 85% de las revisiones, ¿Por qué? porque las revisiones no otorgan puntos
    – user22721
    Commented el 15 mar. 2018 a las 2:02
  • 1
    No digo que esté mal, digo que por eso puede ser que nadie vaya mas allá de responder y preguntar. Ese es otro punto que iba a tocar, si me gustaría que exista un post en meta o algo en algún lugar diciendo como hacer una buena revisión, yo me baso en la "ayuda" que sale mientras se hace una revisón y trato de siempre ser amable para no espantar a los usuarios nuevos, pero hasta ahora no se si mis revisiones son buenas o malas
    – user22721
    Commented el 15 mar. 2018 a las 2:34
  • 4
    @KacosPro totalmente de acuerdo. En la pregunta de Triage que dio origen a esta, me pareció que el primer paso tenía que ser documentar mejor qué hacer en cada cola. Y sin duda hay que votar pronto, votar con frecuencia. Actualmente, SOes tiene uno de los más bajos ratios de votos por publicaciones de toda la red.
    – Mariano
    Commented el 15 mar. 2018 a las 5:31
  • 2
    Tremendo e interesantísimo análisis Mariano. Hay tanto para analizar ahi... Por un lado,totalmente de acuerdo en el tema de cierre de preguntas. Somos extremadamente lentos, y hablo de preguntas claramente merecedoras de la puesta en espera. Por otro lado, en cuanto a la calidad de la moderación, hace tiempo que ya se habló de habilitar los audits en las colas, algo que me parece mas importante aun que habilitar la cola de triaje
    – Pikoh Moderador
    Commented el 15 mar. 2018 a las 9:23
  • 1
    P.D, soy yo usuario2? ;)
    – Pikoh Moderador
    Commented el 15 mar. 2018 a las 9:29
  • 1
    Gracias @Pikoh. Sí, creo que una vez que ordenemos y documentemos un poco las revisiones sería momento para pensar en audits... Y no, serías "Usuario 6", con un 4.7% de tus revisiones consideradas como "rápidas" (<7 seg).
    – Mariano
    Commented el 15 mar. 2018 a las 10:07
  • 1
    @fedorqui Es cierto. Acá aparece lo que hayan hecho en /review. Sin embargo puse ese asterisco por los reportes, y porque se espera que en cierto grado no actúen al igual que otros revisores debido a que tienen un voto final / vinculante. Sirve para ver algunas de sus acciones, pero sería injusto compararlos con otros usuarios sin tener en claro este concepto. Por ejemplo, lois6b estaba entre los que más revisaba de todo el sitio hasta que fue electo.
    – Mariano
    Commented el 15 mar. 2018 a las 11:09
  • 5
    @Mariano claro, claro, y de hecho es deseable que los moderadores no transiten demasiado las colas y solo actúen en casos en los que se ahorre tiempo ante una decisión sin discusión. Para el resto de casos es mejor que se abstengan para que la decisión sea colegiada.
    – fedorqui
    Commented el 15 mar. 2018 a las 11:19
  • 1
    @Mariano Increíbles gráficas. La verdad que me parecen super interesantes. ¡Gracias! Por otro lado, tengo que decir que yo cuando empecé en Stackoverflow en inglés, no sabía de la existencia de meta ni de las colas de revisión hasta más de medio año después. Creo que, en especial, meta y el chat, están bastante escondidos. Yo, de hecho, los descubrí por casualidad :$ Creo que si estuvieran más a la vista quizá la gente participaba más activamente. También necesitamos fidelizar gente, en Stackoverflow en inglés llevan muchos años ya para eso... Commented el 21 mar. 2018 a las 21:12

1 respuesta 1

6

Usuarios con 3000+ de reputación

A raíz del comentario de gbianchi, esta es la comparación de las mismas métricas, filtrando exclusivamente los usuarios que tienen acceso a todas las colas de revisión (3000+).

Cantidad porcentual de revisiones según usuarios de más o menos de 3000, para todas las colas y sólo FP y LA

  • Los revisores con 3000+ se encargaron del 61% de todas las revisiones, pero sólo participaron en el 14% del total de revisiones de Primeras publicaciones y Respuestas tardías.


Mostrando diferencias en la distribución según el tipo de cola.

Cantidad de revisiones por tipo de cola, para menos y 3000+

  • Es de esperarse que aumente la proporción de cierre, ya que son los únicos que pueden revisar, pero se observa una disminución importante en Primeras publicaciones.


De los 58 usuarios con 3000+, el 45% (26 usuarios) participó de al menos 4 revisiones en el mes:

Reviones por tipo para cada usuario con 3000+ que tuvo 4+ revisiones

Debes iniciar sesión para responder a esta pregunta.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta .