10

Muchas gracias a @Pikoh por la traducción.


El objetivo de nuestra comunidad es crear un mundo en el que, para cualquier consulta en un motor de búsqueda, los resultados de la búsqueda muestren un enlace a una respuesta detallada en el idioma español.

Para hacer realidad este mundo deseado, juntos estamos creando una base de conocimiento libre de la comunidad en español. El camino hacia una meta tan grande es sinuoso y difícil; existe la posibilidad de perderse. Creo que necesitamos un punto de referencia que nos ayude a no desviarnos del camino correcto.

Pensemos, ¿qué métricas de la comunidad pueden guiarnos hacia nuestra meta?

¿Qué se debe considerar al elegir métricas?

Podemos usar cualquier información disponible para las métricas, sin necesidad de limitarnos a las métricas existentes. Por otro lado vale la pena mencionar:

  • Cuantas menos métricas usemos, mejor. La mejor opción sería crear una sola métrica para rastrear nuestro progreso general. Por otro lado, el sistema tiene varios aspectos importantes que son muy difíciles de medir juntos.
  • Las métricas deben ser interpretables. El objetivo de estas métricas es mostrar de manera sencilla cómo nuestros esfuerzos están logrando el cambio: qué está funcionando bien y a qué debe prestar más atención la comunidad. Cuanto más fácil sea asociar la evaluación numérica de un proceso en la comunidad con la acción necesaria para mejorar, mejor.
  • Las métricas deben ser universales. Sería genial poder ver la misma métrica en diferentes sitios para comprender si nuestras iniciativas están funcionando o deberían mejorarse.

Métricas clave: Comunidad, Calidad, Cantidad

Para tener una buena idea del estado general de la comunidad, veo tres áreas en las que podemos usar métricas específicas:

  1. Comunidad. ¿Que tan cómodos están los usuarios en la comunidad? ¿Son activos en el sitio (preguntas y respuestas, votaciones, etc.)? ¿Quieren invitar a sus colegas? ¿Estos colegas quieren unirse a la comunidad?
  2. Calidad. ¿Cuanto de útil e interesante es el conocimiento que creamos para los usuarios y los desarrolladores de habla hispana en general?
  3. Cantidad. ¿A qué velocidad está creciendo la base de conocimiento? ¿Qué preguntas que se necesitan no se encuentran en la base de conocimientos?

¿Qué métricas quieres ver?

Comparte con la comunidad las métricas que te gustaría usar para hacer un seguimiento del progreso. ¿Cómo calculamos estas métricas? ¿Qué datos debemos usar para medirlos?

Por favor, publica solo una métrica por respuesta para evitar confusiones. Trataré de implementar las mejores métricas propuestas para cada una de las secciones (comunidad, calidad, cantidad) y las pondré a disposición de todos.

10
  • Veo interesante y comprendo el texto de Nicolas, pero no entiendo cuales son las respuestas deseadas. ¿Lo que se necesita es lo que se escribio bajo el titulo "Metricas clave:..."? Por ejemplo, "¿Cómo de cómodos están los usuarios en la comunidad?" seria una métrica increíblemente buena! Es decir, si tenemos una herramienta que nos diga "La comodidad media de los usuarios en este mes de de 87.56%" seria un sueño hecho realidad. El único problema es que es imposible de medir, porque yo siento muy cómodo el hecho de que sigan las reglas y se cierren preguntas que no son buenas, pero Commented el 23 may. 2019 a las 14:55
  • el usuario que hizo la pregunta que cerraron, se va a sentir extremadamente incomodo. Y entonces, ¿la comodidad de quien tomamos en cuenta para mejorar? Pues, eso solo es un ejemplo realmente. Mi punto, ¿Es ese tipo de cosas que debemos sugerir? Y si las métricas deben ser universales, me parece que... es algo en lo que StackExchange debería estar trabajando arduamente, incluso talves contratar algún analista a tiempo completo para hacerlo, porque es algo difícil. Commented el 23 may. 2019 a las 14:57
  • 1
    @alanfcm puedo preguntarte el motivo de tu edición? Suena mal "Cómo de cómodos" en tu país? Porque aqui en españa creo (o al menos a mi) si me suena mal Que tan.. :)
    – Pikoh Moderador
    Commented el 23 may. 2019 a las 16:00
  • Correcto, para mi suena un poco mas natural mi edicion, pero eres libre de revertirla.
    – alanfcm
    Commented el 23 may. 2019 a las 16:21
  • @Pikoh, pensaba comentar también esa traducción, al menos en Argentina, suena raro decir "Cómo de cómodos", más bien se dice "Qué tan cómodos" o "Cuán cómodos" Commented el 23 may. 2019 a las 16:45
  • @alanfcm no pensaba revertir, era genuina curiosidad. Aqui en España es muy poco común "Qué tan..", de ahí mi pregunta :)
    – Pikoh Moderador
    Commented el 23 may. 2019 a las 17:01
  • 3
    @PatricioMoracho es otra de las pruebas de la riqueza de nuestro idioma. Lo bueno es que a pesar de que nos suene mejor o peor, todos podemos entender ambas expresiones.
    – Pikoh Moderador
    Commented el 23 may. 2019 a las 17:02
  • @Pikoh, absolutamente! Commented el 23 may. 2019 a las 17:03
  • @Pikoh ¿Cómo te parece publicar una nueva pregunta sobre esta curiosidad (cuán/cómo de/qué tan cómodos) a nuestro sitio hermano dedicado a Spanish Language?
    – tchrist
    Commented el 19 ago. 2019 a las 14:16
  • @tchrist me parece una muy buena idea. Aunque creo que es simplemente una cuestión regional como hemos comentado :)
    – Pikoh Moderador
    Commented el 19 ago. 2019 a las 14:19

5 respuestas 5

6

Lo que no se define no se puede medir. Lo que no se mide, no se puede mejorar. Lo que no se mejora, se degrada siempre. Lord Kelvin

Partiendo del punto que las métricas nos darán la referencia para mejorar, consideremos el criterio SMART como guía para definir una:

  • eSpecificos Medibles Alcanzables Relevantes Temporales

En mi caso, respecto al área Comunidad propongo la siguiente métrica:

Cantidad de usuarios nuevos que se convierten en miembros activos de la comunidad.

La idea es que si los resultados a lo largo de los años son iguales, o peor aún, decrecen, buscar que está haciendo que estos usuarios nuevos no se queden y/o no aporten.

8
  • 1
    Me parece una muy buena medición. Habría probablemente que definir los criterios para considerar "activo" a un usuario, pero me parece una medida relevante y factible técnicamente.
    – Pikoh Moderador
    Commented el 23 may. 2019 a las 17:06
  • Disculpa,no había seguido el enlace de "activo" (estoy ahora desde mi telefono) pero diría que activo referido a esa medalla se consideraría simplemente que haya alcanzado los 200 puntos en un año desde la creación del usuario. Tal vez podríamos refinar esa definición de "activo"
    – Pikoh Moderador
    Commented el 23 may. 2019 a las 17:09
  • 1
    Me parece una idea muy buena, pero me surgen varias preguntas. Básicamente, la propuesta dice que si un usuario no alcanzo 200 de reputación en un año, no es activo. ¿Cual seria el porcentaje de un "resultado" bueno? ¿50% de los usuarios nuevos con la medalla Añejo a un año de la creación de su cuenta? ¿Que hacemos si los usuarios no llegan a ese punto? ¿Les animamos a que traten de obtener reputación porque si no no los vamos a considerar activos? (1/2) Commented el 23 may. 2019 a las 17:40
  • En mi caso, no se si voy a obtener esa medalla en este año, probablemente si. Sin embargo, aparte de la reputación, visito el sitio muy frecuentemente, obtuve mi primera medalla de oro por una cola de revisiones, voto frecuentemente, dejo comentarios tratando de ayudar por todas partes y participo en Meta. Y me parece que otros podrían estar en una situación similar a la mía. En mi opinión, aquí es donde la definición de "activo" empieza a ser difícil. No me tomen a mal, la propuesta me parece excelente, pero me gustaría que se hiciera bien y el debate siempre es bueno. (2/2) Commented el 23 may. 2019 a las 17:40
  • Me parece una excelente métrica, aunque quizás habría que cambiarle el nombre a usuarios nuevos que aportan conocimientos. Desde mi punto de vista, es una forma de medir un aspecto concreto, susceptible de mejora (dicho aspecto).
    – Trauma
    Commented el 23 may. 2019 a las 17:51
  • 1
    @Kenny Barrera , Pikoh: ese es un problema que también enfrenté: ¿cómo definir un usuario activo? Lo más cercano que encontré fue la medalla, pero como mencionas, también se puede ser activo apoyando con actividades del sitio. Podríamos tener dos métricas: "Usuarios nuevos que se convierten en miembros que aportan conocimiento" como indicaTrauma y "Usuarios nuevos que se convierten en miembros que participan en el sitio".
    – JYass
    Commented el 23 may. 2019 a las 21:32
  • 1
    Me gusta el uso de la medalla añejo porque es algo que existe desde que se creo el sitio y existe en todos los sitios Stack Exchange a esta métrica podrían acompañarla otras como por ejemplos como el número de "acciones" que abarque comentarios, votos, publicaciones, reportes, revisiones (incluyendo hacer clic en omitir). Esto último me parece que no sería complicado de implementar pues toda la información está en el perfil de los usuarios.
    – Rubén
    Commented el 25 may. 2019 a las 16:47
  • La medalla de Añejo por sí sola no es una buena referencia para medir un usuario activo. Por ejemplo, yo la voy a estar recibiendo todos los años por los siguientes 200 años... ¡incluso si no me conecto y no hago nada! Debería combinarse con otras métricas como sugieren otros usuarios.
    – Alvaro Montoro Moderador
    Commented el 27 may. 2019 a las 16:08
5

Creo que sería bueno ver cuánta rotación hay en usuarios activos.

Si uno mira conversaciones en Meta de hace un par de años, descubre nombres de usuarios que ahora mismo ya no participan. Si bien es bueno y necesario que entre nueva gente, se echa en falta más consistencia a la hora de fidelizar a los usuarios más participativos.

Por tanto, sugiero conocer la métrica de cuánta gente es verdaderamente activa en el sitio y cómo fluctúa el número y las personas, tanto respondiendo como revisando y participando en Meta.

5

Antigüedad de los usuarios aportantes.

Teniendo en cuenta que lo ideal es que cada pregunta tenga una o más respuestas, si restamos las respuestas de las preguntas el índice ideal debería ser mayor o igual a cero.

Esto a priori no aporta nada nuevo respecto a métricas ya conocidas, salvo que se le dé una dimensión histórica1:

  • ¿Cuál es la antigüedad mínima para que un usuario, de media, responda tanto o más como pregunte (tenga un índice de aportación mayor o igual a 0)?

En SOes ese valor está alrededor de los 25 meses:

Estadística de antigüedad SOes.

Eje vertical: Respuestas menos Preguntas, en miles. Eje horizontal: Meses del usuario en el sitio.


Mientras que en SOen el valor está sobre los 32 meses:

Gráfica estadística SOen.

Eje vertical: Respuestas menos Preguntas, en miles. Eje horizontal: Meses del usuario en el sitio.


Esto significa que en SOes nuestros usuarios "maduran" antes :)


1.

SELECT
  Meses,
  (Respuestas - Preguntas) Indice
FROM
  (
    SELECT
      DATEDIFF(MONTH, CreationDate, GETDATE()) Meses,
      SUM([1]) Preguntas,
      SUM([2]) Respuestas
    FROM
      (
        SELECT
          *
        FROM
        (
          SELECT
            OwnerUserId,
            PostTypeId,
            COUNT(*) Posts
          FROM
            Posts
          WHERE
            OwnerUserId is not null and
            PostTypeId in (1, 2)
          GROUP BY
            OwnerUserId, PostTypeId
        ) SOURCE
        PIVOT (SUM(Posts) FOR PostTypeId in ([1], [2])) PT
      ) Indices
    LEFT JOIN
      Users
    ON
      Indices.OwnerUserId = Users.Id
    GROUP BY
      DATEDIFF(MONTH, CreationDate, GETDATE())
  ) SOURCE
WHERE
  MESES > 0
4
  • 1
    entiendo que defines "aportantes" como aquel que responde. Si es el caso, no sé si estoy de acuerdo: tanto aporta quien pregunta como quien responde.
    – fedorqui
    Commented el 27 may. 2019 a las 10:42
  • Aportar aportan todos, pero lo ideal es que todas las preguntas tengan respuestas (el sitio es menos útil si hay muchas preguntas sin responder), por ello hay que valorar el momento en que un usuario pasa a de tener un índice menor que cero (pregunta más de lo que responde) a tener un índice mayor que cero (responde más de lo que pregunta). Commented el 27 may. 2019 a las 10:45
  • La métrica de respuestas por pregunta es potente, de hecho se usa en Area 51 para medir la calidad de un sitio. En SOes estábamos en 1,8 al final de Beta (más info sobre la métrica en este hilo). Ahora, que "saltar" de más preguntador a más respondedor sea síntoma de calidad no tiene porqué ser bueno, simplemente depende de las casuísticas de cada uno. No lo veo como métrica, vaya.
    – fedorqui
    Commented el 27 may. 2019 a las 10:50
  • La métrica de respuestas por pregunta es la que indico que hay que dar dimensión histórica, a mi me parece interesante saber cuándo los usuarios del sitio cambian del estado de preguntadores a respondedores, de ahí mi sugerencia. Commented el 27 may. 2019 a las 10:52
4

Desde siempre (al menos desde que puedo acceder a tareas de revisión) he detectado que hay muchas preguntas/respuestas a revisar por falta de contenido o estar mal formuladas, entonces se me ocurre que sería interesante saber, la cantidad de preguntas/respuestas nuevas que acaban siendo cerradas/eliminadas por todos los tipos de tareas de revisión que se llevan a cabo en SOes.

Creo que esta métrica nos ayudaria a hacernos una idea de la cantidad de contenido que se acaba "eliminando" de la comunidad y ,a la par, detectar si hay algun fallo en la manera de guiar al usuario a realizar dichas preguntas/respuestas.

2
  • No todas las preguntas cerradas son eliminadas, por ejemplo, las que cuetnas on una puntuación positiva propia o de una respuesta se mantienen. P.D. las respuestas no pueden ser cerradas :)
    – Rubén
    Commented el 25 may. 2019 a las 16:36
  • @Rubén Como respuestas cerradas me refiero a respuestas eliminadas por moderación también. En el caso de las respuestas cerradas con puntuación positivas, siguen siendo preguntas cerradas, lo que no se eliminan por la excepción de la puntuación, asi que se podrían incluir en la métrica.
    – Marc
    Commented el 28 may. 2019 a las 6:04
3

Calidad, cuan útil e interesante es el contenido de SOes

  • Cantidad de vistas

Lo anterior es el indicador más simple que podríamos tener. Se podrían usar cosas más sofisticadas como rebotes, tiempo que pasan los usuarios en el sitio y demás sugeridos de forma general por herramientas como Google Analytics.

Los supuestos de este indicador son que el sitio mantiene una buena participación de los usuarios establecidos quienes moderan el sitio, votando y reportando contenido inadecuado.

A este indicador habría que acompañarlo con otros indicadores que confirmen que los supuestos están ocurriendo y no son sólo intenciones además de otros para identificar y en su caso descartar vistas provocadas por situaciones anormales previsibles. Las no previsibles se tratarían caso por caso como parte del plan de contingencia y corrección.

1
  • 1
    Me pregunto si el primer voto negativo es el usual o fue porque la primera revisión carecía de explicación alguna y por ende no era clara. En cualquier caso, bienvenidos los votos :)
    – Rubén
    Commented el 25 may. 2019 a las 16:33

Debes iniciar sesión para responder a esta pregunta.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta .