Independientemente de que la respuesta sea válida o no, puedes reportarla para llamar la atención a los moderadores si tiene muchos comentarios o si la conversación se extiende y se separa del tema en cuestión (algo que suele ocurrir cuando hay muchos comentarios).
...Pero no es siempre necesario: los moderadores reciben notificaciones automáticas cuando una publicación (pregunta o respuesta) tiene demasiados comentarios. Cuando se alcanzan los 20 comentarios, recibimos un enlace a la publicación y una notificación como la siguiente:
Entonces revisamos la conversación, valoramos si los comentarios son necesarios para la publicación o si se deben mover a un chat (y así quitar ruido) y realizamos la acción que se considere más oportuna.
Sobre el -1, eso debería depender más de la calidad de la publicación que del número de comentarios publicados en la misma. Otra cosa sería que la respuesta no tenga sentido sin los comentarios, en cuyo caso, habría que pedirle al usuario que edite su publicación.
Puedes encontrar más información sobre ese tema en el centro de ayuda, en los artículos sobre votar positivo y negativo.