En general, los complementos tienen alguna funcionalidad conectada a la acción de desactivación. Esto podría ser borrar el caché, restablecer las opciones, lo que sea.
Por lo tanto, la mejor práctica es desactivarlos primero, para que tengan la oportunidad de limpiar y ejecutar cualquier funcionalidad que hayan conectado al evento de desactivación.
Ahora, si el complemento está roto y no se puede ejecutar, o si la función de desactivación hace algo que no desea o está roto en sí mismo, es posible que deba eliminarlo sin ejecutar esa funcionalidad. En mi experiencia, nada malo sucede realmente, excepto que quedan algunos archivos basura.
Sin embargo, esto puede ser diferente según el complemento, por lo que siempre debes tener cuidado con este tipo de eliminación forzada.