Patrón de clics del mouse (o teclado) y predicción de la actividad del usuario de la computadora

10

Basado únicamente en el patrón temporal de clics del mouse (una lista de tiempos de clics ), ¿es posible predecir la actividad del usuario de la computadora?[t1,t2,t3,…]

Por ejemplo, fuera de: trabajar vs pasar tiempo en Facebook vs mirar fotos vs jugar un juego de computadora.

Si hay más predicciones detalladas (por ejemplo, jugar StarCraft vs Counter Strike vs SimCity), también estoy interesado.

Si bien (posiblemente) se puede escuchar si alguien está jugando (debido a clics rápidos y explosivos) o viendo fotos (clics igualmente espaciados), estoy interesado si hay más hallazgos objetivos (publicaciones, investigaciones en blogs, etc.) sobre ese asunto .

EDITAR:

Estoy igualmente interesado en los clics del teclado (sin distinguir qué tecla se está presionando) o el enfoque combinado (mouse + teclado).

time-series signal-processing pattern-recognition Piotr Migdal
fuente
¿Qué pasa si juegas con el teclado? : D
nico
@nico En realidad, el patrón de los clics del teclado (sin distinguir qué tecla se toca) es igualmente interesante.
Piotr Migdal

Respuestas:

4

Gran pregunta que desearía tener tiempo para investigarme. Estoy seguro de que es manejable. ¿Tienes algún dato?

nn

Puede reducir la dimensionalidad aproximando y codificando eficientemente la trayectoria (referencias a pedido) y tomando la primera diferencia de la frecuencia del clic del mouse (es decir, si la frecuencia de los clics no está cambiando, guarde cero). También estimaría la distribución del tiempo entre llegadas de los clics para ver si puede clasificarlo.

Para un punto de salto en la literatura, vea Reconocimiento de actividad utilizando movimientos de mirada e interacciones tradicionales . Debería encontrar más clientes potenciales en las comunidades de "computación ubicua / generalizada" e "interacción humano-computadora".

Para obtener datos, sugiero generarlos usted mismo utilizando un keylogger . Sugiero pedir ayuda en un foro relacionado con la seguridad informática o la piratería. La mayoría de ellos registran el teclado, pero también puede haber algo para el mouse. De lo contrario, podría escribir su propio software .

Emre
fuente
Buenas sugerencias, pero ¿no es más apropiado un comentario en lugar de una respuesta, ya que no responde la pregunta de OP a menos que piense que el enlace que dio es una respuesta parcial?
Michael R. Chernick
La respuesta no es el enlace; son los párrafos que lo preceden: expliqué cómo abordar el problema y sugerí el vector de características. Si no proporciona una buena separación, podemos debatir los puntos más finos del algoritmo de clasificación.
Emre
Supongo que es una respuesta parcial. La presunción es que cuanto mayor es la frecuencia de los clics del mouse, mayor es la actividad. ¿Pero qué define la actividad? Cosas paasivas como la lectura pueden considerarse actividad y el desplazamiento es una actividad. Ninguno de los dos implica clics del mouse. La verdadera pregunta es que una vez que tengamos una definición clara de lo que constituye actividad, necesitamos una forma independiente de medirla y luego ver si se correlaciona con la frecuencia del clic del mouse. Probablemente sí, porque dormir frente a la computadora o mirarla da períodos de inactividad y no hace clic con el mouse.
Michael R. Chernick
Por otro lado, escribir rápido es una forma pesada de actividad, pero no implica hacer clic con el ratón.
Michael R. Chernick
@ Emre Gracias por sus sugerencias, especialmente. el artículo. Sin embargo, estoy interesado si realmente funciona (creo que sí). No tengo fecha, por lo que los enlaces a ellos también serían deseables.
Piotr Migdal