Recopilar métricas sobre objetos$n$$k$

Supongamos que recopilo métricas sobre objetos. Estoy buscando formas válidas de comparar los objetos para que puedan "clasificarse". Creo que esto puede ser un terreno bien pisado (estadísticas deportivas como la calificación total de mariscal de campo, etc.) pero no estoy familiarizado con esta área.$n$$k$$k$

Quiero responder a la pregunta ¿qué objeto es el mejor ?

Información sobre las métricas recopiladas

Para cada métrica $m_i$ , donde $i$ varía de $1 \leq i \leq n$ , la puntuación para la métrica $m_i$ varía de $[0, r_i]$ . Tenga en cuenta que algunas de estas métricas tendrán máximos teóricos como $100\%$ por ciento, otras $r_i$ serán la puntuación máxima recopilada en la muestra (por ejemplo, velocidad máxima, altura, etc.).

Normalización / estandarización de las puntuaciones métricas

Mi intuición es normalizar primero todas estas puntuaciones entre $[0,1]$ , de modo que cada puntuación contribuya igualmente a la puntuación general, que se calculará más adelante.

Es decir, para cada métrica $m_i$ la puntuación para esa métrica sería $\frac{m_i}{\text{max}(r_i)}$ , donde $\text{max}(r_i)$ es la puntuación máxima para esa métrica en la muestra. Mi intuición no me permite confiar en que esto es válido, así que esa es mi pregunta 1: ¿ es válido este procedimiento de normalización?

Also for each question the implicit question is I am probably completely wrong, what resources and topics should I be studying?

Ponderar las métricas para mi comparación general

Supongamos además que deseo ponderar algunas métricas sobre otras. Me parece que hay algunos enfoques, pero esbozaré uno que estoy tratando de aproximar.

Estaba pensando que un método posible sería hacer una comparación por pares para cada métrica, y preguntarle a cada comparación: si que ver una reducción del en la métrica , cuánto de un aumento en la métrica compensaría esa reducción ? $10\%$$m_i$$m_j$Si las parejas no tienen una influencia real entre sí, ¿podría calificar esto como un tal vez?$0$

Terminaría con una tabla de valores para mis ponderaciones, llena de comparaciones por pares de esta naturaleza. Pregunta 2: ¿Tendría que ser coherente cuando compare v y v ? ¿O podrían ser no simétricos? Es decir, si digo que una reducción del en debe explicarse por un aumento del en , ¿puedo decir que una reducción del en debe explicarse por un aumento del en ? ¿Sería esto válido?$m_i$$m_j$$m_j$$m_i$$10\%$$m_i$$20\%$$m_j$$10\%$$m_j$$50\%$$m_i$

¿Quizás podría tomar un promedio de cada columna y tener eso como mi ponderación para la métrica?

Parecería a mí que un sistema de ponderación como este sería cuantitativamente decir cosas como "para mí objeto de valor objeto sobre , cuando 's métrica es 10% menos que ' s , necesito ver al menos una ganancia del en la métrica "$a$$b$$b$$m_i$$a$$m_i$$20\%$$m_j$ .

Pregunta 3: ¿Qué pasaría si tuviera que comenzar a incluir consideraciones más complejas para que las comparaciones o compensaciones sean no lineales? O comparaciones mutlivariables? ¿Quizás algunos puntajes deberían ser negativos, etc.?

La pregunta esencial Realmente me gustaría saber sobre qué temas y libros debería estar leyendo para poder responder a este tipo de preguntas.

Gracias

Impresionante pregunta.

Pregunta 1 :

Abordo este problema usando desviaciones estándar ( ) para crear una escala estandarizada donde es el número de desviaciones estándar de la media ( ) y es la desviación estándar.$n\sigma$$n$$\mu$$\sigma$

Usaré un ejemplo de un agente del centro de llamadas que realiza llamadas. Aquí hay una posible forma de definir la escala usando :$n$

• $m_+ = n$ : métricas que desea maximizar. Relación directa, así como aumenta, también lo hace el puntaje, mientras disminuye, el puntaje baja. Ejemplo: número de ventas.$n$$n$
• $m_-$ = -n: Métricas que desea minimizar. Relación inversa para que disminuya la puntuación aumenta. Ejemplo: número de errores cometidos en una llamada.$n$
• $m_{\mu} = -\lvert n\rvert$ : Métricas que desea lo más cercanas posible a la media. A medida que se aleja de la media en cualquier dirección, la puntuación baja. Una puntuación perfecta es 0, en la mediana. Ejemplo: # de mensajes de voz / bloqueos / solicitudes de no llamada que recibió un agente (debe distribuirse equitativamente).$n$

Luego tiene una escala que es independiente de las unidades de medida, tamaño / amplitud, etc. Luego, puede normalizar fácilmente la escala anterior desde donde siempre es lo peor y siempre es lo mejor. Entonces cada métrica normalizada se convierte en: , $[0, 1]$$0$$1$$\overline m_+$$\overline m_-$ y $\overline m_{\mu}$

Entonces la solución simple ($f_s$) se convierte en:

$$f_s = \sum \overline m_+ + \sum \overline m_- + \sum \overline m_{\mu}$$

Pregunta 2

Con la solución anterior para $f_s$ Agregar pesos asimétricos ($W$) nos da la solución ponderada $f_w$. Cada uno se puede pesar multiplicando cada una de las métricas por el peso:

$$f_w = \sum\limits_{j_+} (W_{+1}* \overline m_{+1} + W_{+2}* \overline m_{+2} ... W_{+j_+}* \overline m_{+j_+}) + \sum\limits_{j_-} (W_{-1}* \overline m_{-1} + W_{-1}* \overline m_{-2} ... W_{-j}* \overline m_{-j_-}) + \sum\limits_{j_\mu} (W_{\mu1}* \overline m_{\mu1} + W_{\mu2}* \overline m_{\mu2} ... W_{\mu j}* \overline m_{\mu j_\mu})$$

O más sucintamente:

$$f_w = \sum\limits_{j_+} W_{j_+} * \overline m_{+j_+} + \sum\limits_{j_-} W_{j_-} \overline m_{-j_-} + \sum\limits_{j_\mu} W_{j_\mu} \overline m_{\mu j_\mu}$$

Ahora tiene una puntuación que puede tener en cuenta los pesos individuales, minimizando las métricas, maximizando las métricas y las métricas que desea cerca de la media.

Pregunta 3

Ejemplo

Ahora que tienes tu puntaje $f_w$nuevamente puede normalizarlo y multiplicarlo contra un peso si desea una unidad de medida. Siguiendo el ejemplo del agente del centro de atención telefónica: * agente 1: 1 venta, registrado durante 30 minutos * agente 2: 5 ventas, registrado durante 5 horas * agente 3: 12 ventas, registrado durante 4 horas

Elegir sus métricas es muy, muy importante.

Mal ejemplo: solo ventas

$\mu = \frac{1 + 5 + 12}{3} = 6$

$Var(f_w) = \frac{5 + 1 + 6}{3} = 4$

$\sigma = \sqrt{Var(f_w)} = \sqrt 4 = 2$

Entonces ahora necesitamos el número de desviaciones estándar:

• $a_1 = -2.5 \sigma$ lejos de la media
• $a_2 = -0.5 \sigma$ lejos de la media
• $a3 = +3 \sigma$ lejos de la media

Entonces, la clasificación de la pila de mejor a peor sería a3, a2, a1. El problema es que el agente 2 ha sido pagadero / facturable durante mucho más tiempo y es realmente lo peor. Por lo tanto, debe tener cuidado al elaborar las métricas para asegurarse de que tengan el efecto deseado. En el ejemplo anterior, sería mejor adoptar un enfoque de ventas / hora como métrica y luego multiplicar al final por cuánto tiempo el agente ha estado haciendo llamadas.

Mejor ejemplo: ventas / hora

Ventas por hora:

• $a_1 = \frac{1}{\frac{1}{2}} = 2$
• $a_2 = \frac{5}{5} = 1$
• $a_3 = \frac{12}{4} = 3$

$\mu = \frac{ 2 + 1 + 3}{3} = 2$

$Var(f_w) = \frac{0 + 1 + 1}{3} = \frac{2}{3}$

$\sigma = \sqrt \frac{2}{3} \approx 0.82$

Entonces, en este caso, los agentes tienen lo siguiente $n$ desviaciones estándar de $\mu$:

• $a_1 = 0 \sigma$
• $a_2 \approx -1.2 \sigma$
• $a_3 \approx 1.2 \sigma$

Así que ahora están en el orden correcto, pero aún no tenemos un indicador de cuánto problema es ese agente $a_2$está rezagado Es más un problema porque ese agente ha estado conectado durante un período de tiempo más largo. Entonces agregando un peso$W$ del tiempo de inicio de sesión le ofrece lo siguiente:

• $a_1 = 0$
• $a_2 \approx -1.2 * 5 \approx -6.12$
• $a_3 \approx 1.2 * 4 \approx 4.90$

Ahora puede normalizar estos números para compararlos con otras métricas de la misma manera. Como puedes ver,$a_1$ lo está haciendo bien, $a_3$ está haciendo lo mejor y $a_1$en el escenario está muy rezagado. Estos son los resultados que esperarías. Este número ahora retrata:

1. calidad (del agente)
2. severidad (para el negocio)

Esta no es la única forma de resolver problemas de análisis de decisiones con criterios múltiples, pero es una forma muy práctica. Por lo que entiendo, este método se llama "Programación de objetivos" y es una forma bastante directa de llegar a conclusiones sobre problemas complejos.

Para más información ver Charnes, A. y Cooper, WW (1961). Modelos de gestión y aplicaciones industriales de programación lineal. Nueva York: Wiley.