Tengo una base de datos que contiene una gran cantidad de expertos en un campo. Para cada uno de esos expertos, tengo una variedad de atributos / puntos de datos como:
- Número de años de experiencia.
- licencias
- cantidad de comentarios
- contenido textual de esas revisiones
- La calificación de 5 estrellas en cada una de esas revisiones, para una serie de factores como la velocidad, la calidad, etc.
- premios, asociaciones, conferencias, etc.
Quiero proporcionar una calificación a estos expertos, según 10 de acuerdo con su importancia. Algunos de los puntos de datos pueden faltar para algunos de los expertos. Ahora mi pregunta es ¿cómo se me ocurre un algoritmo de este tipo? ¿Alguien puede señalarme alguna literatura relevante?
También me preocupa que, como con todas las calificaciones / revisiones, los números se acumulen cerca de algunos valores. Por ejemplo, la mayoría de ellos podría terminar obteniendo un 8 o un 5. ¿Hay alguna manera de resaltar pequeñas diferencias en una diferencia mayor en la puntuación para solo algunos de los atributos?
Algunas otras discusiones que pensé podrían ser relevantes:
Respuestas:
La gente ha inventado numerosos sistemas para calificar cosas (como expertos) en múltiples criterios: visite la página de Wikipedia sobre análisis de decisiones de criterios múltiples para obtener una lista. Sin embargo, no está bien representado allí, es uno de los métodos más defendibles: la teoría de valoración de múltiples atributos. Esto incluye un conjunto de métodos para evaluar las compensaciones entre conjuntos de criterios con el fin de (a) determinar una forma adecuada de reexpresar los valores de las variables individuales y (b) ponderar los valores reexpresados para obtener una puntuación para la clasificación . Los principios son simples y defendibles, las matemáticas son impecables y la teoría no tiene nada de lujos. Más personas deberían conocer y practicar estos métodos en lugar de inventar sistemas de puntuación arbitrarios.
fuente
En última instancia, esto puede no ser únicamente un ejercicio estadístico. PCA es un método cuantitativo muy poderoso que le permitirá generar una puntuación o ponderaciones en sus primeros componentes principales que puede usar para clasificar. Sin embargo, explicar cuáles son los componentes principales es muy difícil. Son construcciones cuantitativas. No son dialécticos. Por lo tanto, explicar lo que realmente significan a veces no es posible. Esto es especialmente cierto si tienes una audiencia que no es cuantitativa. No tendrán idea de lo que estás hablando. Y pensará en su PCA como una caja negra críptica.
En cambio, simplemente alinearía todas las variables relevantes y usaría un sistema de ponderación basado en lo que uno cree que debería ser la ponderación.
Creo que si desarrolla esto para personas externas, clientes y usuarios, sería genial si pudiera incorporar la flexibilidad de decidir sobre la ponderación de los usuarios.
Algunos usuarios pueden valorar años de experiencia mucho más que la certificación y viceversa. Si puedes dejar esa decisión a ellos. De esta manera, su algoritmo no es un cuadro negro que no entienden y con el que no se sienten cómodos. Lo mantiene totalmente transparente y depende de ellos en función de su propia valoración relativa de lo que importa.
fuente
¿Crees que podrías cuantificar todos esos atributos?
En caso afirmativo, sugeriría realizar un análisis de componentes principales. En el caso general de que todas las correlaciones sean positivas (y si no lo son, puede llegar fácilmente usando alguna transformación), el primer componente principal puede considerarse como una medida de la importancia total del experto, ya que es una ponderación promedio de todos los atributos (y los pesos serían las contribuciones correspondientes de las variables: bajo esta perspectiva, el método en sí revelará la importancia de cada atributo). El puntaje que cada experto logra en el primer componente principal es lo que necesita para clasificarlos.
fuente