Comprender el uso de logaritmos en el logaritmo TF-IDF

Estaba leyendo:

https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition

Pero parece que no puedo entender exactamente por qué la fórmula se construyó de la manera en que está.

Lo que sí entiendo:

iDF debería medir en algún nivel la frecuencia con la que aparece un término S en cada uno de los documentos, disminuyendo su valor a medida que el término aparece con mayor frecuencia.

Desde esa perspectiva

$$iDF(S) = \frac{\# \text{ of Documents}}{\# \text{ of Documents containing S}}$$

Además, la frecuencia de término puede describirse correctamente como

$$tf(S,D) = \frac{\# \ \text{of Occurrences of S in document D}}{\# \ \text{maximum number of occurrences for any string Q in document D}}$$

Entonces la medida

$$iDF(S) \times tf(S,D)$$

es de alguna manera proporcional a la frecuencia con la que aparece un término en un documento determinado y cuán único es ese término en el conjunto de documentos.

Lo que no entiendo

Pero la fórmula dada lo describe como

$$\left( \log(iDF(S)) \right) \left( \frac{1}{2} + \log(\frac{1}{2} tf(S,D)) \right)$$

Deseo comprender la necesidad de los logaritmos descritos en la definición. ¿Por qué están ahí? ¿Qué aspecto enfatizan?

El aspecto enfatizado es que la relevancia de un término o un documento no aumenta proporcionalmente con la frecuencia del término (o documento). El uso de una función sub-lineal, por lo tanto, ayuda a reducir este efecto. En ese sentido, también se amortiza la influencia de valores muy grandes o muy pequeños (por ejemplo, palabras muy raras). Finalmente, como la mayoría de las personas perciben intuitivamente que las funciones de puntuación son algo aditivas usando logaritmos, la probabilidad de que diferentes términos independientes de parezcan más a .log ( P ( A , B ) ) = log ( P ( A ) ) + log ( P ( B ) $P(A, B) = P(A) \, P(B)$$\log(P(A,B)) = \log(P(A)) + \log(P(B))$

Como señala el artículo de Wikipedia que vincula, la justificación de TF-IDF todavía no está bien establecida; Es / fue una heurística que queremos hacer riguroso, no un concepto riguroso que queremos transferir al mundo real. Según lo mencionado por @ Anony-Mousse como una muy buena lectura sobre el tema, Robertson entiende la frecuencia inversa de documentos: sobre argumentos teóricos para las FDI . Ofrece una visión general de todo el marco e intenta basar la metodología TF-IDF en la ponderación de relevancia de los términos de búsqueda.