¿A qué n los n-gramos se vuelven contraproducentes?

Al hacer el procesamiento del lenguaje natural, uno puede tomar un corpus y evaluar la probabilidad de que la siguiente palabra ocurra en una secuencia de n. n generalmente se elige como 2 o 3 (bigrams y trigrams).

¿Existe un punto conocido en el que el seguimiento de los datos para la enésima cadena se vuelve contraproducente, dada la cantidad de tiempo que lleva clasificar un corpus particular una vez en ese nivel? ¿O dada la cantidad de tiempo que tomaría buscar las probabilidades de un diccionario (estructura de datos)?

¿Existe un punto conocido en el que el seguimiento de los datos para la enésima cadena se vuelve contraproducente, dada la cantidad de tiempo que lleva clasificar un corpus particular una vez en ese nivel?

Debería buscar tablas o gráficos de perplejidad frente a n-gramas .

Ejemplos:

http://www.itl.nist.gov/iad/mig/publications/proceedings/darpa97/html/seymore1/image2.gif :

http://images.myshared.ru/17/1041315/slide_16.jpg :

http://images.slideplayer.com/13/4173894/slides/slide_45.jpg :

La perplejidad depende de su modelo de idioma, tamaño de n-gramo y conjunto de datos. Como de costumbre, existe una compensación entre la calidad del modelo de idioma y el tiempo que tarda en ejecutarse. Los mejores modelos de lenguaje hoy en día se basan en redes neuronales, por lo que la elección del tamaño de n-gramos es menos problemática (pero luego debe elegir los tamaños de filtro si usa CNN, entre otros hiperparámetros ...).

Su medida de "contraproducente" podría ser arbitraria, por ejemplo. con mucha memoria rápida, podría procesarse más rápido (de manera más razonable).

Después de decir eso, entra en juego un crecimiento exponencial y, según mis propias observaciones, parece estar alrededor de la marca de 3-4. (No he visto ningún estudio específico).

Los trigramas tienen una ventaja sobre las bigramas, pero es pequeño. Nunca he implementado un 4 gramos, pero la mejora será mucho menor. Probablemente un orden similar de disminución de magnitud. P.ej. Si los trigramas mejoran las cosas un 10% sobre las bigramas, entonces una estimación razonable de 4 gramos podría ser una mejora del 1% sobre los trigramas.

$10,000$$10000^2$$10000^3$$10000^4$

Necesitará un gran corpus para compensar el efecto de dilución, pero la Ley de Zipf dice que un gran corpus también tendrá aún más palabras únicas ...

Especulo que es por eso que vemos muchos modelos, implementaciones y demostraciones de bigram y trigram; pero no hay ejemplos completos de 4 gramos.