Estoy tomando un curso de posgrado en teoría de la información y constantemente me sorprende la cantidad de optimización convexa que hay en esta materia. Sin embargo, las pruebas parecen eludir el uso de toda la maquinaria de la teoría de la relajación, la dualidad, etc. Esto es comprensible ya que no desea requerir un semestre completo de optimización convexa para enseñar estas cosas. Pero como alguien bastante versado en optimización, siento que me estoy perdiendo mucha elegancia e intuición cuando estos enlaces no se exploran más. A menudo noto pruebas que serían mucho más cortas si también hubiera utilizado el análisis convexo.
¿Hay libros que cubran más la teoría de la información desde esta perspectiva? La mayoría de las veces usamos apuntes de Stefan Moser, Y. Polyanskiy e Y. Wu, así como la teoría de información de red de El Gamal.
Respuestas:
Los libros a continuación pueden ser más de su agrado, pero en general, los textos / apuntes de clase están escritos para el uso (principalmente) de estudiantes de posgrado en ingeniería y no pueden presumir un profundo conocimiento del análisis convexo.
Los artículos de investigación sobre la teoría de Shannon y campos relacionados en, digamos, IEEE Transactions on Information Theory, pueden ajustarse mejor a la factura, aunque no siempre.
Un texto anterior que también puede ser de interés es
Wolfowitz, J., Teoremas de codificación de la teoría de la información, Springer, 1960.
fuente