¿Cómo le dice a los motores de búsqueda que aún no indexen esta página, pero tal vez en el futuro?

La empresa para la que trabajo tiene un sistema de administración de contenido que crea páginas automáticamente para cierto contenido.

Por ejemplo, hay una página en nuestro sistema que tiene la capacidad de mostrarle información sobre cualquier compositor en nuestra base de datos, según los parámetros de entrada y la información que tenemos sobre ellos. Sin embargo, de vez en cuando, hay un compositor que no tiene ninguna información, por lo que la página muestra una página en blanco. ¿Cómo podemos decirle a Google que no indexe la página en ese momento, pero tal vez en el futuro?

Debido a que el contenido se genera automáticamente, no podemos simplemente bloquear las páginas para que no sean visibles, ya que la información sobre ese compositor puede aparecer en cualquier momento.

Editar

Tenga en cuenta que nuestro sistema CMS que realiza la recuperación es muy complicado y profundo. La parte de contenido de la página devolverá algún tipo de datos, por lo que ejecutar un archivo empty($content) ? xx : yycomo se ha sugerido no es una solución rápida. Si no existe un compositor, el sistema no tendrá una página para ese compositor, si el compositor existe, el sistema sí lo tendrá. Cuando se representa la página de ese compositor, el sistema busca todos los tipos que se refieren a compositores, como obras, para crear una página dinámica.

Si no hay contenido para un compositor en particular, use la metaetiqueta:

<meta name="robots" content="noindex, follow">

Tan pronto como se agregue contenido y se elimine la metaetiqueta, Google lo indexará.

Ejemplo:

<?php if(empty($composerInfoArray)): ?>
    <meta name="robots" content="noindex, follow">
<?php endif; ?>

Si las páginas "faltantes" no contienen información real, pero son simplemente marcadores de posición para "puede haber una página aquí en el futuro", entonces recomendaría configurar su servidor web para que les devuelva el código de estado 404 No encontrado .

Los navegadores seguirán mostrando tales páginas al usuario, tal como muestran las páginas de error 404 normales (al menos mientras sean lo suficientemente largas ), pero los motores de búsqueda simplemente tratarán la página como si no existiera en absoluto.

Este es el método utilizado, por ejemplo, por Wikipedia para páginas inexistentes como esta . Una de sus ventajas (además de ser, posiblemente, semánticamente correcta) es que garantiza que los motores de búsqueda tratarán esas páginas exactamente de la misma manera que normalmente tratan las páginas faltantes que devuelven un código de estado 404.

Una desventaja potencial es que, si tiene enlaces a páginas que devuelven un código de estado 404, aparecerán como "errores 404", por ejemplo, en las Herramientas para webmasters de Google. Sin embargo, esto es perfectamente normal y no es algo de qué preocuparse .

Para ayudar aún más a los motores de búsqueda a descubrir sus nuevas páginas, cuando obtienen un contenido real y dejan de devolver 404, también debe mantener un mapa del sitio XML actualizado regularmente que enumere todas las páginas de su sitio que sí tienen contenido. Esto permite que Google y otros motores de búsqueda descubran nuevas páginas directamente a través del mapa del sitio, en lugar de tener que encontrarlas al azar mientras vuelven a rastrear su sitio.

PD. Ver también: ¿ No es una página de índice que no tiene contenido relevante?

Personalmente, crearía un mensaje en el sistema que le permitiría al usuario saber que, aunque se completó su solicitud, no se encontraron compositores para los parámetros dados. Esto evitará que el usuario piense que la página / enlace está "roto".

Si la página no tiene contenido, su sistema CMS no debería estar vinculado a ella. Vincular a páginas en blanco es malo tanto para los usuarios como para los motores de búsqueda.

Me gusta la sugerencia de Wayne Whitty sobre cómo poner la metaetiqueta en la página del compositor. Debería encontrar una manera de hacer algo similar en el lugar donde enumera todos los compositores y los vincula a ellos:

<?php foreach ($composers as $composer) {
    if ($composer->countCount > 0)
         print "<li><a href=\"$composer->url\">$composer->name</a></li>";
    } 
} ?>

Si hace esto, los motores de búsqueda ya no encontrarán las páginas en blanco para empezar.