¿Qué hay de malo con las claves foráneas?

Recuerdo haber escuchado a Joel Spolsky mencionar en el podcast 014 que apenas había usado una clave foránea (si no recuerdo mal). Sin embargo, para mí parecen bastante vitales para evitar la duplicación y los subsiguientes problemas de integridad de datos en toda su base de datos. ¿Las personas...