Cómo hacer que NTP se tome el tiempo de mi dispositivo GPS

Actualmente estoy intentando usar un dispositivo GPS USB para configurar la hora en una máquina Ubuntu 12.04 LTS que no está conectada a Internet.

Si ejecuto gpsmon o xgps, me muestra la hora, aunque solo está viendo uno o dos satélites a la vez.

Si ejecuto ntpq me muestra .GPS. Y .PPS. Pero tampoco se seleccionan y delay, offset y jitter son 0.

Mi ntp.conf contiene:

driftfile /bar/lib/ntp/ntp.drift

statistics loopstats peerstats clockstats 
filegen loopstats file loopstats type day enable
filegen peerstats file peerstats type day enable 
filegen clockstats file clockstats type day enable

restrict -4 default kod notrap nomodify nopeer noquery 
restrict -6 default kod notrap nomodify nopeer noquery

restrict 127.0.0.1 
restrict ::1

server 127.127.28.0 minpoll 4 prefer
fudge 127.127.27.0 refid GPS time1 0.535

server 127.127.28.1 minpoll 4
fudge 127.127.28.1 refid PPS