No se puede sudo al iniciar sesión con ssh

Configuré una máquina ubuntu en mi servidor local. Tengo un usuario con privilegios de sudo (la misma contraseña que para iniciar sesión).

Tengo ssh sin contraseña al poner mi clave pública rsa en la máquina ubuntu. Entonces puedo ingresar desde mi mac. Pero cuando estoy conectado a través de ssh, y trato de sudo, me dice que la contraseña no es válida.

¿Cual es el trato? Aquí está mi / etc / sudoers

# This file MUST be edited with the 'visudo' command as root.
#
# Please consider adding local content in /etc/sudoers.d/ instead of
# directly modifying this file.
#
# See the man page for details on how to write a sudoers file.
#
Defaults        env_reset
Defaults        mail_badpass
Defaults        secure_path="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"

# Host alias specification

# User alias specification

# Cmnd alias specification

# User privilege specification
root    ALL=(ALL:ALL) ALL

# Members of the admin group may gain root privileges
%admin ALL=(ALL) ALL

# Allow members of group sudo to execute any command
%sudo   ALL=(ALL:ALL) ALL

# See sudoers(5) for more information on "#include" directives:

#includedir /etc/sudoers.d