Si sabe que las extensiones de archivo están funcionando, la mejor solución es usar la lista automática de modos para iniciar el modo hexl.
Si no, y tomas lo que has dicho literalmente:
It's probably sufficient to define "binary" as "contains a null byte"
Puede hacerlo agregando una función que active el modo hexadecimal si un archivo contiene un byte nulo en find-file-hooks
.
Aquí hay una implementación:
(defun buffer-binary-p (&optional buffer)
"Return whether BUFFER or the current buffer is binary.
A binary buffer is defined as containing at least on null byte.
Returns either nil, or the position of the first null byte."
(with-current-buffer (or buffer (current-buffer))
(save-excursion
(goto-char (point-min))
(search-forward (string ?\x00) nil t 1))))
(defun hexl-if-binary ()
"If `hexl-mode' is not already active, and the current buffer
is binary, activate `hexl-mode'."
(interactive)
(unless (eq major-mode 'hexl-mode)
(when (buffer-binary-p)
(hexl-mode))))
(add-hook 'find-file-hooks 'hexl-if-binary)