Si org-agenda-start-on-weekdayse establece en un número entero (de manera predeterminada, se establece en 1, correspondiente al lunes), y org-agenda-spanse establece en uno 'week o 7, org siempre comenzará la agenda el día especificado por org-agenda-start-on-weekday.
Así que para empezar siempre de ayer, debe establecer org-agenda-start-daya "-1d" y lleve a cabo uno de los siguientes:
Establecer org-agenda-start-on-weekdaya nil. Luego, el primer día de la agenda será determinado por org-agenda-start-day.
Establecer org-agenda-spanen un valor que no lo es 'week. Por ejemplo, configurarlo 5mostrará cinco días y luego lo respetará org-agenda-start-day.
Recomiendo hacer ambas cosas, en caso de que decidas mostrar una semana completa. Aquí hay un código para mostrar cinco días a partir de ayer:
(setq org-agenda-start-day "-1d")
(setq org-agenda-span 5)
(setq org-agenda-start-on-weekday nil)