Para permitir que los objetos que no sean sean serializaran, establece el parámetro seguro en falso.

return JsonResponse([1, 2, 3, 4], safe=False)
Precious Porpoise