¿Puedes mostrarme explícitamente la primera iteración de puntuación de newton-raphson y fisher?

Estoy tratando de entender la diferencia entre la Newton-Raphsontécnica y la Fisher scoringtécnica calculando la primera iteración para cada método para una Bernoullimuestra. (Sé que en este caso puedo calcular explícita e inmediatamente$\pi_{mle}$ pero quiero hacerlo de forma iterativa solo para comprender y ver cómo converge cada método).

Supongamos que dibujo una moneda $n=10$ veces, el parámetro real $\pi_t=0.3$es desconocido para mí , y tengo 4 cabezas, así que$\bar{X}=0.4$.

La función de puntuación es:

$$u(\pi) = \frac{n\bar{X}}{\pi} - \frac{n(1-\bar{X})}{1-\pi}$$

La información observada de los pescadores es:

$$J(\pi) = -\frac{n\bar{X}}{\pi^2} - \frac{n(1-\bar{X})}{(1-\pi)^2}$$

y la información esperada del pescador es:

$$I(\pi) = \frac{n\pi_t}{\pi^2} + \frac{n(1-\pi_t)}{(1-\pi)^2}$$

Y tenga en cuenta que podemos simplificar la información esperada de los pescadores solo cuando la evaluamos en$\pi = \pi_t$, pero no sabemos dónde está eso ...

Ahora supongamos que mi suposición inicial es $\pi_0 = 0.6$

No Newton-Raphsonsólo tiene que ir de esta manera:

$$\pi_1 = \pi_0 - u(\pi_0)/J(\pi_0)$$

?

Y como Fisher-scoringva

$$\pi_1 = \pi_0 + u(\pi_0)/I(\pi_0)$$

Tenga en cuenta que contiene $\pi_t$que no sabemos! y ni siquiera podemos reemplazar$\pi_t$ con $\pi_{mle}$ como tampoco lo sabemos, eso es exactamente lo que estamos buscando ...

¿Pueden ayudarme a mostrarme de la manera más concreta posible esos 2 métodos? ¡Gracias!

Para Newton-Raphson , sí, tenemos

$$\pi_1 = \pi_0 - u(\pi_0)/J(\pi_0).$$

Para la puntuación de Fisher , como mencionó, hay un parámetro desconocido ($\pi$) en la información esperada $I(\pi)$. Dado$I(\pi)=-E(J(\pi))=E[u(\pi)u^{'}(\pi)]$, usamos la primera derivada de muestra para aproximar la segunda derivada esperada

$$\hat I(\pi_0) = \sum_i^n u_i(\pi_0)u_i^{'}(\pi_0),$$ dónde $u_i(\pi)= \frac{x_i}{\pi} - \frac{1-x_i}{1-\pi}$y $x_i$es el indicador de cabeza para cada sorteo. Entonces $$\pi_1 = \pi_0 + u(\pi_0)/\hat I(\pi_0).$$ Tenga en cuenta que necesitamos grandes $n$ ya que la aproximación se basa en la teoría asintótica.

Revisé I_hat(pi)en @ ihadanny de Pythoncódigo. Ahora la puntuación de Newton-Raphson y Fisher proporciona resultados idénticos.

import random
import numpy as np 

pi_t = random.random()
n = 1000
draws = [1 if x < pi_t else 0 for x in np.random.rand(n)]
x_bar = np.mean(draws)

def u(pi):
    return n*x_bar/pi - n*(1-x_bar)/(1-pi)
def J(pi):
    return -n*x_bar/pi**2 - n*(1-x_bar)/((1-pi)**2)
def I_hat(pi):
    x = 0
    for i in range(0, n): 
        x = x + (draws[i]/pi - (1-draws[i])/(1-pi))**2
    return x
def Newton(pi):
    return pi - u(pi)/J(pi)
def Fisher(pi):
    return pi + u(pi)/I_hat(pi)

def dance(method_name, method):
    print("starting iterations for: " + method_name)
    pi, prev_pi, i = 0.5, None, 0
    while i == 0 or (abs(pi-pi_t) > 0.001 and abs(pi-prev_pi) > 0.001 and i < 10):
        prev_pi, pi = pi, method(pi)
        i += 1
        print(method_name, i, "delta: ", abs(pi-pi_t))

dance("Newton", Newton)
dance("Fisher", Fisher)

Log Message
starting iterations for: Newton
Newton 1 delta:  0.00899203081545
Newton 2 delta:  0.00899203081545
starting iterations for: Fisher
Fisher 1 delta:  0.00899203081545
Fisher 2 delta:  0.00899203081545

Actualizar

Este es un caso especial en el que las puntuaciones de Newton-Raphson y Fisher son idénticas, porque

$$\hat I(\pi)=\sum_i^n \left(\frac{x_i}{\pi} - \frac{1-x_i}{1-\pi}\right)^2= \frac{\sum_i^n x_i}{\pi^2} + \frac{(n-\sum_i^n x_i)}{(1-\pi)^2} = -J(\pi),$$ que solo requiere álgebra estándar.