¿Cómo podrían los autos autónomos tomar decisiones éticas sobre a quién matar?

75

Obviamente, los autos sin conductor no son perfectos, así que imagine que el automóvil de Google (como ejemplo) se encuentra en una situación difícil.

Aquí hay algunos ejemplos de situaciones desafortunadas causadas por un conjunto de eventos:

  • El automóvil se dirige hacia una multitud de 10 personas que cruzan la carretera, por lo que no puede detenerse a tiempo, pero puede evitar matar a 10 personas golpeando la pared (matando a los pasajeros),
  • Evitar matar al conductor de la motocicleta teniendo en cuenta que la probabilidad de supervivencia es mayor para el pasajero del automóvil,
  • Matar a un animal en la calle en favor de un ser humano,
  • Cambiar de carril para chocar contra otro automóvil para evitar matar a un perro,

Y aquí hay algunos dilemas:

  • ¿El algoritmo reconoce la diferencia entre un ser humano y un animal?
  • ¿Importa el tamaño del ser humano o animal?
  • ¿Cuenta cuántos pasajeros tiene vs. personas en el frente?
  • ¿"Sabe" cuándo los bebés / niños están a bordo?
  • ¿Tiene en cuenta la edad (por ejemplo, matar al mayor primero)?

¿Cómo decidiría un algoritmo qué debería hacer desde la perspectiva técnica? ¿Está siendo consciente de lo anterior (contando la probabilidad de asesinatos) o no (matando gente solo para evitar su propia destrucción)?

Artículos relacionados:

kenorb
fuente
3
No viajaré en ningún vehículo que esté programado para que ME no sea el pasajero como su máxima prioridad de seguridad. No estoy solo en ese pensamiento. Si alguien tiene planes de obligar a los fabricantes de vehículos autónomos a programar su vehículo para que haga algo más que priorizar la seguridad de sus pasajeros, entonces toda la industria podría cerrar sus puertas ahora. Las primeras dos veces que muere un pasajero debido a una decisión ética aborrecible será la última vez que la gran mayoría de las personas compraría otro vehículo autónomo. ¿Quién quiere montar en una trampa mortal?
Dunk
El llamado "problema del carro" es un problema troll. Hay una razón por la que se conoce como un experimento mental en lugar de un estudio de caso: no es algo que haya sucedido. Ni siquiera está cerca de ser real, en gran parte porque los autos no son fundamentalmente carros. La respuesta correcta en cualquier caso de aplicación remota es casi siempre "pisar el freno", y si alguna vez hay una excepción, solo se puede resolver de una manera: protegiendo a los habitantes del automóvil a toda costa y sin siquiera considerar otra cosa. , por dos razones.
Mason Wheeler
2
El primero, @Dunk cubrió bastante bien: pragmatismo. Si es posible que el auto tome una decisión diferente, nadie en su sano juicio querría comprar uno. La segunda es que si hay una función de "matar a todos" integrada en la computadora del automóvil, eso significa que ya está allí para que los hackers maliciosos puedan encontrarla y abusar de ella. Considere la posibilidad muy real de que alguien descubra una manera de desencadenar eso con comentarios adversos contra la idea puramente ficticia de una situación legítima de problema de tranvía, y solo hay una respuesta posible que no es moralmente absurda y aborrecible.
Mason Wheeler

Respuestas:

55

¿Cómo podrían los autos autónomos tomar decisiones éticas sobre a quién matar?

No debería Los autos sin conductor no son agentes morales. Los autos fallan de manera predecible. Los caballos fallan de manera predecible.

el automóvil se dirige hacia una multitud de 10 personas que cruzan la carretera, por lo que no puede detenerse a tiempo, pero puede evitar matar a 10 personas golpeando la pared (matando a los pasajeros),

En este caso, el automóvil debería pisar los frenos. Si las 10 personas mueren, eso es lamentable. Simplemente no podemos confiar en todas nuestras creencias sobre lo que está sucediendo fuera del automóvil. ¿Qué pasa si esas 10 personas son realmente robots hechos para parecerse a las personas? ¿Y si intentan matarte?

evitando matar al conductor de la motocicleta teniendo en cuenta que la probabilidad de supervivencia es mayor para el pasajero del automóvil,

Nuevamente, codificar este tipo de sentimientos en un vehículo abre al conductor del vehículo a todo tipo de ataques, incluidos los motociclistas "falsos" . Los humanos apenas están equipados para tomar estas decisiones por su cuenta, si es que lo hacen. Cuando tenga dudas, simplemente golpee los frenos.

matando animales en la calle a favor del ser humano,

De nuevo, solo pise los frenos. ¿Y si fuera un bebé? ¿Y si fuera una bomba?

cambiar de carril para chocar contra otro automóvil para evitar matar a un perro,

No. El perro estaba en el lugar equivocado en el momento equivocado. El otro auto no estaba. Simplemente pise los frenos, de la manera más segura posible.

¿El algoritmo reconoce la diferencia entre un ser humano y un animal?

¿Un humano? No siempre. ¿Qué pasa si el humano tiene una pistola? ¿Qué pasa si el animal tiene dientes grandes? ¿No hay contexto?

  • ¿Importa el tamaño del ser humano o animal?
  • ¿Cuenta cuántos pasajeros tiene vs. personas en el frente?
  • ¿"Sabe" cuándo los bebés / niños están a bordo?
  • ¿Tiene en cuenta la edad (por ejemplo, matar al mayor primero)?

Los humanos no pueden ponerse de acuerdo sobre estas cosas. Si le preguntas a un policía qué hacer en cualquiera de estas situaciones, la respuesta no será: "Debiste desviarte a la izquierda, sopesar todas las partes relevantes en tu cabeza, evaluar las edades relevantes entre todas las partes y luego girar ligeramente a la derecha, y hubieras salvado un 8% más de vidas ". No, el policía solo dirá: "Deberías haber detenido el vehículo de la manera más rápida y segura posible". ¿Por qué? Porque los policías saben que las personas normalmente no están equipadas para lidiar con escenarios de accidentes de alta velocidad.

Nuestro objetivo para el "auto sin conductor" no debe ser "un agente moral a la par de un humano". Debe ser un agente con la complejidad reactiva de la cucaracha, que falla de manera predecible.

Doxosophoi
fuente
En la mayoría de esos escenarios, las personas potencialmente asesinadas son más culpables del daño que el automóvil / ocupante del automóvil: pisar los frenos parece ser la única respuesta razonable ya que el ocupante tampoco podría haber evitado el accidente. Como usted señala, es muy posible usar un algoritmo que se comporta al matar (potencialmente) al ocupante en lugar de a un peatón como una forma de asesinar al ocupante, incluso potencialmente culpar al ocupante, al automóvil o al fabricante.
Más claro
49

La respuesta a muchas de esas preguntas depende de cómo esté programado el dispositivo. Es probable que una computadora capaz de conducir y reconocer hacia dónde va el camino tenga la capacidad de distinguir visualmente a un humano de un animal, ya sea que se base en el contorno, la imagen o el tamaño. Con un reconocimiento de imagen suficientemente nítido, podría contar el número y el tipo de personas en otro vehículo. Incluso podría usar los datos existentes sobre la probabilidad de lesiones a personas en diferentes tipos de vehículos.

Finalmente, las personas no están de acuerdo con las elecciones éticas involucradas. Quizás podría haber "configuraciones de ética" para que el usuario / propietario las configure, como "considerar solo el conteo de vidas" frente a "las vidas más jóvenes son más valiosas". Personalmente, creo que no es muy controvertido que una máquina se dañe a sí misma antes de dañar a un humano, pero las personas no están de acuerdo sobre la importancia de la vida de las mascotas. Si la configuración explícita de kill-this-first inquieta a las personas, las respuestas podrían determinarse a partir de un cuestionario dado al usuario.

Ben N
fuente
2
Algo en lo más profundo de mi mente piensa que una configuración de edición de ética sería una mala idea. No estoy realmente seguro de qué es más que el hecho de que es una máquina en lugar de una persona, pero siempre llego a la conclusión de que ya tenemos este contrato no escrito de suscribirnos a las decisiones éticas de una persona cada vez que nos subimos a un automóvil con alguien más.
Ian
66
'configuración ética'? De Verdad? Tendrás que configurarlo en función de cualquier posible prejuicio '¿Matar a la persona que se ve más ____' homosexual? ¿La raza menos favorita? ¿O qué pasa si dos vehículos en los conductores de una colisión tienen una ética opuesta? ¿Entonces ambos son ejecutados y hay daño adicional adicional? Estas leyes deben ser universales (al menos dentro de un país), al igual que las leyes de carreteras.
navigator_
3
@navigator_ Espero que las opciones proporcionadas por el fabricante estén dentro de lo razonable.
Ben N
1
¿Razón definida por quién, sin embargo? Ese es mi punto de vista.
navigator_
3
De hecho, creo que la "configuración de ética" es la única opción viable / justa, porque imita al controlador específico lo más cerca posible. El conductor del automóvil debe ser responsable de lo que ocurra como resultado, como si estuviera conduciendo. No veo cómo programar un automóvil para (por ejemplo) poner la vida del conductor antes que cualquier otra cosa es diferente de que el conductor ponga su vida antes que cualquier otra cosa.
Pandora
27

Personalmente, creo que este podría ser un problema sobrevalorado. Los problemas de trole solo se producen cuando la situación está optimizada para evitar "3ª opciones".

Un auto tiene frenos, ¿no? "Pero, ¿y si los frenos no funcionan?" Bueno, entonces el auto no puede conducir en absoluto. Incluso en el tráfico regular, a los operadores humanos se les enseña que su velocidad debe ser limitada para que pueda detenerse dentro del área que puede ver. Soluciones como estas reducirán la posibilidad de un problema de carro.

En cuanto a los animales ... si no hay un esfuerzo explícito para tratar con humanos en el camino, creo que los animales serán tratados de la misma manera. Esto suena inverosímil: la destrucción de carreteras ocurre con frecuencia y la "destrucción de carreteras" humana no es deseada, pero los animales son mucho más pequeños y difíciles de ver que los humanos, por lo que creo que detectar a los humanos será más fácil, evitando muchos accidentes.

En otros casos (errores, fallas durante la conducción, fallas múltiples acumuladas entre sí), tal vez ocurran accidentes, se analicen y los vehículos se actualicen para evitar causar situaciones similares.

Pimgd
fuente
Es incorrecto decir que la IA solo conducirá tan rápido como puedan detenerse de lo que ven, porque lo mismo es cierto incluso para los humanos que conducen a la defensiva. La razón es que DEBEN hacerse suposiciones. Al subir una colina, se supone que un gran obstáculo no está fuera de la vista [Gran desafío de DARPA de origen]. Estas suposiciones se basan en las reglas del camino para determinar qué acciones son correctas. Por lo tanto, si ocurre un accidente, siempre que haya seguido las reglas de la carretera, puede reducir su responsabilidad. Por lo tanto, un automóvil debe ser capaz de tomar estas decisiones, pero quizás de manera limitada (proteger al consumidor).
Harrichael
13

Este es el conocido problema del tranvía . Como dijo Ben N , las personas no están de acuerdo sobre el curso de acción correcto para los escenarios de problemas de tranvía, pero debe tenerse en cuenta que con los autos sin conductor, la confiabilidad es tan alta que estos escenarios son realmente poco probables. Por lo tanto, no se pondrá mucho esfuerzo en los problemas que está describiendo, al menos a corto plazo.

Duro
fuente
Me pregunto qué tan bueno es el problema del Trolley para esto. El problema del trole es esencialmente discreto, y describe una opción de una vez por todas, mientras que en la práctica el algoritmo debe hacer una secuencia de elecciones en incrementos de tiempo (potencialmente bastante pequeños), posiblemente con la disponibilidad de nueva información. Es probable que un algoritmo útil sea un problema de "control continuo" integrado en el espacio 3D real, que trate con velocidades y probabilidades, no una decisión moral abstracta y discreta. Por lo menos, esto significaría que la implementación no tendría que definirse en términos morales tan severos.
NietzscheanAI
1
@NietzscheanAI La idea del problema del tranvía no está en qué decisión tomar, sino en qué tomar sus decisiones. Si considera los robos, la cantidad de personas, la cantidad de animales, quién tiene la culpa, la seguridad del conductor, el bien mayor, el menor cambio, etc. Todavía puede aplicar las probabilidades a los problemas del carro, es decir. la ruta A tiene 30 por ciento de posibilidades de matar a 10 personas. Los problemas del tranvía generalmente involucran dos rutas para que pueda considerar en qué factores basa su decisión ética con mayor precisión.
Harrichael
12

En el mundo real, las decisiones se tomarán en función de la ley y, como se señaló en Law.SE , la ley generalmente favorece la inacción sobre la acción.

marca
fuente
Ah, eso tiene mucho sentido para las víctimas humanas. ¿Sería diferente la elección de la ley si el automóvil pudiera desviarse para golpear a un perro en lugar de a un peatón?
Ben N
7

Para un automóvil sin conductor diseñado por una sola entidad, la mejor manera de tomar decisiones sobre a quién matar es estimar y minimizar la posible responsabilidad.

No es necesario identificar absolutamente correctamente a todas las víctimas potenciales en el área para tener una defensa para su decisión, solo para identificarlas tan bien como podría esperarse que lo haga un humano.

Ni siquiera necesita saber la edad y la condición física de todos en el automóvil, ya que puede solicitar esa información y, si es rechazada, tiene la defensa de que los pasajeros decidieron no proporcionarla y, por lo tanto, se responsabilizaron de privarla de la capacidad de tomar una mejor decisión

Solo tiene que tener un modelo viable para minimizar la exposición de la entidad a demandas, que luego se puede mejorar con el tiempo para que sea más rentable.

dynrepsys
fuente
7

"Esta pregunta moral de a quién salvar: el 99 por ciento de nuestro trabajo de ingeniería es para evitar que estas situaciones sucedan". —Christoph von Hugo, Mercedes-Benz

Esta cita es de un artículo titulado Auto-Driving Mercedes-Benzes dará prioridad a la seguridad de los ocupantes sobre los peatones publicado el 7 de octubre de 2016 por Michael Taylor , recuperado el 08 de noviembre de 2016.

Aquí hay un extracto que describe cuál es la solución tecnológica y práctica para el problema.

El fabricante de automóviles más antiguo del mundo ya no ve el problema, similar a la pregunta de 1967 conocida como el Problema del Trolley, como sin respuesta. En lugar de atarse a nudos morales y éticos en una crisis, Mercedes-Benz simplemente tiene la intención de programar sus automóviles autónomos para salvar a las personas dentro del automóvil. Cada vez.

Según Christoph von Hugo, gerente de sistemas de asistencia al conductor y seguridad activa del fabricante de automóviles, todos los futuros autos autónomos de nivel 4 y nivel 5 de Mercedes-Benz priorizarán salvar a las personas que llevan.

Su artículo también contiene el siguiente párrafo fascinante.

Un estudio publicado a mediados de año por la revista Science tampoco despejó el aire. La mayoría de las personas encuestadas en 1928 pensaron que sería éticamente mejor que los automóviles autónomos sacrificaran a sus ocupantes en lugar de chocar contra los peatones. Sin embargo, la mayoría también dijo que no comprarían automóviles autónomos si el automóvil priorizara la seguridad de los peatones sobre la suya.

tymtam
fuente
4

Francamente, creo que este problema (el problema del carro) es intrínsecamente complicado, ya que es probable que la solución del mundo real sea bastante sencilla. Al igual que un conductor humano, un controlador de IA estará programado para actuar en todo momento de una manera genéricamente ética, siempre eligiendo el curso de acción que no hace daño, o el menor daño posible.

Si un conductor de IA encuentra peligro como daño inminente a la propiedad, obviamente la IA frenará con fuerza y ​​apuntará el automóvil lejos de objetos frágiles para evitar o minimizar el impacto. Si el peligro es golpear a un peatón, un automóvil o un edificio, elegirá colisionar con el objeto menos preciado o costoso que pueda, para causar el menor daño, otorgando un mayor valor a un humano que a un edificio o un perro.

Finalmente, si la elección del conductor de inteligencia artificial de su automóvil es atropellar a un niño o golpear una pared ... conducirá el automóvil y usted hacia la pared. Eso es lo que cualquier buen humano haría. ¿Por qué una buena IA actuaría de manera diferente?

Cachondo
fuente
1
'la IA frenará con fuerza', 'elegirá colisionar con ...', si se trata de declaraciones, ¿podría publicar algunas referencias? ¿O están basados ​​en la opinión?
kenorb
1
El OP planteó la pregunta como "¿Qué daño elegirá infligir la IA?". Creo que ese es el objetivo equivocado. Los humanos no hacen eso. En cambio, la IA seguirá una estrategia más general para evitar el daño y hacer el menor daño posible. Este objetivo de optimización es más intuitivo y más difícil de argumentar cuando surgen problemas de responsabilidad.
Randy
4

No deberían. La gente debería.

Las personas no pueden poner las responsabilidades de las decisiones éticas en manos de las computadoras. Es nuestra responsabilidad como informáticos / expertos en inteligencia artificial programar las decisiones que deben tomar las computadoras. ¿Seguirán existiendo víctimas humanas a partir de esto? Por supuesto, lo harán --- las personas no son perfectas y tampoco lo son los programas.

Hay un excelente debate en profundidad sobre este tema aquí . Me gusta especialmente el argumento de Yann LeCun sobre el dilema ético paralelo de probar medicamentos potencialmente letales en pacientes. Al igual que los autos sin conductor, ambos pueden ser letales y tener buenas intenciones de salvar a más personas a largo plazo.

Charles
fuente
4

¿Cómo podrían los autos autónomos tomar decisiones éticas sobre a quién matar?

Mediante la gestión de la responsabilidad legal y la seguridad del consumidor.

Un automóvil que ofrezca seguridad al consumidor será un automóvil comprado por dichos consumidores. Las empresas no quieren ser responsables de matar a sus clientes ni quieren vender un producto que ponga al usuario en apuros legales. La responsabilidad legal y la seguridad del consumidor son el mismo problema cuando se miran desde la perspectiva del "costo para el consumidor".

Y aquí hay algunos dilemas:

  • ¿El algoritmo reconoce la diferencia entre un ser humano y un animal?

Si un animal / humano no puede ser evitado legalmente (y el automóvil tiene el derecho legal, si no lo es, entonces algo más está mal con la toma de decisiones de la IA), probablemente no lo hará. Si el automóvil puede evitar el obstáculo de manera segura, se podría ver razonablemente que la IA toma esta decisión, es decir. desviarse a otro carril en una carretera abierta. Observe que hay un énfasis en la responsabilidad y la seguridad del conductor.

  • ¿Importa el tamaño del ser humano o animal?

Solo el factor de riesgo de golpear el obstáculo. Golpear a un hipopótamo podría ser menos deseable que golpear la zanja. Golpear a un perro es probablemente más deseable que destrozar el automóvil del cliente.

  • ¿Cuenta cuántos pasajeros tiene vs. personas en el frente?

Cuenta a las personas como pasajeros para ver si se puede tomar el carril para compartir vehículos. Cuenta a las personas en el frente como un factor de riesgo en caso de una colisión.

  • ¿"Sabe" cuándo los bebés / niños están a bordo?

No.

  • ¿Tiene en cuenta la edad (por ejemplo, matar al mayor primero)?

No. Esta es simplemente la abstracción equivocada para tomar una decisión, ¿cómo podría ser ponderado para elegir el curso de acción correcto para reducir el factor de riesgo? Si la Opción 1 es golpeada por un chico joven con un 20% de probabilidad de daño significativo para el ocupante y sin responsabilidad legal y la Opción 2 es golpeada contra un hombre mayor con un 21% de probabilidad de daño significativo para el ocupante y sin responsabilidad legal, entonces, ¿qué filósofo puede convencer incluso a solo 1 persona de ¿Los pesos justos y equitativos para tomar una decisión?

Afortunadamente, la mejor decisión la mayor parte del tiempo es golpear los descansos para reducir la velocidad (especialmente cuando se considera que a menudo es valioso actuar de manera predecible para que los peatones y los automovilistas puedan reaccionar en consecuencia). Mientras tanto, se pueden hacer mejores mejoras de valor en términos de predecir cuándo los conductores tomarán malas decisiones y cuándo otras acciones (como golpear al revés) son más beneficiosas que golpear los descansos. En este punto, no vale la pena comenzar a recopilar la información para tomar las decisiones éticas propuestas por los filósofos. Por lo tanto, este tema es exagerado por periodistas y filósofos sensacionales.

Harrichael
fuente
3

Creo que, en la mayoría de los casos, el automóvil usaría por defecto la reducción de la velocidad como una opción principal, en lugar de dirigirse hacia una opción específica o alejarse de ella. Como otros han mencionado, tener configuraciones relacionadas con la ética es solo una mala idea. ¿Qué sucede si dos autos que están programados con configuraciones éticas opuestas y están a punto de chocar? Los automóviles podrían tener un sistema para anular la configuración del usuario y elegir la solución más beneficiosa para ambas partes. De hecho, es un concepto interesante, y definitivamente debe discutirse y estandarizarse antes de una implementación generalizada. Poner decisiones éticas en manos de una máquina hace que la responsabilidad resultante a veces sea difícil de imaginar.

imhotraore
fuente
Sí, frenar para evitar una colisión sería la mejor solución. Desafortunadamente, en algunos casos (los casos que se preguntaron en la pregunta), golpear algo es inevitable. Parece estar de acuerdo con algunas respuestas existentes. Tenga en cuenta que nos gustaría que cada respuesta sea independiente. Una vez que tenga suficiente reputación, podrá votar las respuestas que considere útiles. El problema de dos autos con configuración opuesta es realmente interesante; sería genial si editaras tu respuesta para ampliar eso. ¡Gracias!
Ben N
Muchas gracias por su respuesta, realmente lo aprecio y lo usaré en el futuro. No estaba al tanto de las pautas para las respuestas.
imhotraore
2

Creo que no habría una manera de editar tales configuraciones de ética en un automóvil. Pero bueno, si los teléfonos celulares pueden ser rooteados, ¿por qué no los autos? Me imagino que habrá versiones de Linux en el futuro para modelos específicos que te permitirán hacer lo que quieras.

En cuanto a quién tomará tales decisiones, será muy parecido a los problemas de privacidad de hoy. Habrá un tira y afloja en la manta por parte de los proveedores de sistemas operativos (que tratarán de establecerlo en una cantidad mínima de personas heridas, cada una con sus propios métodos), compañías de seguros (que tratarán de hacerle pagar más para los sistemas operativos que estadísticamente demostrarán que dañarán su automóvil más fácilmente), y los fabricantes de automóviles (que querrán que destruya su automóvil tan pronto como sea posible, por lo que comprará uno nuevo; o hará autos que requieran un ridículo cantidad de servicio $$$).

Luego saldrá un denunciante y expondrá un código que elige matar a los niños pequeños en lugar de a los adultos, porque será más difícil distinguirlos de los animales y se arriesgará a salvar a quienes seguramente reconocerá como humanos. El fabricante del sistema operativo recibirá una bofetada del público y se encontrará un nuevo consenso. Los denunciantes también saldrán de compañías de seguros y fabricantes de automóviles.

La humanidad tomará una sartén caliente y se quemará y luego aprenderá a ponerse guantes de antemano. Mi consejo es que te asegures de que no seas esa mano: mantente alejado de ellos durante un par de años hasta que se cometan todos los errores iniciales.

Stefanio
fuente
2

La única opción sensata es utilizar un comportamiento predecible. Entonces, en las personas frente al escenario del automóvil: primero el automóvil toca los frenos, al mismo tiempo toca la bocina y se mantiene en curso. Luego, la gente tiene la oportunidad de saltar fuera del camino, lo que lleva a que cero personas sean asesinadas. También con frenos completos (pasar de 50 km por hora a cero es inferior a 3 longitudes de automóvil), una situación de impacto es casi imposible de imaginar. Incluso si no se puede alcanzar el punto final, es poco probable que los peatones sufran daños graves.

El otro escenario es una locura. Por lo tanto, la distancia debe ser inferior a 3 longitudes de automóvil, se necesita al menos 1 automóvil para la dirección, luego un accidente automovilístico es una situación incontrolable, puede dar lugar a girar y matar a las 11 personas.

Aparte de decir que no creo que haya un ejemplo en la realidad donde haya un dilema; La solución en estos casos improbables es ajustarse a las expectativas de la parte contraria para permitir que la otra parte también mitigue la situación.

lalala
fuente
¿Puedes intentar leer la primera respuesta publicada por Ben y luego tratar de editar la tuya de acuerdo con lo que se trata la IA?
quintumnia
¿Puedes ser más específico? Leí la primera respuesta de Bens, pero no veo cómo se relaciona esto. ¿Puedes explicar "de qué se trata la IA"?
lalala
Lo que quise decir allí es conocer la inteligencia artificial, por lo que su respuesta puede ser rechazada o no hay nada que ver; ¡su majestad!
quintumnia
@quintumnia Esta respuesta me parece bien (+1): seguir adelante sin intentar desviarse o tomar decisiones es una opción válida.
Ben N