Tener un trabajo en minería de datos sin un doctorado

He estado muy interesado en la minería de datos y el aprendizaje automático por un tiempo, en parte porque me especialicé en esa área en la escuela, pero también porque estoy realmente mucho más emocionado tratando de resolver problemas que requieren un poco más de pensamiento que solo programar conocimiento y cuya solución puede tener múltiples formas. No tengo formación de investigador / científico, vengo de una formación en informática con énfasis en el análisis de datos, tengo una maestría y no un doctorado. Actualmente tengo una posición relacionada con el análisis de datos, incluso si ese no es el enfoque principal de lo que estoy haciendo, pero al menos tengo una buena exposición al mismo.

Como estaba entrevistando hace algún tiempo para un trabajo con varias compañías, y pude hablar con algunos reclutadores, encontré un patrón común que la gente parece pensar que necesitas tener un doctorado para hacer aprendizaje automático , incluso si puedo generalizando un poco demasiado (algunas compañías realmente no estaban buscando especialmente doctorados).

Si bien creo que es bueno tener un doctorado en esa área, no creo que sea absolutamente necesario . Tengo un conocimiento bastante decente de la mayoría de los algoritmos de aprendizaje automático del mundo real, he implementado la mayoría de ellos yo mismo (ya sea en la escuela o en proyectos personales), y me siento bastante seguro al abordar problemas que involucran aprendizaje automático / minería de datos y estadísticas en general . Y tengo algunos amigos con un perfil similar que también parecen estar bien informados sobre esto, pero también sienten que, en general, las empresas son bastante tímidas sobre la contratación en la minería de datos si no es un doctorado.

Me gustaría recibir algunos comentarios, ¿crees que un doctorado es absolutamente necesario para tener un trabajo muy enfocado en esa área?

(Dudé un poco antes de publicar esta pregunta aquí, pero como parece ser un tema aceptable en meta , he decidido publicar esta pregunta en la que he estado pensando durante un tiempo).

Creo que en realidad lo opuesto a tu conclusión es cierto. En The Disposable Academic , se dan varios consejos sobre la baja prima salarial en matemática aplicada, matemática y ciencias de la computación para los titulares de doctorado sobre los titulados de maestría. En parte, esto se debe a que las empresas se están dando cuenta de que los titulados de maestría generalmente tienen la misma profundidad teórica, mejores habilidades de programación, y son más flexibles y pueden ser entrenados para las tareas específicas de su empresa. Por ejemplo, no es fácil obtener un discípulo SVM para apreciar la infraestructura de su empresa que depende de los árboles de decisión. A menudo, cuando alguien ha dedicado toneladas de tiempo a un paradigma particular de aprendizaje automático, tienen dificultades para generalizar su productividad a otros dominios.

Otro problema es que muchos de los trabajos de aprendizaje automático en estos días tienen que ver con hacer las cosas, y no tanto con escribir documentos o desarrollar nuevos métodos. Puede adoptar un enfoque de alto riesgo para desarrollar nuevas herramientas matemáticas, estudiar los aspectos VC-dimensionales de su método, su teoría de la complejidad subyacente, etc. Pero al final, es posible que no obtenga algo que a los profesionales les importe.

Mientras tanto, mira algo como poselets . Básicamente, ninguna nueva matemática surge de los poselets en absoluto. Es completamente poco elegante, torpe y carece de cualquier sofisticación matemática. Pero escala a grandes conjuntos de datos increíblemente bien y parece que será un elemento básico en el reconocimiento de posturas (especialmente en visión por computadora) durante algún tiempo. Esos investigadores hicieron un gran trabajo y su trabajo debe ser aplaudido, pero no es algo que la mayoría de las personas asocie con un doctorado de aprendizaje automático.

Con una pregunta como esta, obtendrá toneladas de opiniones diferentes, así que considérelas todas. Actualmente soy estudiante de doctorado en visión por computadora, pero he decidido dejar mi programa antes de tiempo con una maestría, y trabajaré para una empresa de gestión de activos haciendo aprendizaje automático de lenguaje natural, estadísticas computacionales, etc. También consideré trabajos de minería de datos basados ​​en anuncios en varias grandes compañías de televisión, y algunos trabajos de robótica. En todos estos dominios, hay muchos trabajos para alguien con madurez matemática y una habilidad especial para resolver problemas en múltiples lenguajes de programación. Tener una maestría está bien. Y, de acuerdo con ese artículo de Economist, se le pagará básicamente tan bien como a alguien con un doctorado. Y si trabajas fuera de la academia,

Como Peter Thiel dijo una vez: "La escuela de posgrado es como presionar el botón de repetición del despertador de la vida ..."

Descargo de responsabilidad: tengo un doctorado. y trabajo en aprendizaje automático. Dicho esto, creo que aparte de convertirte en académico, no necesitas un doctorado. para trabajar en cualquier campo. Obtener un doctorado te ayuda a desarrollar ciertas habilidades de investigación, pero

1. No necesita esas habilidades de investigación para la mayoría de los trabajos.
2. Puede adquirir esas habilidades sin obtener un Ph.D. la licenciatura.

Martin Wolf , el principal corresponsal económico del Financial Times , no tiene un doctorado. (tiene una maestría), pero su palabra tiene mucho más peso que la mayoría de los doctores. graduados Creo que para tener éxito en cualquier campo (incluido el aprendizaje automático), debe saber cómo aprender y pensar por su cuenta. Un doctorado te ayudará a practicar esas habilidades, pero no es un fin en sí mismo. Cualquiera que no esté dispuesto a entrevistarte solo porque no tienes un doctorado, probablemente no valga la pena trabajar de todos modos.

Descargo de responsabilidad: no tengo un doctorado en CS, ni trabajo en aprendizaje automático; Estoy generalizando desde otro conocimiento y experiencia.

Creo que hay varias buenas respuestas aquí, pero, en mi opinión honesta, todavía no hacen explícito el problema principal. Intentaré hacerlo, pero reconozco que no creo que esté diciendo algo radicalmente diferente. El problema principal aquí se refiere al desarrollo de habilidades frente a la señalización .

Con respecto al desarrollo de habilidades , en última instancia, usted desea (como empleado) poder hacer el trabajo, hacerlo bien y hacerlo rápidamente, y el empleador quiere (o presumiblemente debería) esa persona. Por lo tanto, la pregunta aquí es ¿cuánto desarrollo adicional de habilidades obtienes con un par de años adicionales de capacitación académica? Ciertamente, debería estar obteniendo algo, pero reconozca que las personas que no continúan con la escuela de posgrado probablemente no solo se sienten sentados hasta que se hayan graduado. Por lo tanto, está comparando un conjunto de experiencias (académicas) versus otras (trabajo). Una buena parte depende de la calidad y la naturaleza del Ph.D. programa, sus intereses intrínsecos, qué tan autodirigido es usted y qué tipo de oportunidades y apoyo estaría disponible en su primer trabajo.

Fuera del efecto que la formación académica continua tiene sobre el desarrollo de habilidades, existe la cuestión del efecto y el valor de la señal (es decir, de tener "Ph.D" agregado después de su nombre). La señal puede ayudar de dos maneras: Primero, puede ayudarlo a conseguir su trabajo inicial, y eso no debe descartarse, puede ser muy importante. La investigación ha demostrado que las personas que están obligadas a comenzar en una primera posición que no es tan apropiada para ellos nunca tienden a hacerlo tan bien (en términos profesionales, en promedio) como las personas que pueden comenzar en un trabajo que es bueno partido por sus habilidades e intereses. Por otro lado, el consenso parece ser que después de su primer trabajo, sus perspectivas futuras están mucho más influenciadas por su desempeño en su trabajo anterior que sus credenciales académicas.

El segundo aspecto de la señal tiene que ver con la relación entre el analista y el consumidor del análisis. @EMS hace un buen trabajo al señalar este punto en un comentario. Hay muchas pequeñas tiendas de consultoría, y les encanta tener doctorados para presumir ante clientes potenciales: en reuniones iniciales tratando de conseguir un contrato, en papel con membrete, en presentaciones de productos de trabajo terminados, etc. Los doctorados siempre están ahí. Es fácil ser cínico al respecto, pero creo que hay un valor legítimo para la empresa de consultoría y el consumidor (que pueden no saber mucho sobre estos asuntos y pueden usar credenciales para ayudarlos a seleccionar una empresa que haga un buen trabajo para ellos) . Detrás de escena, parte del trabajo puede dedicarse a personas competentes con menos credenciales, pero quieren el Ph.D. para el front-end y para cerrar sesión en el producto de trabajo antes de entregarlo. Pude ver que sucede algo análogo con una empresa emergente si están tratando de atraer capital y quieren tranquilizar a los inversores.

Estoy de acuerdo con la mayoría de lo que se ha dicho aquí, pero quiero presentar algunos problemas prácticos que surgen al solicitar empleo en finanzas. A menudo verá anuncios que indican que se requiere un doctorado en estadística o matemáticas para solicitar una posición comercial o de desarrollador cuantitativa particular. Sé que hay algunas razones particulares para esto. Tenga en cuenta que no digo que esto sea correcto, pero es lo que sucede en la práctica:

• Hay muchos solicitantes para el trabajo, especialmente para las empresas más conocidas, y el empleador no puede dedicar suficiente tiempo a cada candidato. Las aplicaciones de filtrado basadas en la formación académica reducen el tamaño de la población a un número más manejable. Sí, habrá fallas. Sí, no es la mejor manera de encontrar personas productivas . Pero, en promedio, está buscando profesionales calificados que hayan dedicado años para aprender el oficio. Al menos deberían tener la disciplina para superar un complejo proyecto de investigación.

• El equipo y la compañía se verán enriquecidos por una serie de doctorados para mostrar a los inversores y clientes. Esto le dará una imagen de conocimiento "oráculo" a la compañía y beneficiará su reputación. La valoración intangible de la empresa puede aumentar. El inversionista promedio tendrá más confianza para otorgar su capital a un equipo de científicos tan bien informado. Puede hacer un punto similar sobre los MBA.

• Finalmente, a veces las políticas corporativas dictan que los logros académicos más altos deben tener una carrera profesional preferencial y una compensación. Creo que esto es cierto para la mayoría de las corporaciones en diferentes industrias, no solo las finanzas. Es difícil ver a John con una licenciatura en ciencias de la computación que maneje doctorados en matemáticas.

Descargo de responsabilidad: soy un reclutador y lo he sido desde 1982, así que entiendo muy bien su pregunta. Déjame desglosarlo de esta manera. Su currículum es un dispositivo de detección. Las empresas obtienen toneladas de currículums, por lo que están leyendo currículums con una pregunta en mente: "¿Por qué no quiero hablar con esta persona?" Eso reduce su pila a unos pocos candidatos que tienen las mejores posibilidades de satisfacer sus necesidades. Entonces, si está recibiendo entrevistas y su currículum no muestra un doctorado, entonces hay algo más aquí. Digo eso porque, al igual que un currículum es un dispositivo de detección, la entrevista es un dispositivo de detección. Una vez que lo han invitado a una entrevista, ya han concluido que tiene suficiente "en papel" para hacer el trabajo. Entonces, cuando estás caminando en la entrevista, la única pregunta que tienen es En realidad, preguntar es "¿por qué debería contratarte?" La persona que contraten será la persona que se encargue de atender mejor las necesidades de la empresa.

Mi consejo como reclutador es hacer preguntas durante la entrevista para identificar sus necesidades más profundas. Créame, la descripción del trabajo rara vez se parece a la verdad, por lo que querrá probar sus botones calientes y luego vender directamente a esos problemas. No permita que la entrevista parezca un interrogatorio, esperando el final para hacer preguntas. Te incendiarás y terminarás diciéndote "no tienes un doctorado". Sea respetuoso y demuestre su disposición a ayudarlos a resolver su problema.

Mi pregunta favorita es: "¿Cuáles son los rasgos de la mejor persona que has conocido en este papel?" Todos tienen un equipo de ensueño en mente, por lo que es importante descubrir qué rasgos sienten que son necesarios para tener éxito en este papel. Tenga en cuenta que no se trata de experiencia, antecedentes o títulos. Mira, siempre puedo encontrar un doctorado mediocre con mucha experiencia, así que este no es el Santo Grial. Es justo lo que las compañías continúan pensando que es mejor porque, en mi opinión, no saben cómo escribir una descripción del trabajo que capture la esencia de la persona que necesitan.

Mis 2 centavos: No, no lo creo. Un doctorado per se no le da derecho a ser mejor para la minería de datos o ML. Tome el propio Jeremy Howard de Kaggle. Incluso iría tan lejos como para decir que un doctorado no dice mucho sobre ninguna calificación, ya que existe una gran variabilidad en la calidad de los programas. Quizás lo único que prueba un doctorado es que el titular tiene una alta tolerancia a la frustración.

En pocas palabras: si está interesado en esa área, conocedor, creativo y trabajador, ¿por qué necesitaría un doctorado? Es usted quien debe contar, no sus títulos.

Si un trabajo requiere un doctorado o no depende del nivel de responsabilidad y la percepción del empleador y / o sus clientes. No creo que haya una disciplina que requiera un doctorado. Ciertamente, la minería de datos se puede aprender y un empleado puede hacer un trabajo productivo sin un doctorado. Esto depende más de la persona, su capacidad de aprender rápidamente y adaptarse, así como de poder comprender la literatura, que de la educación previa. Esto es especialmente cierto para la minería de datos, que es un campo en evolución. Entonces, incluso los mineros de datos con doctorados tendrán más que aprender a medida que pase el tiempo.

Tengo una maestría en Estadística Aplicada y trabajé en Europa como Data Miner. Cuando llegué al Reino Unido, nadie había oído hablar de minería de datos y mucho menos había estudiado para tal grado. Ahora es un lugar común y los empleadores sienten que un doctorado es necesario para este trabajo. Sin embargo, es el conocimiento estadístico y el aspecto de modelado lo que es importante para este trabajo. En mi experiencia, la mayoría de las personas de TI no entienden las estadísticas y, por lo tanto, no pueden hacer bien el trabajo. Entré en la enseñanza y ahora me estoy inscribiendo para hacer un doctorado en Estadística Aplicada para satisfacer a estos empleadores. Probablemente sé más que la mayoría de los graduados de doctorado que han estudiado para mi maestría en la década de 1980 cuando el nivel era muy alto. Creo que para ser un buen minero de datos, uno debe tener experiencia en estadísticas.

Esto depende totalmente del trabajo en cuestión. En mi experiencia (tengo un doctorado), hay 3 tipos de trabajos. Primero, como se ha dicho, la mayoría de los trabajos de la industria en estos días están orientados al aprendizaje automático aplicado, es decir, aplicar ajustes de los algoritmos de ML existentes al problema específico del dominio en cuestión. Estos son, con mucho, los trabajos de ML más comunes y una maestría es más que suficiente para este tipo de trabajos. Un número menor de trabajos, que se encuentran en el ala de investigación de empresas o universidades, las instituciones son empleos de aplicación, ajuste y creación de ML para el problema específico del dominio. La experiencia de crear un nuevo método al observar los métodos existentes usando nuevas matemáticas generalmente lleva algún tiempo y estas experiencias generalmente se obtienen durante el doctorado, ya que el nuevo resultado teórico debería ser lo suficientemente sólido como para ganar la aceptación de los pares (una publicación). El último y probablemente el tipo de trabajo más difícil, de mayor riesgo y más poco común son las cosas puramente teóricas que se realizan en las universidades de investigación, donde el objetivo es crear un nuevo algoritmo totalmente, o comprender mejor las propiedades matemáticas de los algoritmos existentes (también tiene que ser lo suficientemente bueno para ser publicado). Esto también es experiencia típicamente obtenida como doctorado. Mientras que un estudiante de doctorado podría haber tenido alguna exposición a los tres tipos de trabajos durante su capacitación (debido únicamente a la duración del programa y al hecho de que no hay plazos inmediatos de productos como un trabajo real), el estudiante de MS normalmente está bien entrenado para el primer trabajo y probablemente solo hubiera tenido exposiciones menores al segundo y tercer tipo de trabajo.

No creo que se requiera doctorado para ningún puesto de aprendizaje automático. Una buena maestría y una mente inquieta con curiosidad matemática es todo lo que necesita. Un doctorado sesga su enfoque hacia su especialización que es indeseable. Trabajo en algoritmos básicos de aprendizaje automático y codifico la mayoría de ellos de la manera que quiero. Y he visto a muchas personas de doctorado con la mentalidad equivocada. Los doctores están motivados principalmente por problemas teóricos puros, a diferencia de la industria donde el enfoque se centra en trabajar soluciones en tiempo rápido

Las personas que desprecian la formación de doctorado no saben lo que significa un doctorado en absoluto o simplemente hacen comentarios falsos intencionalmente; La mayoría de los entrenamientos de maestría no pueden compararse con el entrenamiento de doctorado de ninguna manera. la intensidad y el rigor en el entrenamiento de doctorado requieren una dedicación inimaginable, autodisciplina, capacidad de aprendizaje bajo gran presión y sólidos conjuntos de habilidades ..., un título de doctorado ya demostró todo eso, un título de maestría regular aquí en Estados Unidos no es lo mismo nivel en absoluto ....