Lograr el valor de siguiente nivel de la IA centrándose en el lado operativo del aprendizaje automático

Manasi Vartak es fundador y director ejecutivo de Verta, un proveedor de soluciones para la gestión de modelos de inteligencia artificial y aprendizaje automático con sede en Palo Alto.

getty

La firma de investigación tecnológica Gartner, Inc. ha estimado que el 85 % de los proyectos de inteligencia artificial (IA) y aprendizaje automático (ML) no logran generar un retorno para el negocio. Las razones citadas a menudo para la alta tasa de fallas incluyen una definición deficiente del alcance, datos de capacitación deficientes, inercia organizacional, falta de cambio de proceso, avance lento de la misión y experimentación insuficiente.

A esta lista, agregaría otra razón por la que he visto a muchas organizaciones esforzarse por obtener valor de sus proyectos de IA. Las empresas a menudo han invertido mucho en la creación de equipos de ciencia de datos para crear modelos innovadores de ML. Sin embargo, no han logrado adoptar la mentalidad, el equipo, los procesos y las herramientas necesarias para colocar esos modelos de manera eficiente y segura en un entorno de producción donde realmente puedan generar valor.

Para evitar esta trampa y lograr un mayor valor de la IA, aquí hay cuatro recomendaciones para ayudar a su organización a traducir los asombrosos algoritmos de sus científicos de datos en un impacto comercial real.

1. Adopte una mentalidad de software.

Sin duda, los modelos ML son importantes, pero desarrollar código ML es solo una parte del ciclo de vida de IA/ML. La recopilación de datos, la extracción de funciones, la verificación de datos, la gestión de recursos de la máquina y otras actividades adyacentes al código de ML consumen la mayor parte del tiempo y los recursos en el ciclo de vida de ML.

Para tener éxito, las empresas deben dejar de pensar en los modelos como un fin en sí mismos. El hecho es que un modelo es solo una forma de transformar datos escritos en forma de función. En resumen, el modelo es solo software.

Cuando los ingenieros de software piensan en poner un modelo en producción, sus preocupaciones giran en torno a cómo el modelo maneja los errores, si el modelo hará lo que se espera que haga, si puede responder lo suficientemente rápido y si se integrará de manera efectiva en la pila de software de la organización. .

Adoptar una mentalidad de software significa alejarse de un enfoque "artesanal" de manejar cada modelo como único hacia un enfoque "industrial" centrado en implementar las herramientas y los procesos para que los modelos entren en producción de manera eficiente y efectiva.

2. Cree un equipo de plataforma ML.

Dado que los modelos son software, las empresas deben mirar a sus organizaciones de software cuando piensan en cómo estructurar el equipo de operaciones de ML que será responsable de poner los modelos en producción.

Cuando una organización de software tiene equipos de desarrollo de productos respaldados por un equipo de plataforma de aplicaciones (junto con un grupo central para administrar la infraestructura), la organización de IA/ML debe tener equipos de ciencia de datos respaldados por un grupo de ingeniería de ML, junto con un equipo cuyo mandato es para ensamblar, administrar y monitorear la plataforma que usan los equipos de ciencia de datos y ML (es decir, un equipo de plataforma ML integrado por ingenieros de plataforma ML).

El ingeniero de la plataforma ML es un rol cruzado, similar a un puesto de DevOps, más software, ya que es posible que necesiten crear API o respaldar el desarrollo de patrones de infraestructura, por ejemplo. El conocimiento de los datos ayuda porque los datos están muy entrelazados con ML. El rol de ingeniero de la plataforma ML también requiere fuertes habilidades blandas, curiosidad y una mentalidad colaborativa, ya que trabajarán con diversos equipos a lo largo del ciclo de vida ML.

3. Establezca procesos de principio a fin.

Cuando una empresa todavía se encuentra en la etapa "artesanal" de ML y trabaja con solo unos pocos casos de uso, puede arreglárselas con procesos personalizados, tratando cada modelo como único. Sin embargo, a medida que amplía la cantidad de modelos que está poniendo en producción, necesita estandarizar sus procesos para garantizar un alto nivel de confianza tanto en los procesos en sí como en los modelos que está poniendo en producción.

Esto significa establecer procesos a lo largo de todo el ciclo de vida del modelo, lo que puede ser un desafío debido a los diversos equipos involucrados a lo largo del ciclo de vida. Por ejemplo, diferentes grupos o individuos tienden a participar en la promoción de modelos desde el laboratorio hasta la puesta en escena y luego la producción. Como resultado, es necesario implementar diferentes procesos para cada etapa.

Vale la pena decir nuevamente que los procesos deben establecerse a lo largo de todo el ciclo de vida del modelo. Sí, las transferencias deben definirse desde la experimentación hasta la producción. Sin embargo, el ciclo de vida de un modelo no termina cuando se pone en marcha en producción, y también se deben examinar los procedimientos para monitorear y volver a capacitar a los modelos.

4. Incorporar una plataforma operativa.

Muchas empresas que tienen éxito con AI/ML invariablemente tienen una plataforma dedicada para poner en funcionamiento los modelos por una variedad de razones. En primer lugar, las cargas de trabajo computacionales que admite un sistema en experimentación o entrenamiento son muy diferentes de las cargas de trabajo en la fase de puesta en funcionamiento.

En la experimentación, el factor limitante es la rapidez con la que puede activar los recursos de forma independiente para poder usar su Scikit-learn o TensorFlow, etc. Cuando ingresa a la fase de implementación, se preocupa por un conjunto completamente diferente de capacidades. ¿La plataforma es resistente y de alta disponibilidad? ¿Tiene conexiones con Datadog o New Relic?

Es por eso que incluso las empresas que tienen una plataforma de capacitación deberían considerar incorporar una plataforma operativa. Como regla general, la plataforma ML en sí debe proporcionar "autoservicio con medidas de seguridad", lo que permite a los científicos de datos implementar modelos en producción de manera rápida y segura. Como mínimo, las herramientas que requiere un equipo de ML de alto rendimiento para administrar las cargas de trabajo operativas de IA a escala deben incluir:

• Una plataforma de formación.

• Una plataforma operativa de IA (o de servicio).

• Una plataforma de datos.

• DevOps para orquestar todo.

• Un sistema de flujo de trabajo, que puede incluir o no una plataforma de predicción por lotes.

Al adoptar una mentalidad de software en torno a ML y establecer el equipo, los procesos y las herramientas para implementar modelos de ML de manera segura y eficiente, las empresas pueden reducir significativamente el tiempo necesario para poner los modelos en producción y ver el valor de sus innovaciones de investigación.

La implementación de procesos estándar de extremo a extremo también puede mejorar la gobernanza del modelo y preparar a los equipos para las próximas regulaciones sobre IA, como la Ley de IA de la UE y la Ley de Protección y Privacidad de Datos de los Estados Unidos (ADPPA).

Finalmente, estas empresas pueden liberar a sus científicos de datos para desarrollar modelos aún más innovadores para ofrecer productos y servicios inteligentes, lo que en última instancia aumenta el valor y el impacto de la IA en el negocio.

El Consejo de Tecnología de Forbes es una comunidad a la que solo se puede acceder por invitación para CIO, CTO y ejecutivos de tecnología de clase mundial. ¿Califico?