.svg){kind=small}
L'évolution vers l'analyse moderne des données
L'objectif des données dans l'entreprise est d'éclairer les décisions économiques. Et, bien sûr, nous le faisons avec l'analyse. Grâce à la puissance du cloud computing, la Business Intelligence (BI) qui, autrefois, ne permettait que d'établir des rapports sur les transactions passées, a évolué vers une discipline d'analyse diagnostique et descriptive qui peut fonctionner sur de grandes quantités de données et à la vitesse de l'entreprise. En outre, l'apprentissage automatique et l'IA permettent des analyses prédictives et prescriptives pour prévoir les ventes avec précision, comprendre et entretenir leurs clients les plus précieux, et plus encore. En d'autres termes, elles peuvent aider les entreprises à générer des revenus et à rester compétitives.
Il n'est donc pas étonnant que le récent rapport de 451, "Voice of the Enterprise : AI & Machine Learning Use Cases 2021 ", a révélé que 95 % des entreprises interrogées considèrent l'IA comme importante dans leurs efforts de transformation digitale. on est pas non plus surpris que la réalité ne soit pas à la hauteur des idéaux.
IBM a constaté que seulement 21 % des plus de 5 000 entreprises interrogées avaient déployé l'IA, que de nombreux projets d'IA ne sont jamais mis en production et que jusqu'à 70 % des entreprises déclarent que leurs investissements dans l'IA n'ont aucune valeur.
Mais l'opérationnalisation peut faire évoluer ces statistiques.
Importance de l'opérationnalisation
Pour démontrer l'importance de l'opérationnalisation, commençons par le grand-père de tous les Ops, DevOps. DevOps signifie beaucoup de choses pour beaucoup de gens : agilité, communication, collaboration, alignement, fiabilité, décloisonnement. Ce sont de grands avantages de l'opérationnalisation.
Sans une opérationnalisation de type DevOps, les modèles ML sont souvent créés en silo. Des déconnexions peuvent se produire entre l'équipe de data science qui crée le modèle et l'équipe IT qui le déploie ou l'équipe métier qui doit relever le défi. Votre équipe de data science peut s'efforcer de perfectionner quelque chose sans que l'entreprise n'y participe suffisamment en raison de l'impossibilité de tester et de déployer des itérations en continu. Et si le système ne fonctionne pas correctement lorsqu'il est mis en production ? Eh bien, si vous n'êtes pas opérationnalisé, vous vous retrouvez hors ligne pendant des semaines ou des mois pour tout recommencer.
MLOps rend cette discipline opérationnelle et garantit que votre modèle évoluera en fonction des changements, sans que vous ayez à vous arrêter, à retravailler et à recommencer.
Et si la fiabilité et l'agilité sont les avantages de l'opérationnalisation, c'est l'automatisation et la surveillance qui soutiennent l'opérationnalisation qui constituent l'essence de XOps. L'automatisation et la surveillance permettent de surmonter l'énorme discordance entre ce que les gens savent et quand et comment ils le savent, en fournissant l'harmonie qui permet de surmonter la cacophonie entre les entreprises, le développement et les opérations.
Pourquoi les MLOps et les XOps ont besoin de DataOps
Si l'opérationnalisation de vos modèles est un début, l'ajout de DataOps est le multiplicateur de force pour l'efficacité de votre machine learning et de vos MLOps. Et c'est la même chose avec n'importe quelle discipline Ops. Vous les trouverez toutes, de CloudOps à SecOps en passant par DevOps, ont besoin de DataOps.
Pour comprendre pourquoi, nous pouvons nous pencher à nouveau sur le ML/AI. Plus un algorithme dispose de données pour travailler, plus les résultats sont précis. Mais la valeur de l'IA, du ML et de l'analyse n'a de sens que si les données sur lesquelles elle fonctionne sont valides tout au long du cycle de vie du ML. Vous avez besoin de données échantillons pour l'exploration, de données de test et de formation pour l'expérimentation, et de données de production pour l'évaluation. Les méthodes traditionnelles d'intégration de données peuvent être capables de procédures de contrôle de la qualité des données pour s'assurer que seules les données les plus propres sont intégrées aux modèles - mais ces pipelines sont fragiles. L'échelle et la complexité des architectures de données dynamiques d'aujourd'hui rendent cette approche très risquée. Ainsi, à mesure que les entreprises rendent le ML opérationnel, elles dépendent de plus en plus de pipelines de données intelligents et de DataOps, où l'observabilité des données et la résilience des pipelines sont intégrées aux pipelines eux-mêmes.
Et il en va de même pour toutes les disciplines Ops, car elles ont toutes besoin de pipelines de données intelligents. Au-delà de la construction, les pipelines de données intelligents doivent fonctionner en permanence. Nous en arrivons donc aux trois principes qui alimentent le succès de XOps.
Comment DataOps alimente le succès de XOps
Chaque discipline des Ops a besoin de données continues et la fourniture de ces données continues nécessite des DataOps. Les trois principes clés qui permettent la livraison continue de données sont la conception continue, les opérations continues et l'observabilité continue des données.
La conception continue signifie que votre équipe de données peut très facilement démarrer, étendre et collaborer sur des pipelines de données sur une base continue. Elle le fait avec 10x moins de temps perdu et 50x moins de temps improductif Elle est axée sur l'intention, de sorte que les ingénieurs de données peuvent se concentrer sur ce qu'ils font plutôt que sur la manière dont ils le font. La conception continue est basée sur des composants afin que les fragments d'un pipeline puissent être réutilisés autant que possible. Enfin, il existe une expérience unique pour chaque modèle de conception.
Les opérations continues donnent à votre équipe chargée des données la possibilité de gérer facilement les pannes, de passer à de nouvelles plateformes en cloud et de répondre aux changements, qu'il s'agisse de pannes ou de demandes commerciales. Elles permettent des déploiements automatisés, avec des pipelines orchestrés dans n'importe quelle combinaison d'infrastructures et de plateformes sur site et en cloud. Et surtout, ces pipelines de données sont découplés autant que possible - au sein du pipeline, entre les pipelines, depuis les origines, les destinations et les processus externes. Plus vous découplez, plus il est facile de changer.
L'observabilité continue des données aide l'équipe chargée des données à comprendre le contenu des données et à respecter les politiques de gouvernance et de conformité. Elle élimine les angles morts grâce à un panneau de contrôle de mission unique et toujours disponible. La compréhension des données n'a pas de prix, elle est essentielle à la transformation digitale et au pilotage de l'innovation.
L'avenir des données : Les moyens et non les fins
L'avenir des données est celui où toutes leurs caractéristiques seront émergeantes. Et ce que on entend par là, c'est que vous obtiendrez une macro-compréhension de vos données en surveillant les modèles émergents dans la façon dont les gens utilisent les données, même si elles évoluent. Les "fins" de la valeur économique ne sont pas le résultat d'un processus descendant, où quelques experts nommés se réunissent pour comprendre la signification des données et vous dire comment mettre en œuvre des pipelines de données a priori. Il s'agit plutôt de modèles auto-organisés qui résultent de la coopération entre tous ces micro-participants autonomes. La clé de cette coopération est l'adhésion à un même ensemble de règles et de principes. C'est le "moyen" de DataOps.
Et on peut dire que : Si vous êtes un consommateur de données, exigez l'opérationnalisation. Si vous êtes un fournisseur de données ou un ingénieur en données, fournissez l'opérationnalisation. C'est la seule façon de faire en sorte que les données deviennent l'élément vital de l'entreprise.
