SSH for infrastructure

bonjour antoine solution engineer chez cloudflare dans cette vidéo je vais vous parler du cloudflare AI Gateway et plus globalement comment nous chez cloudflare on répond à la problématique en interne de traquer les coûts au niveau AI donc les employés qui utilisent des modèles d'AI comment on s'assure d'avoir une visibilité sur les coûts mettre des règles en place de pouvoir changer de modèle facilement de pouvoir changer d'outil facilement de pouvoir changer de provider facilement pour en fait avoir une pérennité dans notre usage et de pas se vendeurloquer avec un anthropique avec un openAI alors ce dont on va parler aujourd'hui c'est des informations qui sont présentes dans un article de blog qu'on a qu'on a partagé récemment qui montre en fait notre stack comment on s'organise justement pour ne pas se vendeur loquer pour pouvoir changer de modèle facilement en fait faire des règles etc avoir cette visibilité et ça passe notamment avec l'utilisation d'un d'un outil cloudflare qui s'appelle l'AI l'AI gateway donc je vais vous en parler aujourd'hui donc l'AI gateway permet d'avoir de la visibilité sur les coûts qui dépensent quoi par exemple en interne quels sont les modèles utilisés combien nous coûte un modèle spécifique et aussi avoir du contrôle de coût donc on peut mettre par exemple des règles du rate limiting on va aussi pouvoir fixer des budgets par équipe ce genre de choses et en plus donc aujourd'hui on va vraiment se concentrer sur la partie à la gestion des coûts observabilité mais on a aussi une partie dans l'AI gateway de firewall et AI donc pour éviter de d'avoir des utilisateurs qui génèrent des du contenu lié voilà à des crimes voilà des sujets qui sont qui sont sensibles et on va aussi avoir la dlp donc data loss protection pour éviter que de la donnée interne de l'entreprise soit envoyée à à l'externe donc ce qui va être important aujourd'hui c'est déjà dans un premier temps se rendre compte que c'est la fin des abonnements aujourd'hui ce qu'on peut le all you can eat ou presque le all you can eat on a on avait à disposition pour 100 dollars par mois pour 200 dollars par mois au niveau des subscriptions ça aujourd'hui c'est terminé et les anthropiques les open ai etc déplacent en fait le modèle via de l'usage et puis aille et puis aille ennui donc c'est ce qu'on voit de plus en plus la question c'est ce que vous êtes prêt pour ce changement ou alors est-ce que vous êtes en train en quelque sorte de vous vendeur ok en utilisant par exemple uniquement cloud code qui va être liée assez profondément en fait avec la pays d'anthropic ou alors vous allez utiliser un client et ai harness au lieu d'utiliser cloud code mais quelque chose de plus ouvert où vous allez avoir la possibilité de connecter différents modèles et c'est ce modèle que l'on a mis en place chez cloud faire nous on utilise au lieu d'utiliser open cloud code on utilise à une solution qui s'appelle open code et open code en fait une solution open source d'agent ou en fait on qui va remplacer complètement un cloud code alors tous ces systèmes de skills sub-agent etc etc mais la grosse plus-value de cet outil et c'est la raison pour laquelle c'est que l'on a choisi c'est qu'on peut connecter open code à n'importe quel modèle et donc du coup de pas être vendeur lock alors avec ça une première solution ça serait de se dire voilà dans mon entreprise dans mon organisation je vais déployer open code sur les sur les débats et utilisateurs et puis je vais aller connecter différents différents providers de manière individuelle etc va se poser en fait plusieurs problèmes 1 comment vous allez gérer quel provider est connecté à open code à chaque fois donc des questions de fédération si vous prenez cette route aussi les coûts vont être dans les dans les épis ailles de ces différents providers donc pour aller récupérer combien anthropique m'a coûté alors organiser des tableaux de bord pour aller récupérer données anthropique open ai etc et puis si on veut créer un modèle qui peut pouvoir switcher de modèle automatiquement c'est des choses à construire et c'est là qu'en fait le clair faire et agitoué à prendre tout son sens c'est que mon client open code au lieu d'aller le connecter de manière individuelle à chaque provider anthropique open ai etc je vais connecter open code à mon et à guetoué et mon et à guetoué cloud flair là du coup elle être connectée à d'autres providers donc cloud flair workers clavier workers et aille la partie l'épi aille d'opener un extra et en plus de passer les requêtes assez à 16 et puis aille on va pouvoir donc avoir de la visibilité avoir des logs faire cette partie firewall dlp et décision tri de pouvoir changer de modèle à la volée dont j'ai parlé tout à l'heure dans la partie tracking des coûts qui va être important c'est d'identifier à qui qui consomme qui consomme quoi quelle équipe consomme quoi donc la première question c'est comment on gère la partie identité comment c'est qui est connecté à open code et là nous notre solution et ben c'est d'utiliser cloud flair 0 trust donc la terre 0 trust produit pour mettre en place une stratégie secure access service edge dans notre organisation ou dit plus simplement voilà c'est le remplacement des vpn vpn moderne dans avec clair faire 0 trust il ya forcément un mécanisme d'authentification on chez on sait à chaque fois quelle personne quel utilisateur fait quelle quelle requête donc en fait on va utiliser cette connexion cette notion de d'identité pour identifier qui qui consomme quoi ce que je vous propose c'est de vous faire une démonstration concrète en se mettant la place du du développeur vouloir consommer des des tokens de faire de l'inférence faire des prompts et de voir comment ça remonte dans la partie et ai dit tu es est aussi là qu'on voit ensemble la partie switch switch de modèle arbre de décision alors ici on se retrouve dans dans un environnement mac os dans lequel en tant qu'utilisateur voilà je suis connecté à cloud flair 0 trust et je souhaite utiliser open code donc open code que j'ai pris un préalablement installé si je lance open code ici je vois que voilà je je n'utilise pas les modèles les modèles qui sont servis par les high gateway donc j'ai besoin de m'authentifier c'est ce qu'on va ce qu'on va faire alors j'ai besoin de m'authentifier donc je vais faire open code au login et là je vais mettre l'url de de mon nea gateway donc que j'ai appelé open code point antoine point x y z voilà et là je vais lancer l'authentification donc là maintenant on a la mire pour me connecter donc soit avec octa soit google avec mon mon idp alors ici je vais choisir choisir une connexion paramètre puisque je suis sur une machine virtuelle pour la démo donc en mettant mon mail ici je vais recevoir un code pour m'authentifier donc j'ai reçu le code 95 voilà donc là je suis correctement authentifié et si je retourne dans mon terminal voilà il me dit que je suis authentifié maintenant si je lance open code voilà et que je tape modèle pour choisir mon modèle je vais prendre par exemple alors je peux voilà choisir open ai anthropique c'est ce que j'ai configuré mais je vais par exemple ici exécuter un modèle qui tourne directement sur cloudflare on voit ici cloudflare est un gateway donc je suis bien connecté et le world voilà j'ai eu la réponse et maintenant on va aller dans la partie et à guettou et pour voir qu'elle qu'elle données je récupère alors sur cloudflare dans la partie et à guettou et je peux avoir plusieurs et à guettou et et j'ai exécuté celle ci donc là on va avoir des informations sur le nombre de tokens qui ont été utilisés au global sur cette et à guettou et le coût et c'est donc ça peut avoir du sens par exemple de créer une et à guettou et par par type d'application mais ici pour les employés on va rester sur une seule et à guettou et et là si je regarde dans les logs ont été des locs qui remontent et je peux voir mon mon prompt si je l'agrandis donc là on va voir voilà le prompt est ce qui est intéressant et ici on voit qui a fait le ce prompt ok et de quelle équipe depuis quelle équipe il vient et ces données ont été automatiquement récupérées puisque je suis connecté à la partie cloudflare zéro trust l'équipe a aussi été récupérée par le groupe mon groupe octa et ce qui est intéressant c'est que ces données donc je vais pouvoir m'en servir pour faire une analyse de coûts par exemple ici en faisant un filtre sur engineering je peux voir voilà les les dépenses pour pour cette équipe et sur sur quel modèle maintenant ce qui peut être intéressant c'est de voir comment il est possible de switcher de modèles pour une équipe et de faire ça de manière dynamique on peut notamment utiliser ce qu'on appelle les dynamique route et pour dire par exemple voilà lorsque j'ai ici par un if else donc lorsque j'ai quelqu'un qui vient de team engineering alors l'équipe team engineering pourra utiliser un modèle comme kim et ceux qui ne sont pas de l'équipe engineering utiliseront peut-être un modèle un petit peu moins un peu moins cher donc je peux faire automatiquement des arbres de des arbres de décision et je peux aussi et c'est ça qui va être très intéressant faire des limites en termes de budget donc je dis voilà la team engineering elle va avoir un budget par jour de 1000 $ si on est dans le budget on a on utilise ce modèle là et si on est on est sous le budget donc si on a dépassé le budget on va utiliser par exemple un autre un autre modèle je vais par exemple ici glm flash donc il est possible voilà de de créer ce genre de ce genre de système il est aussi possible bien évidemment sur la partie visibilité des coûts d'exporter les les logs qui contiennent le nombre de l'utilisation du nombre de token ce genre de choses où vous voulez qu'ils peuvent après être intégrés dans d'autres dashboards et des grafana des siems ce que vous voulez on a possibilité de mettre en cache des réponses de faire du du rate limiting pas mal de choses et aussi toute cette partie firewall firewalling pour éviter la génération de contenu inapproprié et aussi cette partie data lost prevention donc si par exemple j'essayais d'insérer de la donnée client ou autre et on peut vraiment choisir différentes types de détection on pourrait bloquer les les roquettes j'espère que cette vidéo vous a été utile voilà ma mon objectif c'est d'être vous montrer les fonctionnalités de de visibilité de lien le lien qui peut exister avec cloudflare zero trust cloudflare one et la partie et à g2 et et de vous expliquer comment cloudflare fonctionne en interne et comment vous pourriez répliquer ce set up avec les outils du catalogue la faire de la moindre question n'hésitez pas à me contacter à très vite au revoir