Nvidia vient de présenter NeMo Guardrails, une couche logicielle qui permet de guider les réponses des intelligences artificielles génératives. Le système doit permettre d’éviter les hallucinations, ainsi que de créer des chatbots personnalisés, plus sûrs et qui sont limités dans les sujets qu’ils peuvent aborder.

au sommaire

    Les intelligences artificielles génératives ont la fâcheuse tendance à toujours vouloir apporter une réponse, même quand elles n'ont pas les bonnes informations. Ceci a créé un phénomène baptisé « hallucinationshallucinations », où les chatbots donnent des mauvaises réponses qui semblent parfaitement plausibles. Pour tenter de contrer ce phénomène et offrir un moyen de personnaliser les IA, Nvidia a créé NeMo Guardrails.

    Le système est une couche logicielle supplémentaire qui surveille tous les échanges avec un grand modèle de langage (LLM). Il a été conçu pour fonctionner avec tous les LLM, y compris GPT de ChatGPTChatGPT, et est compatible avec LangChain, une plateforme de développement d'applicationsapplications utilisant les LLM.

    Une IA qui vérifie ses propres affirmations

    NeMo Guardrails utilise une base de données pour vérifier les réponses générées par le modèle de langage. Si l'information ne s'y trouve pas, le chatbot génère la réponse plusieurs fois, et si les réponses diffèrent, il en conclut qu'il s'agit d'une hallucination. Le système s'inspire du SelfCheckGPT développé à l'université de Cambridge. En plus d'éviter les hallucinations, le système peut bloquer le langage inapproprié, empêcher l'IA de se connecter à des applications externes non sécurisées, et permet de limiter les sujets qu'elle peut aborder.

    NeMo Guardrails pourra être personnalisé avec des connaissances très basiques en programmation. Nvidia a développé un langage de modélisationmodélisation baptisé Colang qui permet de définir le comportement des IA avec le langage naturel. Le système peut donc être facilement utilisé pour créer des chatbots spécifiques pour des entreprises, par exemple un chatbot pour assurer le service clients qui ne peut pas parler de la météométéo ou des produits de la concurrence...