Hermes Desktop et Gemma 4 12b, système IA local et gratuit !

Introduction à la Potion Magique

Présentation de l'idée

• Le créateur annonce la sortie de deux nouveaux outils et propose un tutoriel pour créer une "potion magique" qui simplifiera l'utilisation de l'intelligence artificielle.

• Il souligne que ces systèmes d'agents IA apprennent avec l'utilisateur, offrant des capacités croissantes tout en gardant les données localement.

Avantages des Nouveaux Systèmes

• L'absence d'envoi de données vers des serveurs externes est mise en avant, ce qui protège la confidentialité des utilisateurs.

• Le créateur introduit Hermes et Jun, ainsi qu'un nouveau modèle d'IA nommé Gema 412B, promettant une simplification significative dans le travail quotidien.

Interrogation de l'Intelligence Artificielle

Fonctionnement Actuel

• Une explication du fonctionnement actuel de l'interrogation IA est donnée, où les utilisateurs interagissent via des interfaces comme ChatGPT.

• Les abonnements payants sont nécessaires pour accéder aux fonctionnalités avancées offertes par ces géants technologiques.

Coûts Cachés

• Le coût réel pour les utilisateurs n'est pas seulement le prix de l'abonnement mais aussi celui lié à la consommation de tokens lors des interactions avec les modèles IA.

• La plupart des utilisateurs ne réalisent pas que leur utilisation génère également des coûts pour les entreprises derrière ces services.

Utilisation d'API et Alternatives

API comme Solution Économique

• L'utilisation d'une API permettrait aux utilisateurs d'accéder directement aux modèles sans passer par un abonnement coûteux.

• Bien que cela implique encore certains coûts liés à l'utilisation, cela peut être plus économique selon le volume d'utilisation.

Personnalisation et Flexibilité

• Passer par une API offre plus de flexibilité et permet aux utilisateurs d'intégrer leurs propres solutions personnalisées au lieu de dépendre uniquement des interfaces proposées par les géants IA.

Développement Communautaire autour de Kiro

Outil Kiro

• Kiro est présenté comme un outil permettant un accès gratuit à plusieurs intelligences artificielles sans nécessiter d'abonnement ou service tiers.

• Ce logiciel fonctionne sur le principe d’API et facilite la manipulation directe des modèles IA disponibles en ligne.

Accès Simplifié

• Kiro permet aux utilisateurs de dialoguer avec différents modèles IA facilement grâce à une interface intuitive sans installation complexe ni dépendance externe.

Modèles Locaux et GMA 412B

Avantages du Modèle Local

• L'idée principale est que posséder un modèle AI localement élimine le besoin d'envoyer des données vers l'extérieur, garantissant ainsi la confidentialité.

Limitations Techniques

• Cependant, faire fonctionner ces modèles nécessite souvent du matériel puissant (comme une carte graphique performante), ce qui peut être un obstacle pour beaucoup.

Installation et Utilisation du GMA 412B

Téléchargement et Configuration

• Le modèle GMA 412B est open source, ce qui signifie qu'il peut être téléchargé gratuitement et utilisé sur sa propre machine si celle-ci répond aux exigences techniques minimales.

Logiciel LM Studio

• Pour faire fonctionner le modèle sur son PC, il faut installer LM Studio qui gère le téléchargement et l'exécution du modèle localement.

Évolution vers Agents Intelligents

Nouvelles Capacités en 2025

• En 2025, on observe une évolution vers des agents intelligents capables non seulement de répondre mais aussi d'effectuer des actions basées sur leur raisonnement.

Connectivité Améliorée

• Ces agents peuvent se connecter à divers outils via MCP (connecteurs), augmentant ainsi leur utilité dans divers contextes professionnels.

Système d'Orchestration et Intelligence Artificielle

Introduction au modèle d'orchestration

• Discussion sur l'importance des données locales pour alimenter un modèle d'intelligence artificielle, en mentionnant les grands modèles mondiaux comme ceux des États-Unis ou de la Chine.

• Proposition d'un écosystème où une IA pourrait orchestrer plusieurs tâches complexes, comme la gestion des emails et de l'agenda.

Fonctionnement de l'orchestrateur

• L'orchestrateur (Lia) décompose les instructions en étapes claires, telles que vérifier les emails et préparer des brouillons.

• Utilisation d'un système d'orchestration local pour gérer les différentes tâches via plusieurs IA spécialisées, permettant un traitement parallèle.

Collaboration entre agents IA

• Une fois qu'une tâche est terminée par une IA, elle remonte l'information à l'orchestrateur qui gère le flux de travail global.

• L'idée que le système peut apprendre et s'adapter en fonction des résultats fournis par chaque agent.

Personnalisation du système

• Importance de personnaliser le système avec des données spécifiques à l'utilisateur pour améliorer la pertinence des réponses fournies par les IA.

• Proposition d'intégrer un système de fichiers pour stocker et organiser les informations pertinentes liées à chaque utilisateur.

Gestion des fichiers et historique

• Suggestion d'utiliser un répertoire structuré sur la machine locale pour organiser divers types de données (messagerie, réseaux sociaux).

• Mention du projet Cloud Cowork qui a inspiré cette approche structurée dans la gestion des fichiers.

Évolution vers Open Clow

• Présentation du développement d'Open Clow basé sur Claude Code, visant à offrir une solution open source accessible à tous.

• Capacité du système à produire et structurer des informations tout en restant localisé sur la machine de l'utilisateur.

Avantages du format Markdown

• Explication du format Markdown comme étant léger mais structuré, facilitant ainsi le stockage et la manipulation des données sans alourdir le processus avec trop de code.

• Le Markdown permet une meilleure organisation lors de l'interaction avec le système tout en réduisant les coûts liés aux tokens utilisés par les modèles externes.

Interaction intelligente avec Lia

• Lia peut accéder aux instructions préenregistrées dans un fichier Markdown lors du démarrage d'une session pour mieux répondre aux demandes spécifiques.

• Exemple illustratif où Lia interroge le répertoire social pour récupérer automatiquement les informations nécessaires avant de publier sur différents réseaux sociaux.

Consolidation et apprentissage continu

• Le système apprend continuellement grâce aux interactions passées, consolidant ainsi ses connaissances dans son répertoire local.

• Chaque nouvelle tâche effectuée enrichit le répertoire local, rendant le système plus efficace au fil du temps.

Sécurité et évolution vers Hermes Agent

• Introduction à Hermes Agent comme alternative sécurisée à Open Clow, offrant une meilleure encapsulation contre les failles potentielles.

Installation simplifiée

• Annonce que Hermes Agent propose désormais une application desktop facile à installer sans nécessiter de compétences techniques avancées.

Introduction à LM Studio et GMA 412B

Présentation de LM Studio

• LM Studio n'est pas conçu pour le dialogue, mais plutôt pour servir des IA à d'autres systèmes. L'onglet chat est secondaire par rapport aux fonctionnalités principales.

• Le modèle GMA 412B est actuellement très populaire et recommandé pour les utilisateurs souhaitant explorer des modèles d'IA.

Recherche de Modèles

• Les utilisateurs peuvent rechercher différents modèles, comme ceux de Mistral ou Quen, en fonction de leurs besoins spécifiques.

• Il est crucial de ne pas confondre le GMA 412B avec d'autres versions moins performantes qui pourraient ne pas fonctionner sur tous les ordinateurs.

Téléchargement et Installation du Modèle

Processus de Téléchargement

• Une fois que l'utilisateur a sélectionné le modèle GMA 412B, il peut lancer le téléchargement directement depuis LM Studio.

• Après le téléchargement, l'utilisateur doit configurer certains réglages avant la première utilisation du modèle.

Configuration Initiale

• Lors de la configuration initiale, il est important d'ajuster la mémoire allouée au modèle afin qu'il fonctionne efficacement avec Hermes et Junent.

• La taille du contexte (nombre de tokens utilisés dans les échanges avec l'IA) doit être suffisamment grande pour garantir une performance optimale.

Optimisation des Paramètres

Ajustements Nécessaires

• Les utilisateurs doivent ajuster la taille du contexte à un minimum requis (64000 tokens), tout en tenant compte des limitations matérielles (ex: RAM).

• La quantisation permet d’optimiser l'utilisation de la mémoire sans sacrifier trop de qualité dans les réponses générées par le modèle.

Gestion des Ressources Système

• En réduisant la quantisation à Q8 ou Q4, on peut économiser davantage de mémoire tout en maintenant une qualité acceptable des résultats fournis par l'IA.

Intégration avec Hermes et Junent

Installation d'Hermes Agent

• L'installation d'Hermes Agent se fait facilement via son site officiel. Il nécessite un environnement Linux pour fonctionner correctement.

• Si l'utilisateur n'a pas Linux installé sur son PC Windows, il devra utiliser un sous-système compatible comme WSL.

Configuration d'Hermes Agent

• Après installation, il faut indiquer à Hermes Agent que LM Studio sera utilisé comme cerveau local pour traiter les requêtes.

Utilisation Pratique et Tests

Interaction avec le Modèle

• Une fois configuré, l'utilisateur peut interagir directement avec le modèle GMA 412B via Hermes Agent. Cela permet une communication fluide entre les deux systèmes.

Exemples Concrets

• Lors d'un test pratique, le système a pu répondre rapidement à une question sur un invité précédent grâce aux données stockées localement sur l'ordinateur.

Introduction à Hermes et ses fonctionnalités

Présentation de l'agent Hermes

• L'agent Hermes est capable de préparer des fiches pour les invités, utilisant des compétences développées disponibles dans le système.

• La première version de l'application desktop d'Hermes est présentée, avec des améliorations futures anticipées. Des limitations sur la visibilité des fichiers sont mentionnées.

Outils complémentaires

• L'utilisation d'Obsidian comme outil gratuit pour visualiser le système de fichiers local est recommandée.

• Les nouvelles sessions de conversation permettent d'explorer diverses compétences et informations via Hermes.

Fonctionnalités multimodales

Interaction avec les fichiers

• L'utilisateur peut envoyer une image à l'agent, qui peut comprendre son contenu sans nécessiter d'explications supplémentaires.

• Le modèle GMA 412B démontre sa capacité à analyser un slide complexe, illustrant la puissance du traitement multimodal.

Performance du modèle

• Malgré sa taille réduite (16 Go), le modèle GMA 412B montre une performance impressionnante en matière d'analyse et d'interprétation.

Compétences intégrées dans Hermes

Capacités avancées

• De nombreuses compétences sont déjà intégrées dans Hermes, y compris la génération de code et l'analyse de contenus YouTube.

• L'agent peut récupérer des transcriptions vidéo et créer des résumés ou articles de blog basés sur ces contenus.

Intégration avec Obsidian

• Il existe des outils pour éditer et créer des notes dans Obsidian tout en liant les répertoires de travail.

Configuration et personnalisation

Paramètres personnalisables

• Les utilisateurs peuvent configurer leur environnement en spécifiant un répertoire de travail local pour éviter la dispersion des fichiers.

• La possibilité d'utiliser différents modèles selon les besoins spécifiques est mise en avant, notamment lors de l'utilisation d'autres API comme Open Router ou Anthropic.

Sécurité et autorisations

• Le mode sécurité par défaut demande confirmation avant toute interaction avec le système, permettant aux utilisateurs de garder le contrôle sur leurs données.

Utilisation pratique et recommandations

Conseils pour une utilisation efficace

• Pour maximiser l'efficacité, il est conseillé aux utilisateurs débutants de laisser certaines configurations par défaut afin d'apprendre progressivement comment fonctionne le système.

Partage et collaboration

• Les utilisateurs sont encouragés à partager leurs expériences et idées via la plateforme Renault Dcode pour enrichir la communauté autour d'Hermes.