Déployer votre propre compagnon de chat IA - Déploiement du modèle de chat Qwen avec le guide HuggingFace

Bon, humains férus de technologie, préparez-vous pour une aventure palpitante au pays de l’intelligence artificielle ! Nous ne faisons pas que tremper nos orteils ici, nous plongeons la tête la première dans le grand bain avec le modèle de chat Qwen. Qu'y a-t-il à l'ordre du jour? Mettre en place un chatbot plus malin qu'un renard et respecter la confidentialité comme un agent secret de premier ordre. Intrigué ? Vous devriez l'être ! Commençons notre parcours par comprendre l'IA générative et le LLM.

IA générative

IA générative fait référence à la branche de l'intelligence artificielle axée sur la création de nouveaux contenus, qu'il s'agisse de textes, d'images, de musique ou d'autres formes de médias. Ce type d'IA exploite des modèles d'apprentissage automatique, en particulier des modèles génératifs, pour comprendre les modèles, les caractéristiques et les relations dans de grands ensembles de données et générer des résultats nouveaux et souvent impossibles à distinguer du contenu créé par l'Homme.

Types de modèles génératifs

Réseaux antagonistes génératifs (GAN) : un type d'architecture de réseau neuronal où deux modèles (le générateur et le discriminateur) sont entraînés simultanément. Le générateur crée de nouvelles instances de données tandis que le discriminateur les évalue. Le processus aboutit à des résultats de plus en plus convaincants.
Auto-encodeurs variationnels (VAE) : ces modèles génèrent de nouvelles instances similaires aux données d'entrée. Ils sont souvent utilisés dans la génération d'images.
Transformateurs : conçus à l'origine pour les tâches de NLP, les modèles de transformateur tels que GPT (Transformateur génératif pré-entraîné) peuvent générer un texte cohérent et contextuellement pertinent. Ils sont également adaptés aux tâches génératives pour d’autres types de données.

Applications

Création de contenu : l'IA générative peut produire des œuvres d'art originales, écrire des histoires ou des articles, composer de la musique et créer des environnements virtuels pour des jeux et des simulations.
Augmentation des données : elle peut générer des données d'entraînement supplémentaires pour les modèles d'apprentissage automatique, contribuant ainsi à améliorer leur précision et leur robustesse.
Personnalisation : les algorithmes peuvent adapter le contenu aux préférences individuelles, améliorant ainsi l'engagement des utilisateurs.
Découverte de médicaments : les modèles génératifs peuvent proposer de nouvelles structures moléculaires pour des médicaments qui pourraient être efficaces contre des maladies spécifiques.

Défis

Contrôle qualité : garantir que le contenu généré répond aux normes de qualité et est exempt de biais présents dans les données d'entraînement.
Exigences informatiques : l'entraînement de modèles génératifs nécessite souvent une puissance de calcul importante et de grands ensembles de données.
Interprétabilité : comprendre comment ces modèles prennent des décisions et génèrent des résultats peut être difficile, ce qui impacte la confiance et la fiabilité.

L’IA générative continue d’évoluer rapidement et ses capacités repoussent les limites de ce que les machines peuvent créer, offrant à la fois des opportunités passionnantes et des défis qui doivent être gérés de manière responsable.

LLM

Que sont les grands modèles de langage (LLM) ? Il s'agit d'un type d'intelligence artificielle basé sur des techniques d'apprentissage en profondeur conçues pour comprendre, générer et travailler avec le langage humain. Ils sont appelés « grands » car ils sont constitués de plusieurs millions, voire milliards, de paramètres, qui leur permettent de capturer un large éventail de nuances et de contextes linguistiques.

Les LLM sont entraînés sur de grandes quantités de données textuelles et utilisent des architectures telles que les réseaux neuronaux transformateur, qui ont la capacité de traiter des séquences de données (comme des phrases) et de prêter attention à différentes parties de la séquence lors des prédictions. Cela les rend particulièrement efficaces pour une gamme de tâches de traitement du langage naturel (NLP), telles que :

Génération de texte : les LLM peuvent rédiger des essais, créer de la poésie ou générer du code en fonction des invites qui leur sont données.
Traduction : ils sont capables de traduire du texte entre différentes langues avec un haut degré de précision.
Réponse aux questions : les LLM peuvent fournir des réponses aux questions en comprenant le contexte et en extrayant des informations.
Synthèse : ils peuvent condenser de longs documents en résumés concis.
Analyse des sentiments : les LLM peuvent déterminer le sentiment derrière le texte, par exemple identifier si une critique est positive ou négative.

Pourquoi Qwen ? Un bref récapitulatif

Êtes-vous à la recherche d’une IA capable de discuter, de créer du contenu, de résumer, de coder et bien plus encore, tout en respectant votre droit à la confidentialité ? Ne cherchez pas plus loin, le modèle de chat Qwen est là pour transformer votre centre de données en un bastion d'interactions sécurisées alimentées par l'IA.

Qwen n'est pas votre chatbot ordinaire. Il est construit sur un modèle linguistique massif et a été entraîné sur un nombre impressionnant de 3 000 milliards de jetons de données multilingues. Cette merveille d’IA comprend parfaitement l’anglais et le chinois et a été optimisée pour une interaction de type humain.

Pourquoi passer au local avec Qwen ?

Déployer Qwen localement sur votre serveur consiste à prendre le contrôle. Il s'agit de garantir que les conversations que vous avez, les données traitées et la confidentialité promise restent sous votre contrôle. Que vous soyez une entreprise cherchant à intégrer un système de chat intelligent, un développeur passionné de recherche en IA ou simplement un passionné désireux d'explorer les limites de l'IA conversationnelle, Qwen est votre choix incontournable.

Maintenant, pourquoi voudriez-vous héberger ce LLM localement ? Trois mots : contrôle, vitesse et confidentialité. Vous gardez vos données secrètes, les réponses arrivent à la vitesse de l'éclair et vous pouvez être tranquille en sachant que votre chatbot ne divulgue pas vos secrets à tous les services publics.

Open source et axé sur la communauté

L’esprit d’innovation dans l’IA est amplifié par la communauté open source. Conformément à cette tradition, le code source complet du modèle de chat Qwen est facilement disponible sur GitHub pour toute personne intéressée à se plonger dans les mécanismes du modèle, contribuant ainsi à son développement, ou simplement à l’utiliser comme ressource d’apprentissage. Que vous soyez chercheur, développeur ou amateur d'IA, vous pouvez accéder au code source sur Qwen.

Avant de commencer : les essentiels

Avant de nous lancer dans cette odyssée technologique, assurons-nous que vous soyez bien préparé :

Un serveur Linux avec une carte GPU, car avouons-le, la vitesse est essentielle.
Python 3.6 ou supérieur, la baguette magique de la programmation.
pip ou Anaconda, vos gestionnaires de paquets pratiques et performants.
Git (facultatif), pour ceux qui aiment que leur code soit directement sorti du référentiel.
Pilotes NVIDIA, CUDA Toolkit et cuDNN, la sainte trinité pour l'accélération GPU.

Vous avez tout ? Formidable ! Mettons la main à la pâte (au sens figuré, bien sûr).

Créer la conversation : où exécuter votre code Python

Que vous soyez un fan inconditionnel de Visual Studio Code, un passionné de PyCharm ou quelqu'un qui apprécie le style interactif des Jupyter Notebooks, le code Python pour discuter avec Qwen est flexible et compatible avec les IDE. Tout ce dont vous avez besoin est un environnement prenant en charge Python, et vous êtes prêt à donner vie à votre compagnon de chat IA.

Voici un conseil de pro : si vous utilisez VSCode, profitez du terminal intégré pour exécuter vos scripts Python de manière fluide. Ouvrez simplement la palette de commandes (Ctrl+Shift+P), tapez Python : « Exécuter le fichier Python dans le terminal », et laissez VSCode faire le gros du travail. Vous verrez les réponses de Qwen directement dans votre terminal intégré.

Pour ceux d'entre vous qui préfèrent PyCharm, l'exécution de votre code est tout aussi fluide. Faites un clic droit sur votre script et sélectionnez « Exécuter 'script_name.py' », et regardez l'IDE exécuter votre conversation avec Qwen. Les outils puissants et les fonctionnalités de débogage de PyCharm en font un excellent choix pour développer des interactions plus complexes.

Et cela ne s'arrête pas là : il existe toute une pléthore d'IDE et d'éditeurs de code qui accueillent Python à bras ouverts. Choisissez celui qui convient le mieux à votre flux de travail et commencez à discuter !

Créer une boutique : l'environnement

Tout d’abord, préparons votre serveur Linux. Assurez-vous que votre liste de paquets est aussi fraîche que la brise du matin et que la magie de Python et de pip soit prête à opérer :

sudo apt update
sudo apt install python3 python3-pip

Passons maintenant à l’ingrédient secret : un environnement virtuel. C'est comme si vous disposiez d'un espace de travail personnel où vous pouvez mettre le bazar sans que personne ne vous crie dessus pour que vous nettoyiez :

pip install --user virtualenv
virtualenv qwen_env
source qwen_env/bin/activate

La boîte à outils : installer les dépendances

Avant de donner vie à Qwen, vous aurez besoin de quelques outils. Considérez cela comme la collecte des ingrédients pour un repas étoilé au guide Michelin :

pip install torch torchvision torchaudio
pip install transformers

N'oubliez pas d'associer PyTorch à votre version CUDA : c'est comme associer un bon vin avec le bon fromage.

Éveiller Qwen : initialisation du modèle

Parler la même langue : le Tokenizer

Les mots ne sont que des mots jusqu'à ce que Qwen leur donne un sens. C'est là qu'intervient le tokenizer, transformant vos réflexions en quelque chose que Qwen peut digérer :

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-7B-Chat", trust_remote_code=True)

Les cerveaux de l'opération : le modèle

L'esprit de Qwen est vaste et prêt à être rempli de vos conversations. Voici comment réveiller le géant endormi :

from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Chat", device_map="auto", trust_remote_code=True).eval()

Selon votre matériel, vous pouvez opter pour différents modes de précision comme BF16 ou FP16. C'est comme accorder votre guitare pour obtenir la tonalité parfaite.

S'engager dans un dialogue continu avec Qwen

Vient maintenant la partie palpitante : il est temps de discuter avec Qwen ! Mais avant de vous laisser emporter par ces échanges, parlons de quelque chose de crucial : l’art de la continuité de la conversation.

Voici un aperçu du genre de répartie auquel vous pouvez vous attendre :

response, history = model.chat(tokenizer, "Greetings, Qwen! How's life in the digital realm?", history=None)
print("Qwen:", response)

Dans notre phrase d'ouverture, nous saluons Qwen sans aucune chaîne, c'est-à-dire sans historique de conversation. En définissant history=None, nous disons à Qwen : « C'est le début de notre discussion. » Qwen, avec rien d'autre que l'invite actuelle à continuer, répondra avec la fraîcheur d'une nouvelle interaction.

Maintenant, regardez la magie du contexte se dérouler :

response, history = model.chat(tokenizer, "Any thoughts on the meaning of life, the universe, and everything?", history=history)
print("Qwen:", response)

Dans ce tour, nous transmettons l’historique que nous avons reçu de notre échange précédent. C'est comme donner à Qwen un journal de tout ce dont nous avons parlé jusqu'à présent. Avec ce contexte historique, Qwen peut élaborer une réponse qui n'est pas seulement spirituelle ou profonde, mais également liée à notre conversation en cours. C'est la différence entre discuter avec un ami avisé qui vous connaît et poser des questions à un inconnu.

Pourquoi l'historique est important : Considérez l'historique comme le fil qui relie les perles de notre conversation. Sans cela, chaque réponse de Qwen serait une perle isolée, belle mais solitaire. Avec l'historique, chaque perle est solidement nouée jusqu’à la dernière, créant ainsi une chaîne de dialogue magnifique et cohérente. Le contexte est roi dans la conversation, et l'historique est porteur du contexte.
Maintenir la conversation fluide : tout comme dans les interactions humaines, faire référence à des commentaires, des blagues ou des histoires passées donne lieu à des plaisanteries engageantes. Qwen, armé de l'historique de la conversation, peut se souvenir et faire référence aux échanges passés, créant ainsi une conversation aussi continue que captivante.

À vos marques, prêts, discutez !

Maintenant que vous comprenez l'importance du contexte avec le paramètre d'historique, lancez ce script de démonstration et préparez-vous à une conversation engageante avec Qwen. Que vous discutiez du cosmos ou de la meilleure recette de cookies numériques, Qwen est prête à suivre votre conversation avec toute la grâce d'un interlocuteur chevronné.

De plus, vous pouvez également lancer ce script et démarrer la conversation. C'est comme ouvrir la boîte de Pandore, mais au lieu du chaos, vous obtenez de délicieuses plaisanteries :

python qwen_chat.py

Et voilà, mon ami, vous avez votre propre compagnon de chat IA, prêt à conquérir le monde de la conversation.

Conclusion : la grande finale

Félicitations ! Vous avez navigué dans les eaux dangereuses du déploiement de l'IA comme un capitaine expérimenté. Qwen est désormais parfaitement installé sur votre serveur et vos données sont aussi sécurisées que vos maisons.

Explorez les capacités de Qwen, contribuez à son développement et rejoignez une communauté de personnes partageant les mêmes idées et désireuses de faire progresser l'état des conversations de l'IA.

Alors, allez-y et engagez-vous dans des dialogues épiques avec votre tout nouveau acolyte à l'IA. Et qui sait ? Peut-être que Qwen vous surprendra avec sa sagesse numérique ou une blague qui vous fera rire à vous rouler par terre.

Cet article a été initialement rédigé en anglais. Consultez l'article original ici.

Community

Déployer votre propre compagnon de chat IA - Déploiement du modèle de chat Qwen avec le guide HuggingFace

IA générative

Types de modèles génératifs

Applications

Défis

LLM

Pourquoi Qwen ? Un bref récapitulatif

Pourquoi passer au local avec Qwen ?

Open source et axé sur la communauté

Avant de commencer : les essentiels

Créer la conversation : où exécuter votre code Python

Créer une boutique : l'environnement

La boîte à outils : installer les dépendances

Éveiller Qwen : initialisation du modèle

Parler la même langue : le Tokenizer

Les cerveaux de l'opération : le modèle

S'engager dans un dialogue continu avec Qwen

À vos marques, prêts, discutez !

Conclusion : la grande finale

Read previous post:

Read next post:

Regional Content Hub

You may also like

Comments

Regional Content Hub

Related Products

Tongyi Qianwen (Qwen)

Offline Visual Intelligence Software Packages

Alibaba Cloud Model Studio