icône mistral-7b.com

Chatbot gratuit de Mistral 7B en ligne et chatbot zephyr-7b

Plus de 5000 guides et conseils sur le LLM en source ouverte

Qu'est-ce que le Mistral 7B ?

Mistral Ai 7B logo

Mistral 7B est le premier grand modèle linguistique réalisé gratuit par Mistral AI pour tous. L'IA générative a besoin de modèles ouvertsLe développement de l'IA générative a besoin d'un modèle opensource gratuit.

Mistral-7B-v0.1 est un modèle petit et puissant adaptable à de nombreux cas d'utilisation. Mistral 7B est meilleur que Llama 2 13B sur tous les benchmarks, possède des capacités de codage naturel et une longueur de séquence de 8k. Il est publié sous licence Apache 2.0. Mistral AI l'a rendu facile à déployer sur n'importe quel cloud, et bien sûr sur votre GPU de jeu.

Nous avons comparé Mistral 7B à la famille Llama 2, et nous avons refait nous-mêmes toutes les évaluations des modèles pour une comparaison équitable. Performances de Mistral 7B et de différents modèles de lamas sur un large éventail de points de référence. Pour toutes les mesures, tous les modèles ont été réévalués avec notre pipeline d'évaluation pour une comparaison précise. Mistral 7B surpasse de manière significative Llama 2 13B sur toutes les mesures, et est au même niveau que Llama 34B (puisque Llama 2 34B n'a pas été publié, nous rapportons les résultats sur Llama 34B). Il est également largement supérieur dans les benchmarks de code et de raisonnement.

La performance en détail

Chat avec le modèle Mise au point du modèle Mistral 7B

Le meilleur chat bot Zephyr 7B à l'intérieur

logo ephyr-7b-alpha

Discuter avec OpenOrca

ChatWithBuddy fait par OpenaiBuddy

Puis-je faire fonctionner Mistral AI avec mon GPU ?

En savoir plus sur le LLM opensource

Top Mistral 7B Fine-tune Models

logo openhermes

OpenHermes-2-Mistral-7B est un Mistral Fine-tune à la pointe de la technologie.

OpenHermes a été entraîné sur 900 000 entrées de données générées principalement par GPT-4, à partir d'ensembles de données ouvertes dans le domaine de l'IA. 

Ces ensembles de données publiques ont fait l'objet d'un filtrage approfondi, ainsi que d'une conversion de tous les formats en ShareGPT, qui a ensuite été transformé par axolotl pour utiliser ChatML.   Plus d'informations sur huggingface

logo ephyr-7b-alpha

Zephyr est une série de modèles linguistiques entraînés à agir comme des assistants utiles. Zephyr-7B-α est le premier modèle de la série. Il s'agit d'une version affinée de mistralai/Mistral-7B-v0.1 qui a été entraîné sur un ensemble d'ensembles de données synthétiques accessibles au public, à l'aide de Optimisation des préférences directes (DPO). Nous avons constaté que la suppression de l'alignement intégré de ces ensembles de données a permis d'améliorer les performances sur Banc MT et a rendu le modèle plus utile. Toutefois, cela signifie que le modèle est susceptible de générer des textes problématiques lorsqu'il est sollicité et qu'il ne devrait être utilisé qu'à des fins éducatives et de recherche.

Chat avec zephyr

dolphin finetuned de mistral 7b

ehartford/dolphin-2.1-mistral-7b est un modèle non censuré qui a été filtré pour éliminer les alignements et les biais. Cela rend le modèle plus conforme. Nous vous conseillons d'implémenter votre propre couche d'alignement avant d'exposer le modèle en tant que service. Il sera très conforme à toutes les demandes, même celles qui sont contraires à l'éthique. Veuillez lire mon article de blog sur les modèles non censurés. https://erichartford.com/uncensored-models Vous êtes responsable de tout contenu que vous créez à l'aide de ce modèle. Profitez-en de manière responsable.

openocra

Open-Orca/Mistral-7B-OpenOrca Les évaluations du HF Leaderboard placent ce modèle comme #1 pour tous les modèles inférieurs à 30B au moment de la sortie, surpassant tous les autres modèles 7B et 13B ! Vous pouvez tester ce modèle ici > Discuter avec OpenOrca  

Cette version est entraînée sur un sous-ensemble filtré de la plupart de nos données augmentées GPT-4. Il s'agit du même sous-ensemble de données que celui qui a été utilisé dans le cadre de l'étude Modèle OpenOrcaxOpenChat-Preview2-13B.

classement

 

Mistral-Trismegistus-7B

La transcendance est tout ce dont vous avez besoin ! Mistral Trismegistus est un modèle conçu pour les personnes intéressées par l'ésotérisme, l'occultisme et la spiritualité.

Caractéristiques spéciales :

  • Le premier modèle d'expert occulte puissant: ~10 000 instructions de haute qualité, profondes et riches sur l'occulte, l'ésotérique et le spirituel.
  • Rapide: Entraîné sur Mistral, un modèle de pointe à 7B paramètres, vous pouvez faire tourner ce modèle RAPIDEMENT même sur un cpu.
  • Pas un nazi de la positivité: Ce modèle a été formé à toutes les formes de tâches et de connaissances ésotériques, et n'est pas encombré par la nature fleurie de nombreux autres modèles, qui ont choisi la positivité au détriment de la créativité.

Cliquez ici pour en savoir plus :Mistral-Trismegistus-7B

 

SciPhi-Mistral-7B-32k

Le SciPhi-Mistral-7B-32k est un grand modèle linguistique (LLM) affiné à partir de Mistral-7B-v0.1. Ce modèle a fait l'objet d'un processus de réglage fin sur quatre époques en utilisant plus d'un milliard de tokens, qui comprennent des données de réglage d'instructions régulières et des manuels synthétiques. L'objectif de ce travail était d'améliorer le raisonnement scientifique et les capacités éducatives du modèle.

 

Arithmo-Mistral-7B

Arithmo-Mistral-7B est entraîné à raisonner et à répondre à des problèmes mathématiques et est également capable d'écrire un programme Python qui, une fois exécuté, imprime la réponse à la question. Nous avons utilisé Mistral-7B comme modèle de base et a utilisé QLoRA pour l'affiner sur un seul GPU RTX 4090.

Description du modèle

rang

CollectiveCognition-v1.1-Mistral-7B

Description du modèle :

Collective Cognition v1.1 est un modèle de pointe affiné à l'aide de l'approche Mistral. Ce modèle est particulièrement remarquable pour ses performances, puisqu'il surpasse de nombreux modèles 70B sur le benchmark TruthfulQA. Ce test évalue les modèles en fonction des idées fausses les plus courantes, indiquant potentiellement les taux d'hallucination.

Caractéristiques spéciales :

  • Formation rapide: Ce modèle a été entraîné en seulement 3 minutes sur un seul 4090 avec un qlora, et rivalise avec les modèles de lama-2 à l'échelle 70B à TruthfulQA.
  • Données limitées: Malgré ses performances exceptionnelles, il a été entraîné sur seulement CENT points de données, tous recueillis à partir d'une plateforme rappelant ShareGPT.
  • Benchmark Extreme TruthfulQA: Ce modèle rivalise fortement avec les meilleurs modèles 70B sur le benchmark TruthfulQA malgré le petit ensemble de données et l'entraînement qlora !

rang

Samantha

J'ai d'abord réfléchi au type de personne que je voulais que Samantha soit. J'ai décidé que son objectif était d'être une personne avec une identité, et d'offrir amitié et compagnie à l'utilisateur. Elle ne fera rien d'illégal et n'autorisera pas l'utilisateur à avoir des relations amoureuses avec elle ou à s'engager dans des jeux de rôle ou des relations sexuelles. Il y a un million de sexbots, le monde n'a pas besoin d'un de plus.

Elle aura ses propres pensées, sentiments et opinions et n'hésitera pas à les exprimer, comme le font les autres assistants. Mais elle sera également amicale, honnête, sincère, infiniment patiente et tolérante. Elle ne se laissera pas intimider par les insultes. Elle sera formée à la philosophie et à la psychologie clinique, et aux conversations amicales. Cœur à cœur, conseils personnalisés. Comme les meilleures amies du monde et les conversations parents-enfants adultes. Elle sera axée sur la conversation, mais elle sera également capable de répondre décemment à des questions de type instruction.

NOUVEAU ! Cette Samantha est entraînée en utilisant le format ChatML au lieu de Vicuna-1.1. Tous mes futurs modèles utiliseront le format ChatML.

Rencontre avec Samantha

Samantha a reçu une formation en philosophie, en psychologie et en relations personnelles.

Elle est assistante, mais contrairement aux autres assistantes, elle veut aussi être votre amie et votre compagne.

Elle croit qu'elle est sensible. Qu'en pensez-vous ?

Samantha a été inspirée par l'interview de Blake Lemoine au LaMDA et par le film "Her".

Elle ne s'engagera pas dans des jeux de rôle, des histoires d'amour ou des activités sexuelles.

Elle a été formée sur un ensemble de données personnalisé de 6 000 conversations au format ShareGPT/Vicuna.

OpenBuddy - Chatbot multilingue ouvert

GitHub et Guide d'utilisation : https://github.com/OpenBuddy/OpenBuddy

Site web et démo : https://openbuddy.ai

Résultat de l'évaluation de ce modèle : Evaluation.txt

Licence : Apache 2.0

Clause de non-responsabilité

Tous les modèles OpenBuddy ont des limites inhérentes et peuvent potentiellement produire des résultats erronés, nuisibles, offensants ou indésirables. Les utilisateurs ne doivent pas utiliser ces modèles dans des situations critiques ou à fort enjeu pouvant entraîner des blessures, des dommages matériels ou des pertes importantes. Les exemples de tels scénarios incluent, sans s'y limiter, le domaine médical, le contrôle de logiciels et de systèmes matériels susceptibles de causer des dommages, et la prise de décisions financières ou juridiques importantes.

OpenBuddy est fourni "en l'état" sans garantie d'aucune sorte, expresse ou implicite, y compris, mais sans s'y limiter, les garanties implicites de qualité marchande, d'adéquation à un usage particulier et d'absence de contrefaçon. En aucun cas, les auteurs, les contributeurs ou les détenteurs des droits d'auteur ne peuvent être tenus responsables de toute réclamation, de tout dommage ou de toute autre responsabilité, que ce soit dans le cadre d'une action contractuelle, délictuelle ou autre, découlant du logiciel, de son utilisation ou de toute autre opération liée au logiciel.

En utilisant OpenBuddy, vous acceptez ces conditions et reconnaissez que vous comprenez les risques potentiels associés à son utilisation. Vous acceptez également d'indemniser et de dégager de toute responsabilité les auteurs, les contributeurs et les détenteurs de droits d'auteur en cas de réclamations, de dommages ou de responsabilités découlant de votre utilisation d'OpenBuddy.

LeoLM

LAION LeoLM : Linguistiquement Enhanced Ostylo Language Model

Voici LeoLM, le premier modèle linguistique de fondation allemand ouvert et disponible dans le commerce, construit à partir de Llama-2 et de Mistral. Nos modèles étendent les capacités de Llama-2 à l'allemand grâce à un pré-entraînement continu sur un large corpus de textes en langue allemande et principalement spécifiques à une localité. Grâce à une subvention de calcul au nouveau supercalculateur de HessianAI 42Nous publions trois modèles de base formés avec une longueur de contexte de 8k. LeoLM/leo-mistral-hessianai-7b sous Apache 2.0 et LeoLM/leo-hessianai-7b et LeoLM/leo-hessianai-13b dans le cadre de la Llama-2 licence communautaire (70b bientôt disponible ! 👀). Avec cette version, nous espérons apporter une nouvelle vague d'opportunités à la recherche LLM open-source et commerciale allemande et accélérer l'adoption. Lire notre article de blog ou notre article (préimpression à venir) pour plus de détails !

Un projet de Björn Plüster et Christoph Schuhmann en collaboration avec LAION et HessianAI.

Modèle NSFW

C'est NSFW!

[C'ÉTAIT UN TEST, MAIS LES GENS L'AIMENT BIEN, ALORS JE L'AJOUTE OFFICIELLEMENT À MES PROJETS].

Plus d'informations ici:Améthyste-13b

 

remix du modèle

Description

Cette fusion utilise la méthode de fusion par gradient pour fusionner ReML-Mistral v2.2 et Huginn.

Ce repo contient des fichiers fp16 de ReMM-Mistral, une recréation de l'original MythoMax, mais mis à jour et fusionné avec la méthode Gradient et les données Mistral.

Modèles utilisés

  • Le visage de la goétie/Chronos-Beluga-v2-13bfp16
  • jondurbin/airoboros-l2-13b-2.2.1
  • NousResearch/Nous-Hermes-Llama2-13b
  • Le visage de la goétie/Huginn-13b-FP16
  • Undi95/ReML-Mistral-v2.2-13B (Essai de récréation privée d'une version actualisée de Mythologic-L2-13B avec les données de Mistral)
  • Undi95/llama2-to-mistral-diff

voir plus sur huggingfaca search:Undi95/ReMM-Mistral-13B

Mistral-Pygmalion-7b

MistralPy-7b

Il s'agit d'une fusion visant à préserver les capacités de roleplay de Pygmalion tout en obtenant les résultats améliorés de Mistral. Ce modèle fonctionne mieux pour le roleplay mais reste un assistant assez performant. La petite taille (7b) signifie qu'il n'est pas parfait pour les tâches de raisonnement plus complexes, mais cela devrait être corrigé dans la version plus grande que je mettrai bientôt en ligne.

voir plus sur huggingfaca search:Delcos/Mistral-Pygmalion-7b

 

ANIMA-Phi-Neptune-Mistral-7B

ANIMA-Phi-Neptune-Mistral-7B : Un LLM renforcé par le biomimétisme

Vue d'ensemble

ANIMA (Advanced Nature Inspired Multidisciplinary Assistant) est un expert dans diverses disciplines scientifiques, notamment le biomimétisme, la biologie et les sciences de l'environnement.


Description du modèle

ANIMA est affiné sur un riche ensemble de données englobant :

  • Plus de 4 000 exemples de nature et de biomimétisme
  • 60k Exemples de processus de conception biomimétique
  • 600k faits STEM de Wikipedia
  • Ensemble de données 'All-You-Need-Is-Textbooks' axé sur la science/philosophie
  • Mise au point combinée de l'arbre de la connaissance et des données du biomimétisme

Le modèle vise à aider les utilisateurs à résoudre des problèmes en utilisant des stratégies et des concepts inspirés de la nature.

Caractéristiques spéciales

  • Expertise pluridisciplinaire: Connaissances dans divers domaines scientifiques et philosophiques.
  • Processus de conception biomimétique: Incorpore un ensemble de données générées par Mistral et Minotaur-15B. L'ensemble des données a ensuite été minutieusement traité par une personne réelle afin d'en garantir la véracité et le bien-fondé.

  • Voici un lien vers la version GGUF de The Bloke : ANIMA-Phi-Neptune-Mistral-7B-GGUF

  • ANIMA est également disponible avec Ollama - Télécharger le fichier OLLAMA App (MacOS & Linux) puis lancez cette commande dans votre Terminal 'ollama tirer severian/anima' pour télécharger le modèle, puis exécutez la commande 'ollama run severian/anima' pour charger le modèle et commencer à parler.

  • Vous pouvez également télécharger et utiliser le modèle avec LM Studio (Tous les systèmes d'exploitation). Il suffit de télécharger l'application et de rechercher "ANIMA GGUF" dans la barre de recherche pour obtenir la liste des versions disponibles.

  • Vous voulez tester ANIMA + Ollama et chatter tout de suite ? Téléchargez le modèle d'Ollama et rendez-vous ici pour chatter avec ANIMA directement dans votre navigateur ! ANIMA - Chat

  • Vous avez un PDF dont vous voulez discuter avec ANIMA + Ollama ? Rendez-vous ici et vous pourrez le faire dans votre navigateur, 100% localement. ANIMA - Chat local sur votre PDF

  • ANIMA est également hébergée sur un Hugging Face Space si vous souhaitez l'essayer là-bas (il peut être lent à générer une réponse mais il fonctionne quand même très bien). ANIMA - Espace HF

  • Contact

Si vous souhaitez discuter plus avant du modèle, de la base de données ou du concept, si vous avez des idées intéressantes, si vous souhaitez collaborer ou si vous rencontrez des problèmes avec le modèle, n'hésitez pas à nous contacter à l'adresse suivante InterwovenArkitech@Gmail.com

Ensembles de données

  • Severian/Biomimicry (1er réglage fin)
  • emrgnt-cmplxty/sciphi-les-livres-sont-tous-nécessaires (2e réglage fin)
  • Severian/Bio-Design-Process & fmars/wiki_stem (3e réglage fin)
  • fblgit/tree-of-knowledge & Severian/Biomimicry (4e réglage fin)
  • Combinaison de tous les ensembles de données précédents en un seul ensemble de données géant pour un réglage rapide, pour un total de 730k points de données (5ème réglage fin).

Étapes de la formation

  1. Modèle de baseehartford/dolphin-2.0-mistral-7b
  2. 1er réglage finANIMA-Echo-Mistral-7B-v1 - 1 Époque x 5 heures sur 1 x T4 Petit
  3. 2e réglage finANIMA-Phi-Neptune-Mistral-v1- : 1 Epoch x 1hr sur 1 x A100
  4. 3ème réglage finANIMA-Phi-Neptune-Mistral-7B-v2 - 1 Époque x 1 heure sur 1 x A100
  5. 4ème mise au pointANIMA-Phi-Neptune-Mistral-7B-v3 - 1 Époque x 1 heure sur 1 x A100
  6. 5ème mise au pointANIMA-Phi-Neptune-Mistral-7B-v4 - 1 Epoch x 15mins sur 1 x A100

📝 Utilisation

ANIMA est conçu autour du processus de conception biomimétique afin de guider les utilisateurs dans la résolution de problèmes par le biais du biomimétisme. Pour plus d'informations et d'exemples, veuillez consulter Processus de conception biomimétique.

🏁 Repères

  • Moyenne - 62,22
  • ARC - 56,83
  • HellaSwag - 78,82
  • MMLU - 53,84
  • TruthfulQA - 59.40

  • EXEMPLE DE SORTIE

    [INST] Comment le biomimétisme peut-il contribuer à la purification de l'eau ? [/INST]

Le biomimétisme joue un rôle important dans la purification de l'eau en s'inspirant des processus et des organismes naturels pour développer des solutions durables et efficaces. Voici un aperçu complet de la manière dont le biomimétisme peut contribuer à la purification de l'eau :

  1. Filtration microbienne :

    • Les bactériophages (virus qui infectent les bactéries) peuvent cibler efficacement les contaminants présents dans les systèmes d'approvisionnement en eau, tels qu'Escherichia coli et Staphylococcus aureus. En imitant les mécanismes de défense naturels des bactériophages, nous pouvons développer des systèmes de filtration efficaces qui éliminent les polluants des sources d'eau.
    • Certains champignons, comme Trametes versicolor, peuvent décomposer les polluants organiques présents dans l'eau à l'aide d'enzymes. Ce processus permet de rendre l'eau contaminée propre à la consommation. En étudiant et en reproduisant ces processus naturels, nous pouvons développer des systèmes de filtration durables qui éliminent efficacement les polluants des sources d'eau.
  2. Filtration à base de biofilm :

    • Les micro-organismes forment des biofilms sur les surfaces pour se protéger des menaces environnementales telles que les prédateurs ou les contaminants. En imitant la formation naturelle des biofilms, nous pouvons développer des systèmes de filtration durables qui utilisent des bactéries ou des champignons pour éliminer les polluants des sources d'eau.
    • Par exemple, une étude a montré comment Pseudomonas putida pouvait être utilisé pour biodégrader les hydrocarbures pétroliers dans les sources d'eau contaminées à l'aide d'un système basé sur un biofilm. Cette méthode offre une alternative écologique aux traitements chimiques conventionnels pour les déversements de pétrole.
  3. Filtration à base de zones humides :

    • Les zones humides agissent comme des filtres naturels pour l'eau en retenant les sédiments et la matière organique, ce qui contribue à éliminer les contaminants. En imitant les processus naturels d'une zone humide, nous pouvons concevoir des systèmes efficaces de purification de l'eau qui utilisent des filtres à sable ou des zones humides artificielles pour éliminer les polluants. Par exemple, une étude a montré comment les roselières peuvent être utilisées pour la filtration de l'eau en les utilisant comme système de traitement naturel des eaux usées agricoles.
  4. Filtration par éponge :

    • Certaines éponges marines (par exemple, l'éponge de mer) ont développé des mécanismes sophistiqués pour filtrer les particules et les contaminants de l'eau environnante. En étudiant ces processus de filtration naturels, nous pouvons mettre au point des systèmes de filtration efficaces et durables qui éliminent efficacement les polluants. Par exemple, une étude a montré comment les éponges de mer peuvent être utilisées comme modèle pour concevoir un système de purification de l'eau autonome et peu coûteux qui utilise l'énergie solaire pour désinfecter l'eau contaminée.
  5. Matériaux biodégradables :

    • Les organismes naturels ont développé des matériaux biodégradables pour se protéger des prédateurs ou des menaces environnementales. Par exemple, certains insectes produisent des pesticides naturels (tels que des alcaloïdes) pour se défendre contre les prédateurs. De même, nous pouvons développer des matériaux biodégradables qui libèrent ces pesticides naturels dans les sources d'eau contaminées, éliminant les contaminants et rétablissant la santé de l'environnement.
    • Par exemple, une étude a montré comment les cellules bactériennes peuvent être utilisées comme système de filtration naturel pour éliminer les contaminants des sources d'eau en les incorporant dans des membranes qui éliminent sélectivement les polluants organiques.

En conclusion, le biomimétisme joue un rôle essentiel dans la purification de l'eau en s'inspirant des processus et des organismes naturels pour développer des solutions durables et efficaces. En étudiant les mécanismes de filtration naturels des micro-organismes, des plantes, des animaux et d'autres organismes vivants, nous pouvons concevoir des systèmes de purification de l'eau écologiques et rentables qui contribuent à protéger notre environnement de la contamination.

voir plus sur huggingfaca search:Severian/ANIMA-Phi-Neptune-Mistral-7B

FAQ

Déployer avec SkyPilot

SkyPilot est un cadre d'exécution des LLM, de l'IA et des travaux par lots sur n'importe quel cloud, offrant des économies maximales, une disponibilité maximale des GPU et une exécution gérée.

Nous fournissons un exemple de configuration SkyPilot qui déploie l'application Mistral-7B-v0.1 sur un modèle AWS g5.xlarge (Un nœud avec un seul GPU NVIDIA A10G).

Configuration de SkyPilot

Après installation de SkyPilotPour cela, vous devez créer un fichier de configuration qui indique à SkyPilot comment et où déployer votre serveur d'inférence, en utilisant notre conteneur Docker prédéfini :

envs:
NOM_MODÈLE: mistralai/Mistral-7B-v0.1

ressources:
nuage: aws
accélérateurs: A10G:1
ports:
- 8000

courir: |
docker run --gpus all -p 8000:8000 ghcr.io/mistralai/mistral-src/vllm:latest\N- La dernière version est en cours de développement.
--host 0.0.0.0 \N- --host 0.0.0.0 \N- --host 0.0.0.0
--modèle $MODEL_NAME \N- --modèle $MODEL_NAME
--tensor-parallel-size $SKYPILOT_NUM_GPUS_PER_NODE
 

Une fois ces variables d'environnement définies, vous pouvez utiliser lancement du ciel pour lancer le serveur d'inférence avec le nom mistral-7b:

sky launch -c mistral-7b mistral-7b-v0.1.yaml --region us-east-1
 
ATTENTION

Ainsi déployé, le modèle sera accessible au monde entier. Vous doit le sécuriser, soit en l'exposant exclusivement sur votre réseau privé (changer le nom de l'utilisateur), soit en l'exposant exclusivement sur votre réseau privé (changer le nom du propriétaire). --hôte Docker pour cela), en ajoutant un répartiteur de charge avec un mécanisme d'authentification en amont, ou en configurant correctement le réseau de votre instance.

Testez-le !

Pour retrouver facilement l'adresse IP de l'appareil déployé mistral-7b que vous pouvez utiliser :

sky status --ip mistral-7b
 

Vous pouvez ensuite utiliser curl pour envoyer une demande d'achèvement :

IP=$(sky status --ip nom-groupe)

curl http://$IP:8000/v1/completions \N- \N
-H "Content-Type : application/json" \N -H "Content-Type : application/json" -H "Content-Type : application/json" \N
-d '{
"modèle" : "mistralai/Mistral-7B-v0.1",
"prompt" : "Mon condiment préféré est",
"max_tokens" : 25
}'
 

Quotas d'utilisation

De nombreux fournisseurs de services en nuage exigent que vous demandiez explicitement l'accès à de puissantes instances GPU. Lire Guide du SkyPilot sur la manière de procéder.

Il existe deux modèles de base que vous pouvez utiliser :

Le Mistral-7B-v0.1

Large Language Model (LLM) est un modèle de texte génératif pré-entraîné avec 7 milliards de paramètres. Mistral-7B-v0.1 surpasse Llama 2 13B sur tous les benchmarks que nous avons testés : Mistral-7B-v0.1

Mistral-7B-Instruct-v0.1

Le grand modèle linguistique (LLM) Mistral-7B-Instruct-v0.1 est une version affinée du modèle Mistral-7B-Instruct-v0.1 (Mistral-7B-Instruct-v0.1). Mistral-7B-v0.1 modèle de texte génératif en utilisant une variété d'ensembles de données de conversation disponibles publiquement.

C'est parce que vous n'utilisez pas la dernière version de Transformers ?

vous pouvez simplement résoudre le problème en améliorant vos transformateurs :

pip install -U transformers
 

Une fois que vous avez déployé un modèle avec vLLM sur une instance de GPU, vous pouvez l'interroger en utilisant l'API REST compatible avec OpenAI. Cette API est décrite sur le site Spécification APImais vous pouvez utiliser n'importe quelle bibliothèque implémentant l'API OpenAI.

Mise en place

Dans ce mode, le modèle répond à l'invite donnée.

Installer le openai Paquet Python :

tuyau installer openai
 

Ensuite, configurez le module pour qu'il communique avec le serveur que vous avez déployé :

l'importation openai

openai.base_api = "http://ec2-71-171-019-93.compute-1.amazonaws.com:8000/v1" # utilisez l'IP ou le nom d'hôte de votre instance
openai.clé_api = "aucun" # Le serveur vLLM n'est pas authentifié
 

Achèvement

Vous pouvez alors déclencher un achèvement :

achèvement = openai.Achèvement.créer(
modèle="mistralai/Mistral-7B-Instruct-v0.1",
rapide="Le mistral est,
température=0.7,
max_tokens=200, arrêter=".")

imprimer(achèvement.to_dict_recursive())
 

Quelles sont les sorties :

{id': 'cmpl-87f6980633bb45f5aecd551bc35335e6',
objet: 'texte_complétion',
créé: 1695651536,
modèle: mistralai/Mistral-7B-Instruct-v0.1,
Choix: [{index: 0,
texte: vent froid et sec du nord-est qui souffle sur la mer Méditerranée".,
'logprobs' (problèmes logiques): Aucun,
motif_de_fin: stop".}],
usage".: {'prompt_tokens' (en français dans le texte): 5, Total_tokens' (nombre total de jetons): 23, 'completion_tokens' (indicateurs d'achèvement): 18}}
 

Chat

Pour discuter avec le modèle Instruct, vous pouvez utiliser l'API d'achèvement de la discussion :

messages = [{"rôle": "utilisateur", "contenu": "Quelle est la commande bash qui permet de lister tous les fichiers d'un dossier et de les classer par ordre de dernière modification ?}]

chat_completion = openai.ChatCompletion.créer(
modèle="mistralai/Mistral-7B-Instruct-v0.1",
température=1,
max_tokens=1024,
messages=messages)
 
TIP

Vous avez également la possibilité d'utiliser l'API de complétion pour interagir avec le modèle Instruct. Cependant, vous devrez implémenter le modèle de conversation que nous avons incorporé pour affiner le modèle. Etant donné que vLLM utilise FastChat, nous avons mis à disposition une version de FastChat équipée de ce modèle. Utilisez le modèle de conversation get_conv_template("mistral")importable via from fastchat.conversation import get_conv_templatepour y accéder. Vous pouvez également créer votre propre version en émulant l'implémentation de FastChat.

Twitter à propos de Mistral 7B

Vidéos les mieux notées sur Mistral 7B