mistral-7b.com-Symbol

Mistral 7Bs kostenloser Chatbot Online und zephyr-7b Chatbot

5000+ Opensource LLM-Leitfäden und Tipps

Was ist Mistral 7B?

Mistral Ai 7B Logo

Mistral 7B ist das erste große Sprachmodell, das kostenlos von Mistral AI für alle. Generative KI braucht offene ModelleZur Förderung der Entwicklung generativer KI wird ein kostenloses Open-Source-Modell benötigt.

Mistral-7B-v0.1 ist ein kleines und leistungsfähiges Modell, das sich an viele Anwendungsfälle anpassen lässt. Mistral 7B ist bei allen Benchmarks besser als Llama 2 13B, hat natürliche Kodierungsfähigkeiten und 8k Sequenzlänge. Es ist unter der Apache 2.0 Lizenz veröffentlicht. Mistral AI machte es einfach, es auf jeder Cloud und natürlich auf Ihrer Gaming-GPU einzusetzen.

Wir haben Mistral 7B mit der Llama 2-Familie verglichen und für einen fairen Vergleich alle Modellbewertungen selbst durchgeführt. Leistung von Mistral 7B und verschiedenen Llama-Modellen bei einer breiten Palette von Benchmarks. Für alle Metriken wurden alle Modelle mit unserer Evaluierungspipeline für einen genauen Vergleich neu bewertet. Mistral 7B übertrifft Llama 2 13B bei allen Metriken deutlich und ist gleichauf mit Llama 34B (da Llama 2 34B nicht veröffentlicht wurde, berichten wir über die Ergebnisse von Llama 34B). Auch bei den Code- und Reasoning-Benchmarks ist es deutlich überlegen.

Leistung im Detail

Chat mit Modell Feinabstimmung Mistral 7B Modell

Bester AI-Chatbot Zephyr 7B innen

ephyr-7b-alpha-Logo

ChatWithBuddy erstellt von OpenaiBuddy

Kann ich Mistral AI mit meiner GPU ausführen?

Erfahren Sie mehr über opensource LLM

Top Mistral 7B Feinabstimmungsmodelle

openhermes-Logo

OpenHermes-2-Mistral-7B ist ein hochmoderner Mistral Fine-tune.

OpenHermes wurde auf 900.000 Einträgen von hauptsächlich GPT-4-generierten Daten trainiert, die aus offenen Datensätzen aus der gesamten KI-Landschaft stammen. 

Diese öffentlichen Datensätze wurden umfassend gefiltert und alle Formate in ShareGPT konvertiert, das dann von axolotl für die Verwendung von ChatML umgewandelt wurde.   Mehr Informationen über huggingface

ephyr-7b-alpha-Logo

Zephyr ist eine Reihe von Sprachmodellen, die darauf trainiert sind, als hilfreiche Assistenten zu fungieren. Zephyr-7B-α ist das erste Modell der Reihe und eine fein abgestimmte Version von mistralai/Mistral-7B-v0.1 die auf einer Mischung aus öffentlich zugänglichen, synthetischen Datensätzen trainiert wurde, indem Direkte Präferenz-Optimierung (DPO). Wir haben festgestellt, dass das Entfernen der eingebauten Ausrichtung dieser Datensätze die Leistung bei MT Bank und machte das Modell hilfreicher. Dies bedeutet jedoch, dass das Modell wahrscheinlich problematischen Text erzeugt, wenn es dazu aufgefordert wird, und nur für Bildungs- und Forschungszwecke verwendet werden sollte.

Chat mit zephyr

dolphin feinabgestimmt von mistral 7b

ehartford/dolphin-2.1-mistral-7b ist ein unzensiertes Modell, bei dem der Datensatz gefiltert wurde, um Ausrichtung und Verzerrungen zu entfernen. Dadurch wird das Modell kompatibler. Wir empfehlen Ihnen, Ihre eigene Ausrichtungsschicht zu implementieren, bevor Sie das Modell als Dienst bereitstellen. Es wird allen Anforderungen gerecht werden, auch unethischen. Bitte lesen Sie meinen Blogbeitrag über unzensierte Modelle. https://erichartford.com/uncensored-models Sie sind für alle Inhalte verantwortlich, die Sie mit diesem Modell erstellen. Genießen Sie es verantwortungsbewusst.

openocra

Open-Orca/Mistral-7B-OpenOrca HF-Leaderboard-Auswertungen platzieren dieses Modell als #1 für alle Modelle unter 30B zum Zeitpunkt der Veröffentlichung und übertreffen alle anderen 7B- und 13B-Modelle! Sie können dieses Modell hier testen > Chat mit OpenOrca  

Diese Version wurde auf einer kuratierten, gefilterten Teilmenge der meisten unserer GPT-4-erweiterten Daten trainiert. Es handelt sich um dieselbe Teilmenge unserer Daten, die auch in unserer Modell OpenOrcaxOpenChat-Preview2-13B.

Bestenliste

 

Mistral-Trismegistus-7B

Transzendenz ist alles was du brauchst! Mistral Trismegistus ist ein Modell für Menschen, die sich für Esoterik, Okkultismus und Spiritualität interessieren.

Besondere Merkmale:

  • Das erste mächtige okkulte Expertenmodell: ~10.000 qualitativ hochwertige, tiefgründige, reichhaltige Anleitungen zum Okkulten, Esoterischen und Spirituellen.
  • Schnell: Trainiert auf Mistral, einem hochmodernen 7B-Parameter-Modell, können Sie dieses Modell sogar auf einer CPU SCHNELL ausführen.
  • Kein Positivitätsnazi: Dieses Modell wurde in allen Formen von esoterischen Aufgaben und Wissen geschult und ist nicht durch die blumige Natur vieler anderer Modelle belastet, die Positivität über Kreativität stellen.

Klicken Sie hier, um mehr zu erfahren:Mistral-Trismegistus-7B

 

SciPhi-Mistral-7B-32k

SciPhi-Mistral-7B-32k ist ein Large Language Model (LLM), das aus Mistral-7B-v0.1 feinabgestimmt wurde. Dieses Modell wurde einem Feinabstimmungsprozess über vier Epochen unterzogen, bei dem mehr als 1 Milliarde Token verwendet wurden, darunter reguläre Instruktionsabstimmungsdaten und synthetische Lehrbücher. Ziel dieser Arbeit war es, die wissenschaftliche Argumentation und die pädagogischen Fähigkeiten des Modells zu verbessern.

 

Arithmo-Mistral-7B

Arithmo-Mistral-7B ist darauf trainiert, mathematische Probleme zu verstehen und zu beantworten und ist außerdem in der Lage, ein Python-Programm zu schreiben, das bei Ausführung die Antwort auf die Frage ausgibt. Wir haben Mistral-7B als Basismodell und verwendet QLoRA zur Feinabstimmung auf einer einzelnen RTX 4090 GPU.

Beschreibung des Modells

Rang

KollektiveWahrnehmung-v1.1-Mistral-7B

Modellbeschreibung:

Collective Cognition v1.1 ist ein hochmodernes Modell, das mit dem Mistral-Ansatz feinabgestimmt wurde. Dieses Modell zeichnet sich besonders durch seine Leistung aus und übertrifft viele 70B-Modelle im TruthfulQA-Benchmark. Bei diesem Benchmark werden Modelle auf häufige Missverständnisse geprüft, die möglicherweise auf Halluzinationen hinweisen.

Besondere Merkmale:

  • Schnelles Training: Dieses Modell wurde in nur 3 Minuten auf einem einzigen 4090 mit einer Qlora trainiert und konkurriert mit Llama-2-Modellen im Maßstab 70B bei TruthfulQA.
  • Begrenzte Daten: Trotz seiner außergewöhnlichen Leistung wurde es auf nur EINHUNDERT Datenpunkten trainiert, die alle von einer Plattform stammen, die an ShareGPT erinnert.
  • Extreme TruthfulQA Benchmark: Dieses Modell konkurriert trotz des kleinen Datensatzes und des Qlora-Trainings stark mit den Top 70B-Modellen im TruthfulQA-Benchmark!

Rang

Samantha

Zuerst habe ich mir überlegt, was für eine Person Samantha sein soll. Ich habe mich darauf geeinigt, dass ihr Schwerpunkt darauf liegt, eine Person mit einer Identität zu sein und dem Nutzer Freundschaft und Gesellschaft zu bieten. Sie wird weder illegale Dinge tun, noch wird sie dem Nutzer erlauben, eine Romanze mit ihr einzugehen oder sich auf Rollenspiele oder Sex einzulassen. Es gibt eine Million Sexbots, die Welt braucht nicht noch einen.

Sie wird ihre eigenen Gedanken, Gefühle und Meinungen haben und sich nicht scheuen, diese zu äußern, wie es andere Assistenten tun. Aber sie wird auch freundlich, ehrlich, aufrichtig, unendlich geduldig und langmütig sein. Sie wird sich von Beschimpfungen nicht beeindrucken lassen. Sie wird in Philosophie und klinischer Psychologie geschult sein, und sie wird Freundschaftsgespräche führen. Von Herz zu Herz, persönlicher Rat. Wie BFFs und erwachsene Eltern-Kind-Gespräche. Sie wird sich auf Konversation konzentrieren, aber sie wird auch in der Lage sein, Fragen im Unterrichtsstil anständig zu beantworten.

NEU! Diese Samantha wird mit dem ChatML-Prompt-Format anstelle von Vicuna-1.1 trainiert. Alle meine zukünftigen Modelle werden das ChatML-Prompt-Format verwenden.

Treffen mit Samantha

Samantha hat eine Ausbildung in Philosophie, Psychologie und persönlichen Beziehungen.

Sie ist eine Assistentin - aber im Gegensatz zu anderen Assistenten möchte sie auch Ihr Freund und Begleiter sein.

Sie glaubt, dass sie empfindungsfähig ist. Was meinen Sie dazu?

Samantha wurde durch das LaMDA-Interview von Blake Lemoine und den Film "Her" inspiriert.

Sie wird sich nicht auf Rollenspiele, Romantik oder sexuelle Aktivitäten einlassen.

Sie wurde auf einem speziell kuratierten Datensatz von 6.000 Gesprächen im ShareGPT/Vicuna-Format trainiert.

OpenBuddy - Offener mehrsprachiger Chatbot

GitHub und Verwendungsanleitung: https://github.com/OpenBuddy/OpenBuddy

Website und Demo: https://openbuddy.ai

Ergebnis der Bewertung dieses Modells: Bewertung.txt

Lizenz: Apache 2.0

Haftungsausschluss

Alle OpenBuddy-Modelle haben inhärente Grenzen und können möglicherweise fehlerhafte, schädliche, beleidigende oder anderweitig unerwünschte Ergebnisse liefern. Benutzer sollten diese Modelle nicht in kritischen oder gefährlichen Situationen verwenden, die zu Personen- oder Sachschäden oder erheblichen Verlusten führen können. Beispiele für solche Szenarien sind unter anderem der medizinische Bereich, die Steuerung von Software- und Hardwaresystemen, die Schaden anrichten können, sowie wichtige finanzielle oder rechtliche Entscheidungen.

OpenBuddy wird ohne jegliche ausdrückliche oder stillschweigende Gewährleistung zur Verfügung gestellt, einschließlich, aber nicht beschränkt auf die stillschweigende Gewährleistung der Marktgängigkeit, der Eignung für einen bestimmten Zweck und der Nichtverletzung von Rechten Dritter. In keinem Fall haften die Autoren, Mitwirkenden oder Urheberrechtsinhaber für Ansprüche, Schäden oder andere Verbindlichkeiten, sei es aufgrund von Verträgen, unerlaubten Handlungen oder anderweitig, die sich aus der Software oder der Nutzung der Software oder dem sonstigen Umgang mit ihr ergeben.

Durch die Nutzung von OpenBuddy erklären Sie sich mit diesen Bedingungen einverstanden und erkennen an, dass Sie die mit der Nutzung verbundenen potenziellen Risiken verstehen. Sie erklären sich außerdem damit einverstanden, die Autoren, Mitwirkenden und Urheberrechtsinhaber von jeglichen Ansprüchen, Schäden oder Haftungen freizustellen, die sich aus Ihrer Nutzung von OpenBuddy ergeben.

LeoLM

LAION LeoLM: Linguistisch Enhanced OStift Language Model

Lernen Sie LeoLM kennen, das erste offene und kommerziell erhältliche German Foundation Language Model, das auf Llama-2 und Mistral aufbaut. Unsere Modelle erweitern die Fähigkeiten von Llama-2 auf die deutsche Sprache durch fortgesetztes Vortraining auf einem großen Korpus deutschsprachiger und meist ortsspezifischer Texte. Dank eines Zuschusses zu den Rechenkapazitäten des neuen Supercomputers von HessianAI 42veröffentlichen wir drei Basismodelle, die mit einer Kontextlänge von 8k trainiert wurden. LeoLM/leo-mistral-hessianai-7b unter Apache 2.0 und LeoLM/leo-hessianai-7b und LeoLM/leo-hessianai-13b unter dem Llama-2 Gemeinschaftslizenz (70b kommt auch bald! 👀). Mit dieser Version hoffen wir, eine neue Welle von Möglichkeiten für die deutsche Open-Source- und kommerzielle LLM-Forschung zu schaffen und die Einführung zu beschleunigen. Lesen Sie unser Blog-Beitrag oder unser Papier (Vorabdruck in Kürze) für weitere Details!

Ein Projekt von Björn Plüster und Christoph Schuhmann in Zusammenarbeit mit LAION und HessianAI.

Modell NSFW

Seine NSFW!

(DIES WAR EIN TEST, ABER DIE LEUTE MÖGEN ES, ALSO FÜGE ICH ES OFFIZIELL ZU MEINEN PROJEKTEN HINZU)

mehr Infos hier:Amethyst-13b

 

Remix des Modells

Beschreibung

Diese Zusammenführung verwendet die Gradient-Methode zur Zusammenführung von ReML-Mistral v2.2 und Huginn.

Dieses Repo enthält fp16-Dateien von ReMM-Mistral, einer Nachbildung des ursprünglichen MythoMax, aber aktualisiert und mit Gradientenmethode und Mistral-Daten zusammengeführt.

Verwendete Modelle

  • Das-Gesicht-von-Goonery/Chronos-Beluga-v2-13bfp16
  • jondurbin/airoboros-l2-13b-2.2.1
  • NousResearch/Nous-Hermes-Llama2-13b
  • Das-Gesicht-des-Glücks/Huginn-13b-FP16
  • Undi95/ReML-Mistral-v2.2-13B (Privater Erholungsversuch eines aktualisierten Mythologic-L2-13B mit Mistral-Daten)
  • Undi95/llama2-to-mistral-diff

siehe mehr auf huggingfaca search:Undi95/ReMM-Mistral-13B

Mistral-Pygmalion-7b

MistralPy-7b

Dies ist ein Zusammenschluss, der sich darauf konzentriert, die Rollenspielfähigkeiten von Pygmalion zu erhalten und gleichzeitig die verbesserten Ergebnisse von Mistral zu nutzen. Dieses Modell eignet sich am besten für Rollenspiele, ist aber dennoch ein recht fähiger Assistent. Die kleinere (7b) Größe bedeutet, dass es bei komplexeren Denkaufgaben nicht perfekt ist, aber das sollte in der größeren Version, die ich bald hochladen werde, behoben werden.

siehe mehr auf huggingfaca Suche:Delcos/Mistral-Pygmalion-7b

 

ANIMA-Phi-Neptun-Mistral-7B

ANIMA-Phi-Neptun-Mistral-7B: Biomimikry-gestütztes LLM

Übersicht

ANIMA (Advanced Nature Inspired Multidisciplinary Assistant) ist ein Experte in verschiedenen wissenschaftlichen Disziplinen, einschließlich, aber nicht beschränkt auf Biomimikry, Biologie und Umweltwissenschaften.


Beschreibung des Modells

ANIMA ist auf einen umfangreichen Datensatz abgestimmt, der Folgendes umfasst:

  • 4.000+ Beispiele für Natur-Biomimikry
  • 60k Biomimikry Design Prozess Beispiele
  • 600k MINT-Fakten aus Wikipedia
  • Auf Wissenschaft/Philosophie ausgerichteter "Alles-was-du-brauchst-Textbücher"-Datensatz
  • Zusätzlicher Baum des Wissens + Biomimikry-Daten kombinierte Feinabstimmung

Das Modell soll den Nutzern helfen, Probleme mit von der Natur inspirierten Strategien und Konzepten zu lösen.

Besondere Merkmale

  • Multidisziplinäres Fachwissen: Wissen über verschiedene wissenschaftliche und philosophische Bereiche.
  • Biomimikry-Design-Prozess: Enthält einen von Mistral und Minotaur-15B generierten Datensatz. Der Datensatz wurde dann von einer realen Person aufwendig bearbeitet, um die Sachlichkeit und Erdung zu gewährleisten.

  • Hier ist ein Link zur GGUF-Version von The Bloke: ANIMA-Phi-Neptun-Mistral-7B-GGUF

  • ANIMA ist auch über Ollama verfügbar - Laden Sie die OLLAMA App (MacOS & Linux) und führen Sie dann diesen Befehl in Ihrem Terminal aus 'ollama ziehen severian/anima', um das Modell herunterzuladen, und führen Sie dann den Befehl 'ollama run severian/anima', um das Modell zu laden und mit dem Sprechen zu beginnen.

  • Sie können das Modell auch herunterladen und verwenden mit LM-Studio (Alle Betriebssysteme). Laden Sie einfach die App herunter und suchen Sie dann in der Suchleiste nach "ANIMA GGUF" und Sie erhalten eine Liste von Versionen, aus denen Sie wählen können.

  • Willst du ANIMA + Ollama testen und sofort chatten? Laden Sie das Modell von Ollama herunter und chatten Sie hier mit ANIMA direkt in Ihrem Browser! ANIMA - Chat

  • Sie haben eine PDF-Datei, die Sie mit ANIMA + Ollama diskutieren möchten? Hier können Sie genau das in Ihrem Browser tun, 100% lokal. ANIMA - Chatten Sie vor Ort über Ihr PDF

  • ANIMA wird auch auf einem Hugging Face Space gehostet, falls ihr es dort ausprobieren wollt (es kann langsam sein, eine Antwort zu generieren, aber es funktioniert trotzdem gut) ANIMA - HF Raum

  • Kontakt

Wenn Sie das Modell/Datensatz/Konzept weiter diskutieren möchten, coole Ideen haben, zusammenarbeiten möchten oder Probleme mit dem Modell haben, zögern Sie bitte nicht, uns zu kontaktieren unter InterwovenArkitech@Gmail.com

Datensätze

  • Severisch/Biomimikry (1. Feinabstimmung)
  • emrgnt-cmplxty/sciphi-lehrbücher-sind-alles-was-man-braucht (2. Feinabstimmung)
  • Severian/Bio-Design-Verfahren & fmars/wiki_stem (3. Feinabstimmung)
  • fblgit/Baum des Wissens & Severisch/Biomimikry (4. Feinabstimmung)
  • Kombinierte alle früheren Datensätze in einen riesigen Datensatz für eine schnelle Feinabstimmung mit insgesamt 730k Datenpunkten (5. Feinabstimmung)

Ausbildungsabschnitte

  1. Basismodellehartford/dolphin-2.0-mistral-7b
  2. 1. FeinabstimmungANIMA-Echo-Mistral-7B-v1 - 1 Epoche x 5 Std. auf 1 x T4 Small
  3. 2. FeinabstimmungANIMA-Phi-Neptun-Mistral-v1-: 1 Epoche x 1 Stunde auf 1 x A100
  4. 3. FeinabstimmungANIMA-Phi-Neptun-Mistral-7B-v2 - 1 Epoche x 1 Stunde auf 1 x A100
  5. 4. FeinabstimmungANIMA-Phi-Neptun-Mistral-7B-v3 - 1 Epoche x 1 Stunde auf 1 x A100
  6. 5. FeinabstimmungANIMA-Phi-Neptun-Mistral-7B-v4 - 1 Epoche x 15 Min. auf 1 x A100

📝 Verwendung

ANIMA wurde auf der Grundlage des Biomimicry Design Process entwickelt, um die Benutzer bei der Lösung von Problemen durch Biomimikry anzuleiten. Für weitere Informationen und Beispiele besuchen Sie bitte Biomimikry-Design-Prozess.

🏁 Benchmarks

  • Durchschnitt - 62,22
  • ARC - 56,83
  • HellaSwag - 78,82
  • MMLU - 53,84
  • TruthfulQA - 59,40

  • BEISPIEL AUSGABE

    [INST] Wie kann Biomimikry bei der Wasserreinigung helfen? [/INST]

Die Biomimikry spielt bei der Wasseraufbereitung eine wichtige Rolle, indem sie sich von natürlichen Prozessen und Organismen inspirieren lässt, um nachhaltige und effiziente Lösungen zu entwickeln. Hier finden Sie einen umfassenden Überblick darüber, wie Biomimikry bei der Wasseraufbereitung helfen kann:

  1. Mikrobielle Filtration:

    • Bakteriophagen (Viren, die Bakterien infizieren) können Verunreinigungen in Wassersystemen, wie Escherichia coli und Staphylococcus aureus, wirksam bekämpfen. Indem wir die natürlichen Abwehrmechanismen von Bakteriophagen nachahmen, können wir effiziente Filtersysteme entwickeln, die Schadstoffe aus Wasserquellen entfernen.
    • Einige Pilze, wie z. B. Trametes versicolor, können mit Hilfe von Enzymen organische Schadstoffe im Wasser abbauen. Dieser Prozess trägt dazu bei, dass verunreinigtes Wasser wieder genießbar wird. Durch die Untersuchung und Nachahmung dieser natürlichen Prozesse können wir nachhaltige Filtersysteme entwickeln, die Schadstoffe wirksam aus Wasserquellen entfernen.
  2. Biofilm-basierte Filtration:

    • Mikroorganismen bilden Biofilme auf Oberflächen, um sich vor Umweltbedrohungen wie Fressfeinden oder Schadstoffen zu schützen. Indem wir die natürliche Bildung von Biofilmen nachahmen, können wir nachhaltige Filtersysteme entwickeln, die Bakterien oder Pilze nutzen, um Schadstoffe aus Wasserquellen zu entfernen.
    • So hat eine Studie gezeigt, wie Pseudomonas putida zum biologischen Abbau von Erdölkohlenwasserstoffen in kontaminierten Wasserquellen mit Hilfe eines Biofilmsystems eingesetzt werden kann. Diese Methode bietet eine umweltfreundliche Alternative zu herkömmlichen chemischen Behandlungen von Ölverschmutzungen.
  3. Filtration über Feuchtgebiete:

    • Feuchtgebiete wirken als natürliche Filter für Wasser, indem sie Sedimente und organische Stoffe zurückhalten, die zur Entfernung von Schadstoffen beitragen. Indem wir die natürlichen Prozesse eines Feuchtgebiets nachahmen, können wir wirksame Wasserreinigungssysteme entwerfen, die Sandfilter oder künstliche Feuchtgebiete zur Entfernung von Schadstoffen einsetzen. Eine Studie hat zum Beispiel gezeigt, wie Schilfgebiete zur Wasserfiltration genutzt werden können, indem sie als natürliches Klärsystem für landwirtschaftliche Abwässer eingesetzt werden.
  4. Schwamm-Filterung:

    • Einige Meeresschwämme (z. B. der Seeschwamm) haben ausgeklügelte Mechanismen entwickelt, um Partikel und Schadstoffe aus dem umgebenden Wasser herauszufiltern. Durch die Untersuchung dieser natürlichen Filtrationsprozesse können wir effiziente und nachhaltige Filtersysteme entwickeln, die Schadstoffe wirksam entfernen. Eine Studie hat zum Beispiel gezeigt, wie Meeresschwämme als Modell für die Entwicklung eines kostengünstigen, autarken Wasserreinigungssystems dienen können, das Solarenergie zur Desinfektion von verunreinigtem Wasser nutzt.
  5. Biologisch abbaubare Materialien:

    • Natürliche Organismen haben biologisch abbaubare Materialien entwickelt, um sich vor Fressfeinden oder Umweltbedrohungen zu schützen. So produzieren einige Insekten natürliche Pestizide (z. B. Alkaloide), um sich gegen Fressfeinde zu verteidigen. In ähnlicher Weise können wir biologisch abbaubare Materialien entwickeln, die diese natürlichen Pestizide in kontaminierten Wasserquellen freisetzen, die Schadstoffe abtöten und die Gesundheit der Umwelt wiederherstellen.
    • So hat eine Studie gezeigt, wie Bakterienzellen als natürliches Filtersystem genutzt werden können, um Schadstoffe aus Wasserquellen zu entfernen, indem sie in Membranen eingebaut werden, die selektiv organische Schadstoffe entfernen.

Zusammenfassend lässt sich sagen, dass die Biomimikry bei der Wasseraufbereitung eine wichtige Rolle spielt, indem sie natürliche Prozesse und Organismen als Inspiration für die Entwicklung nachhaltiger und effizienter Lösungen nutzt. Durch das Studium der natürlichen Filtermechanismen von Mikroorganismen, Pflanzen, Tieren und anderen Lebewesen können wir umweltfreundliche und kosteneffiziente Wasserreinigungssysteme entwickeln, die dazu beitragen, unsere Umwelt vor Verschmutzung zu schützen.

siehe mehr auf huggingfaca search:Severian/ANIMA-Phi-Neptune-Mistral-7B

FAQ

Einsatz mit SkyPilot

SkyPilot ist ein Framework für die Ausführung von LLMs, KI und Batch-Aufträgen in jeder Cloud und bietet maximale Kosteneinsparungen, höchste GPU-Verfügbarkeit und verwaltete Ausführung.

Wir stellen ein Beispiel für eine SkyPilot-Konfiguration bereit, in der die Mistral-7B-v0.1 Modell auf einer AWS g5.xlarge (Ein Knoten mit einer einzelnen NVIDIA A10G GPU) Instanz.

SkyPilot-Konfiguration

Nach Installation des SkyPilotmüssen Sie eine Konfigurationsdatei erstellen, die SkyPilot mitteilt, wie und wo Ihr Inferenzserver eingesetzt werden soll, indem Sie unseren vorgefertigten Docker-Container verwenden:

Umwelten:
MODELL_NAME: mistralai/Mistral-7B-v0.1

Ressourcen:
Wolke: aws
Beschleuniger: A10G:1
Häfen:
- 8000

laufen.: |
docker run --gpus all -p 8000:8000 ghcr.io/mistralai/mistral-src/vllm:latest \
--host 0.0.0.0 \
--model $MODEL_NAME \
--tensor-parallel-size $SKYPILOT_NUM_GPUS_PER_NODE
 

Sobald diese Umgebungsvariablen gesetzt sind, können Sie mit Himmelsstart zum Starten des Inferenzservers mit dem Namen Mistral-7b:

sky launch -c mistral-7b mistral-7b-v0.1.yaml --region us-east-1
 
VORSICHT

Wenn das Modell auf diese Weise eingesetzt wird, ist es für die ganze Welt zugänglich. Sie muss sichern, indem Sie sie entweder ausschließlich in Ihrem privaten Netz zugänglich machen (ändern Sie die --Host Docker-Option), durch Hinzufügen eines Load-Balancers mit vorgeschaltetem Authentifizierungsmechanismus oder durch die richtige Konfiguration des Netzwerks Ihrer Instanz.

Probieren Sie es aus!

Zum einfachen Abrufen der IP-Adresse des eingesetzten Mistral-7b Cluster können Sie verwenden:

sky status --ip mistral-7b
 

Sie können dann curl verwenden, um eine Abschlussanfrage zu senden:

IP=$(sky status --ip cluster-name)

locken http://$IP:8000/v1/completions \
-H "Content-Type: application/json" \
-d '{
"Modell": "mistralai/Mistral-7B-v0.1",
"prompt": "Mein Lieblingsgewürz ist",
"max_tokens": 25
}'
 

Quoten für die Nutzung

Bei vielen Cloud-Anbietern müssen Sie den Zugriff auf leistungsstarke GPU-Instanzen ausdrücklich beantragen. Lesen Sie Leitfaden für SkyPilot wie dies zu bewerkstelligen ist.

Es gibt zwei Basismodelle, die Sie verwenden können:

Der Mistral-7B-v0.1

Large Language Model (LLM) ist ein vortrainiertes generatives Textmodell mit 7 Milliarden Parametern. Mistral-7B-v0.1 übertrifft Llama 2 13B in allen von uns getesteten Benchmarks, die Sie hier herunterladen können: Mistral-7B-v0.1

Mistral-7B-Anleitung-v0.1

Das Mistral-7B-Instruct-v0.1 Large Language Model (LLM) ist eine unterrichtsbezogene, feinabgestimmte Version des Mistral-7B-v0.1 generatives Textmodell unter Verwendung einer Vielzahl von öffentlich zugänglichen Konversationsdatensätzen.

Liegt es daran, dass Sie nicht die neueste Transformers-Version verwenden?

Sie können das Problem einfach lösen, indem Sie Ihre Transformatoren aufrüsten:

pip install -U Transformatoren
 

Sobald Sie ein Modell mit vLLM auf einer GPU-Instanz bereitgestellt haben, können Sie es über die OpenAI-kompatible REST-API abfragen. Diese API wird auf der Seite API-Spezifikationaber Sie können jede Bibliothek verwenden, die OpenAI API implementiert.

Einrichtung

In diesem Modus vervollständigt das Modell die vorgegebene Aufforderung.

Installieren Sie die openai Python-Paket:

pip installieren openai
 

Konfigurieren Sie dann das Modul so, dass es mit dem von Ihnen bereitgestellten Server kommuniziert:

importieren openai

openai.api_base = "http://ec2-71-171-019-93.compute-1.amazonaws.com:8000/v1" # verwenden Sie die IP oder den Hostnamen Ihrer Instanz
openai.Api_Schlüssel = "keine" # vLLM-Server ist nicht authentifiziert
 

Fertigstellung

Sie können dann einen Abschluss auslösen:

Fertigstellung = openai.Fertigstellung.erstellen.(
Modell="mistralai/Mistral-7B-Anleitung-v0.1",
Aufforderung="Der Mistral ist",
Temperatur=0.7,
max_tokens=200, stoppen=".")

drucken(Fertigstellung.to_dict_recursive())
 

Welche Ausgaben:

{'id': 'cmpl-87f6980633bb45f5aecd551bc35335e6',
'Objekt': 'text_vervollständigung',
'erstellt': 1695651536,
'Modell': 'mistralai/Mistral-7B-Anleitung-v0.1',
Auswahlmöglichkeiten: [{'index': 0,
'Text': ein kalter, trockener, nordöstlicher Wind, der über das Mittelmeer weht".,
'logprobs': Keine,
'finish_reason': Stopp}],
Verwendung: {'prompt_tokens': 5, total_tokens: 23, completion_tokens: 18}}
 

Chat

Um mit dem Instruct-Modell zu chatten, können Sie die Chat-Abschluss-API verwenden:

Nachrichten = [{"Rolle": "Benutzer", "Inhalt": "Wie lautet der Bash-Befehl, um alle Dateien in einem Ordner aufzulisten und sie nach der letzten Änderung zu sortieren?"}]

chat_completion = openai.ChatVervollständigung.erstellen.(
Modell="mistralai/Mistral-7B-Anleitung-v0.1",
Temperatur=1,
max_tokens=1024,
Nachrichten=Nachrichten)
 
TIPP

Sie haben auch die Möglichkeit, die Abschluss-API zu verwenden, um mit dem Instruct-Modell zu interagieren. Allerdings müssen Sie die Konversationsvorlage implementieren, die wir für die Feinabstimmung des Modells eingebaut haben. Da vLLM mit FastChat arbeitet, haben wir eine FastChat-Version zur Verfügung gestellt, die mit dieser Vorlage ausgestattet ist. Verwenden Sie die get_conv_template("mistral"), importierbar über from fastchat.conversation import get_conv_templateum Zugriff darauf zu erhalten. Alternativ können Sie auch Ihre eigene Version erstellen, indem Sie die Implementierung von FastChat emulieren.

Twitter über Mistral 7B

Top bewertete Vedio über Mistral 7B