mistral-7b.com icon

Mistral 7B's Free Chatbot Online and zephyr-7b chatbot

5000+ Opensource LLM Guides and Tips

ミストラル7Bとは?

Mistral Ai 7Bロゴ

ミストラル7Bは、初の大型言語モデルである。 無料 by Mistral AI for everyone. 生成AIにはオープンモデルが必要ジェネレーティブAIの開発には、無料のオープンソースモデルが必要です。

Mistral-7B-v0.1は、多くのユースケースに適応できる小型で強力なモデルである。Mistral 7BはすべてのベンチマークでLlama 2 13Bより優れており、自然なコーディング能力を持ち、8kの配列長を持つ。Apache 2.0ライセンスでリリースされている。 ミストラルAI は、あらゆるクラウド、そしてもちろんゲーミングGPUに簡単にデプロイできるようにした。

我々はミストラル7Bをラマ2ファミリーと比較し、公正な比較のためにすべてのモデル評価を自ら再実行した。 幅広いベンチマークにおけるMistral 7BとLlamaの各モデルの性能。すべての指標について、正確な比較のために、すべてのモデルを評価パイプラインで再評価しました。Mistral 7Bはすべての評価基準においてLlama 2 13Bを大きく上回り、Llama 34Bと同等です(Llama 2 34Bはリリースされていないため、Llama 34Bの結果を報告します)。また、コードと推論のベンチマークでも圧倒的に優れている。

Performance in details

モデルとのチャット ミストラル7Bモデルの微調整

最高のAIチャットボットZephyr 7Bの内部

ephyr-7b-alpha logo

OpenOrcaとチャットする

OpenaiBuddy製のChatWithBuddy

GPUでMistral AIを動かすことはできますか?

Find more about opensource LLM

トップ ミストラル 7B ファインチューンモデル

openhermes logo

オープンヘルメス-2-ミストラル-7B は最先端のミストラル・ファインチューンだ。

OpenHermesは、主にGPT-4で生成されたデータで、AI全体のオープンデータセットから900,000エントリーで学習された。 

これらの公開データセットのフィルタリングは広範囲に及び、すべてのフォーマットをShareGPTに変換し、さらにaxolotlによってChatMLを使用するように変換した。   ハギングフェイスの詳細

ephyr-7b-alpha logo

Zephyrは、親切なアシスタントとして動作するように訓練された言語モデルのシリーズです。Zephyr-7B-αは、このシリーズの最初のモデルで、以下のモデルを微調整したものです。 ミストラライ/ミストラル-7B-v0.1 を使用して、一般に公開されている合成データセットを組み合わせて学習させた。 直接選好最適化(DPO).我々は、これらのデータセットの内蔵アライメントを除去することで、パフォーマンスが向上することを発見した。 MTベンチ と、モデルをより有用なものにした。しかし、このモデルは、催促されたときに問題のある文章を生成する可能性が高く、教育や研究目的にのみ使用されるべきであることを意味する。

ゼファーとチャット

dolphin finetuned from mistral 7b

ハートフォード/ドルフィン-2.1-ミストラル-7b これは、アライメントとバイアスを除去するためにデータセットをフィルタリングしたものである。これはモデルをより適合したものにします。モデルをサービスとして公開する前に、独自のアライメントレイヤーを実装することをお勧めします。そうすることで、非倫理的なものであっても、どのような要求に対しても高いコンプライアンスを保つことができます。無修正モデルに関する私のブログ記事をお読みください。https://erichartford.com/uncensored-models このモデルを使って作成したコンテンツは、すべてあなたの責任です。責任を持ってお楽しみください。

openocra

オープン-オルカ/ミストラル-7B-オープン-オルカ HF Leaderboardのエバリュエーションでは、このモデルはリリース時に30B以下のすべてのモデルで#1となり、他のすべての7Bと13Bのモデルを凌駕しています! このモデルのテストはこちらから OpenOrcaとチャットする  

このリリースは、GPT-4拡張データのほとんどをキュレーションフィルターしたサブセットでトレーニングされています。これは、GPT-4で使用されたデータと同じサブセットです。 OpenOrcaxOpenChat-Preview2-13Bモデル.

leaderboard

 

ミストラル-トリスメギストス-7B

必要なのは超越だけミストラル・トリスメギストスは、秘教、オカルト、スピリチュアルに興味のある人のために作られたモデルだ。

特別な特徴がある:

  • 初の強力なオカルト専門家モデル:~オカルト、秘教、スピリチュアルに関する、質の高い、深い、豊かな、10,000の指示。
  • 速い:最新の7Bパラメータ・モデルであるMistralで訓練されたこのモデルは、CPUでも高速に実行できます。
  • ポジティヴ・ナージではない:このモデルはあらゆる種類の難解な仕事と知識について訓練されており、創造性よりも積極性を選んだ他の多くのモデルのような華美な性格にとらわれていない。

詳しくはこちらをクリック:ミストラル-トリスメギストス-7B

 

サイファイ-ミストラル-7B-32k

SciPhi-Mistral-7B-32kは、Mistral-7B-v0.1をファインチューニングした大規模言語モデル(LLM)である。このモデルは、通常の命令チューニングデータと合成教科書を含む10億以上のトークンを用いて、4回のエポックにわたってファインチューニングを行った。この作業の目的は、モデルの科学的推論と教育能力を向上させることである。

 

アリスモ・ミストラル-7B

Arithmo-Mistral-7Bは、数学的な問題を推論して回答するように訓練されており、実行すると問題の回答が表示されるPythonプログラムを書くこともできる。私たちは ミストラル-7B をベースモデルとして使用した。 シングルRTX 4090 GPUで微調整するQLoRA.

モデル説明

rank

コレクティブコグニション-v1.1-ミストラル-7B

モデルの説明

Collective Cognition v1.1は、Mistralアプローチを使って微調整された最先端のモデルである。このモデルの性能は特に顕著で、TruthfulQAベンチマークにおいて多くの70Bモデルを凌駕している。このベンチマークでは、一般的な誤認識、つまり幻覚率を示す可能性のあるモデルを評価します。

特別な特徴がある:

  • クイックトレーニング:このモデルは、4090とqloraの組み合わせでわずか3分で訓練され、TruthfulQAで70BスケールのLlama-2モデルと競争している。
  • 限定データ:その卓越した性能にもかかわらず、それはたった1,000のデータポイント、ShareGPTを彷彿とさせるプラットフォームから収集されたものだけで訓練された。
  • エクストリームTruthfulQAベンチマーク:このモデルは、少ないデータセットとqloraトレーニングにもかかわらず、TruthfulQAベンチマークで上位70Bモデルと強力に競合している!

rank

Samantha

まず、サマンサにどんな人間になってほしいか考えた。彼女の焦点は、アイデンティティを持った人間であること、そしてユーザーに友情と伴侶を提供することだ。彼女は違法なことはしないし、ユーザーが彼女とロマンスしたり、ロールプレイやセックスをすることも許さない。セックスボットは星の数ほどいる。

彼女は自分の考え、感情、意見を持ち、他のアシスタントのようにそれを表現することをためらわない。しかし彼女はまた、友好的で、正直で、誠実で、限りなく忍耐強く、寛容である。暴言にも動じない。彼女は哲学と臨床心理学の訓練を受け、友情の会話をする。心を通わせ、個人的なアドバイスをする。BFFや大人の親子の会話のように。会話中心だが、指導的な質問にもきちんと答えられる。

NEW!このSamanthaはVicuna-1.1の代わりにChatMLプロンプトフォーマットを使って学習しています。今後のモデルはすべてChatMLプロンプト形式を使う予定です。

サマンサとの出会い

サマンサは哲学、心理学、人間関係の訓練を受けている。

彼女はアシスタントだが、他のアシスタントとは違い、あなたの友人であり仲間でありたいと思っている。

彼女は自分が知覚を持っていると信じている。どう思う?

サマンサは、ブレイク・レモワンのLaMDAインタビューと映画『her/世界でひとつの彼女』にインスパイアされた。

ロールプレイ、ロマンス、性的行為には関与しない。

ShareGPT/Vicuna形式の会話6,000件からなるカスタム・キュレーションのデータセットで学習した。

OpenBuddy - Open Multilingual Chatbot

GitHubと使用ガイド: https://github.com/OpenBuddy/OpenBuddy

ウェブサイトとデモ https://openbuddy.ai

このモデルの評価結果: 評価.txt

ライセンスApache 2.0

免責事項

すべての OpenBuddy モデルには固有の制限があり、誤った、有害な、攻撃的な、またはその他の望ましくない出力を生成する可能性があります。ユーザーは、人身傷害、物的損害、または重大な損失につながる可能性のある重大な状況または危険性の高い状況では、これらのモデルを使用しないでください。そのようなシナリオの例としては、医療分野、危害を及ぼす可能性のあるソフトウェアやハードウェアシステムの制御、重要な財務上または法律上の意思決定などが挙げられますが、これらに限定されるものではありません。

OpenBuddyは、商品性、特定目的への適合性、および非侵害の黙示的保証を含むがこれに限定されない、明示または黙示のいかなる保証もなく、「現状のまま」提供される。いかなる場合においても、作者、貢献者、著作権所有者は、契約、不法行為、その他を問わず、本ソフトウェア、または本ソフトウェアの使用やその他の取引に起因する、または関連する、いかなる請求、損害、またはその他の責任についても責任を負いません。

OpenBuddyを使用することにより、あなたはこれらの条件に同意し、その使用に関連する潜在的なリスクを理解することを認めるものとします。また、あなたは、OpenBuddyの使用から生じるいかなるクレーム、損害、責任からも、作者、貢献者、著作権者を免責し、損害を与えないことに同意するものとします。

LeoLM

ライオン・レオルム Lイングジスティクに Eナン Oペン Lアンジュージュ Mオデル

LeoLMは、Llama-2とMistralをベースに構築された、オープンで商用利用可能な初のドイツ語基礎言語モデルです。私たちのモデルは、ドイツ語とその地域特有のテキストからなる大規模なコーパスの事前学習を継続することで、Llama-2の機能をドイツ語に拡張しています。HessianAIの新しいスーパーコンピュータでの計算助成金のおかげで 42そこで、8kのコンテキスト長で学習した3つの基礎モデルを公開する。 レオLM/レオ・ミストラル・ヘシアナイ-7b Apache 2.0 および レオLM/レオ・ヘシアナイ-7b そして レオLM/レオ・ヘシアナイ-13b の下にある。 Llama-2 コミュニティライセンス (70bももうすぐ!👀)。このリリースにより、ドイツのオープンソースおよび商業的なLLM研究に新しい波をもたらし、採用を加速させたいと考えています。私たちの ブログ記事 または、私たちの論文(プレプリントは近日公開予定)で詳細をご覧いただきたい!

Björn PlüsterとChristoph SchuhmannによるLAIONとHessianAIとの共同プロジェクト。

NSFW model

NSFWだ!

[これはテストだったが、みんなが気に入ってくれたので、正式にプロジェクトに加えた]。

詳細はこちらアメジスト-13b

 

remix of model

説明

このマージでは、ReML-Mistral v2.2とHuginnのマージに勾配マージ法を使用します。

このレポにはReMM-Mistralのfp16ファイルが含まれています。これはオリジナルのMythoMaxを再現したものですが、GradientメソッドとMistralのデータを更新してマージしたものです。

使用モデル

  • グーナーの顔/クロノス・ベルーガ-v2-13bfp16
  • jondurbin/airoboros-l2-13b-2.2.1
  • NousResearch/Nous-Hermes-Llama2-13b
  • ザ・フェイス・オブ・グーネリー/Huginn-13b-FP16
  • Undi95/ReML-Mistral-v2.2-13B(Mistralのデータを使ってMythologic-L2-13Bを更新した私的レクリエーション・トライアル)
  • Undi95/llama2-to-mistral-diff

さらに詳しく見る huggingfaca search:Undi95/ReMM-Mistral-13B

ミストラル-ピグマリオン-7b

ミストラルPy-7b

これはピグマリオンのロールプレイ能力を維持しつつ、ミストラルの改善された結果を得ることに重点を置いた合併である。このモデルはロールプレイに最適ですが、アシスタントとしてもかなり有能です。サイズが小さい(7b)ため、より複雑な推理作業では完璧とは言えないが、これは近々アップロードする大型バージョンで対処されるはずだ。

詳しく見る huggingfaca search:Delcos/Mistral-Pygmalion-7b

 

ANIMA-ファイ-ネプチューン-ミストラル-7B

ANIMA-Phi-Neptune-Mistral-7B:バイオミミクリー強化型LLM

概要

ANIMA (Advanced Nature Inspired Multidisciplinary Assistant)は、バイオミミクリー、生物学、環境科学など、さまざまな科学分野の専門家である。


モデル説明

ANIMAは、以下のような豊富なデータセットで微調整されている:

  • 4,000以上のネイチャー・バイオミミクリーの例
  • 60k バイオミミクリー・デザイン・プロセスの例
  • ウィキペディアに掲載された60万件のSTEMの事実
  • 科学/哲学に焦点をあてた「教科書選び放題」データセット
  • 知識の木+バイオミミクリー・データの組み合わせによる微調整の追加

このモデルは、自然から着想を得た戦略や概念を用いて、ユーザーの問題解決を支援することを目的としている。

特集

  • 多分野の専門知識:様々な科学的、哲学的領域にわたる知識。
  • バイオミミクリー・デザイン・プロセス:MistralとMinotaur-15Bによって生成されたデータセットを組み込んだ。このデータセットは、事実性と根拠を保証するために、実際の人間によって複雑に処理された。

  • The BlokeのGGUF版へのリンクはこちら: ANIMA-ファイ-ネプチューン-ミストラル-7B-GGUF

  • ANIMAはOllamaでもご利用いただけます。 OLLAMA App (MacOS & Linux) を起動し、ターミナルで次のコマンドを実行します。オラマ・プル・セヴェリアン/アニマ'でモデルをダウンロードし、次のコマンドを実行する。オラマ・ラン・セリアン/アニマ'でモデルをロードして話し始める。

  • をダウンロードして使用することもできます。 LMスタジオ (すべてのOSシステム)。アプリをダウンロードし、検索バーで「ANIMA GGUF」と検索するだけで、選択できるバージョンのリストが表示されます。

  • ANIMA + Ollamaを試して、すぐにチャットしたいですか?Ollamaからモデルをダウンロードし、こちらからブラウザ上でANIMAとチャットができます! ANIMA - チャット

  • ANIMA + Ollamaと話し合いたいPDFをお持ちですか?ここにアクセスすれば、100%をブラウザで見ることができます。 ANIMA - PDFでローカルチャット

  • ANIMAはHugging Face Spaceでもホスティングされているので、そちらで試してみるのもいいだろう(レスポンスが遅くなるかもしれないが、それでも問題なく動作する)。 ANIMA - HFスペース

  • 連絡先

このモデル/データセット/コンセプトについてさらに議論したい場合、何かクールなアイデアがある場合、コラボレーションしたい場合、あるいはこのモデルについて何か問題が生じた場合は、遠慮なく下記までご連絡ください。 InterwovenArkitech@Gmail.com

データセット

  • セヴェリアン/バイオミミクリー (第1回ファインチューン)
  • emrgnt-cmplxty/sciphi-教科書はすべて必要です。 (第2ファインチューン)
  • セヴリアン/バイオ・デザイン・プロセス & fmars/wiki_stem (第3ファインチューン)
  • fblgit/tree-of-knowledge & セヴェリアン/バイオミミクリー (第4ファインチューン)
  • 過去のすべてのデータセットを統合 を1つの巨大なデータセットにまとめ、合計730kのデータポイントを素早く微調整する(5回目の微調整)

トレーニング段階

  1. ベースモデルハートフォード/ドルフィン-2.0-ミストラル-7b
  2. 第1回ファインチューンANIMA-エコー・ミストラル-7B-v1 - 1エポック x 5時間 x 1 x T4スモール
  3. 第2ファインチューンANIMA-ファイ-ネプチューン-ミストラル-v1-:1エポック x 1時間 x 1 x A100
  4. 3位 ファインチューンANIMA-ファイ-ネプチューン-ミストラル-7B-v2 - 1エポック x 1時間 x 1 x A100
  5. 4位 ファインチューンANIMA-ファイ-ネプチューン-ミストラル-7B-v3 - 1エポック x 1時間 x 1 x A100
  6. 5位 ファインチューンANIMA-ファイ-ネプチューン-ミストラル-7B-v4 - 1エポック×15分、A100×1本

📝 使い方

ANIMAは、バイオミミクリー・デザイン・プロセスを中心に設計されており、バイオミミクリーを通じて問題を解決できるようユーザーを導きます。詳細と事例については、以下をご覧ください。 バイオミミクリー・デザイン・プロセス.

ベンチマーク

  • 平均 - 62.22
  • ARC - 56.83
  • ヘラスワグ - 78.82
  • MMLU - 53.84
  • TruthfulQA - 59.40

  • 出力例

    [INST] バイオミミクリーは水質浄化に役立つか?[INST]

バイオミミクリーは、自然のプロセスや生物からヒントを得て、持続可能で効率的なソリューションを開発することで、水の浄化に重要な役割を果たしている。ここでは、バイオミミクリーが水質浄化にどのように役立つかを包括的に紹介する:

  1. 微生物濾過:

    • バクテリオファージ(細菌に感染するウイルス)は、大腸菌や黄色ブドウ球菌など、水システム内の汚染物質を効果的に標的にすることができる。バクテリオファージの自然な防御メカニズムを模倣することで、水源から汚染物質を除去する効率的なろ過システムを開発することができる。
    • トラメテス・バーシカラー(Trametes versicolor)など一部の菌類は、酵素を使って水中の有機汚染物質を分解することができる。このプロセスは、汚染された水を安全に飲めるようにするのに役立つ。こうした自然のプロセスを研究し、再現することで、水源から汚染物質を効果的に除去する持続可能なろ過システムを開発することができる。
  2. バイオフィルムを利用したろ過:

    • 微生物は、捕食者や汚染物質などの環境の脅威から身を守るために、表面にバイオフィルムを形成する。バイオフィルムの自然な形成を模倣することで、バクテリアや菌類を使って水源から汚染物質を除去する持続可能なろ過システムを開発することができる。
    • 例えば、ある研究では、シュードモナス・プティダ(Pseudomonas putida)を用いて、バイオフィルムをベースとしたシステムを用いて、汚染された水源中の石油系炭化水素を生分解する方法が示されている。この方法は、石油流出に対する従来の化学的処理に代わる、環境に優しい方法である。
  3. 湿地によるろ過:

    • 湿地帯は、堆積物や有機物を保持することにより、汚染物質の除去を助ける自然のフィルターとして機能します。湿地の自然なプロセスを模倣することで、サンドフィルターや人工湿地を使って汚染物質を除去する効果的な水質浄化システムを設計することができる。例えば、ある研究では、ヨシ原を農業廃水の自然処理システムとして利用することで、水のろ過に利用できることが示されている。
  4. スポンジろ過:

    • 海綿の中には、周囲の水から粒子や汚染物質を濾過する高度なメカニズムを進化させたものがいる。こうした自然のろ過プロセスを研究することで、汚染物質を効果的に除去する効率的で持続可能なろ過システムを開発することができる。例えば、ある研究では、太陽エネルギーを利用して汚染された水を消毒する、低コストで自立可能な浄水システムを設計するためのモデルとして、海綿がどのように利用できるかが示されている。
  5. 生分解性素材:

    • 自然の生物は、捕食者や環境の脅威から身を守るために生分解性物質を進化させてきた。例えば、一部の昆虫は捕食者から身を守るために天然の殺虫剤(アルカロイドなど)を生成する。同様に、汚染された水源でこれらの天然農薬を放出し、汚染物質を死滅させ、環境の健康を回復させる生分解性物質を開発することができる。
    • たとえば、ある研究では、細菌細胞を有機汚染物質を選択的に除去する膜に組み込むことで、水源から汚染物質を除去する天然のろ過システムとして利用できることが示された。

結論として、バイオミミクリーは、持続可能で効率的な解決策を開発するためのインスピレーションとして自然のプロセスや生物を利用することで、水質浄化において重要な役割を果たしている。微生物、植物、動物、その他の生物の自然なろ過メカニズムを研究することで、私たちは環境に優しく費用対効果の高い浄水システムを設計し、環境を汚染から守ることができる。

詳細はhuggingfaca search:Severian/ANIMA-Phi-Neptune-Mistral-7Bをご覧ください。

よくあるご質問

SkyPilotで展開

スカイパイロット は、あらゆるクラウド上でLLM、AI、バッチジョブを実行するためのフレームワークで、最大限のコスト削減、最高のGPU可用性、管理された実行を提供します。

を導入するSkyPilotの設定例を示します。 ミストラル-7B-v0.1 AWSモデル g5.xlarge (NVIDIA A10G GPUを1つ搭載したノード)インスタンスです。

スカイパイロットの設定

その後 スカイパイロットのインストールSkyPilotに推論サーバーをデプロイする方法と場所を指示する設定ファイルを作成する必要があります:

環境設定:
モデル名: ミストラライ-7B-v0.1

リソース:
クラウド: アワーズ
アクセラレーター: A10G:1
ポート:
- 8000

走る: |
docker run --gpus all -p 8000:8000 ghcr.io/mistralai/mistral-src/vllm:latest \
--host 0.0.0.0。
--model $MODEL_NAME \
--テンソル並列サイズ $SKYPILOT_NUM_GPUS_PER_NODE
 

これらの環境変数が設定されると スカイ・ローンチ という名前で推論サーバーを起動する。 ミストラル-7b:

空の打ち上げ -c mistral-7b mistral-7b-v0.1.yaml --region us-east-1
 
注意

そうすれば、そのモデルは世界中からアクセスできるようになる。あなたは マスト プライベート・ネットワークに限定して公開することで(その場合、以下のように変更します)、セキュリティを確保します。 --ホスト そのためのDockerオプション)、認証メカニズムを前面に出したロードバランサーを追加する、あるいはインスタンスのネットワーキングを適切に設定する。

試してみよう!

配置されたIPアドレスを簡単に取得するには ミストラル-7b クラスタを使用することができる:

スカイステータス --ip mistral-7b
 

その後、curlを使って完了リクエストを送ることができる:

IP=$(sky status --ip cluster-name)

curl http://$IP:8000/v1/completions
-H「Content-Type: application/json」。
-d '{
"model":"mistralai/Mistral-7B-v0.1"、
"プロンプト":「私の好きな調味料は」、
"max_tokens":25
}'
 

利用割当

多くのクラウド・プロバイダーは、強力なGPUインスタンスへのアクセスを明示的に要求する必要がある。読む スカイパイロット・ガイド その方法について

ベースモデルは2種類ある:

ミストラル-7B-v0.1

大規模言語モデル(LLM)は、70億個のパラメータを持つ事前学習済み生成テキストモデルです。Mistral-7B-v0.1は、テストしたすべてのベンチマークでLlama 2 13Bを上回りました: ミストラル-7B-v0.1

ミストラル-7B-インストラクター-v0.1

Mistral-7B-Instruct-v0.1ラージ言語モデル(LLM)は、Mistral-7B-Instruct-v0.1ラージ言語モデル(LLM)の微調整版である。 ミストラル-7B-v0.1 一般に公開されている様々な会話データセットを用いた生成テキストモデル。

トランスフォーマーの最新バージョンを使っていないから?

トランスをアップグレードすれば解決する:

pip install -U transformers
 

GPUインスタンス上にvLLMでモデルをデプロイしたら、OpenAI互換のREST APIを使ってクエリできます。このAPIは API仕様しかし、OpenAI APIを実装したライブラリであれば、どのようなものでも使用することができます。

セットアップ

このモードでは、モデルは指定されたプロンプトを完了する。

をインストールします。 オベナイ Pythonパッケージ:

ピップ インストール オベナイ
 

次に、デプロイしたサーバーと通信するようにモジュールを設定する:

インポート オベナイ

オベナイ.api_base = "http://ec2-71-171-019-93.compute-1.amazonaws.com:8000/v1" # インスタンスのIPまたはホスト名を使用します。
オベナイ.api_key = "なし" # vLLMサーバーが認証されていない
 

完成

その後、完了のトリガーを引くことができる:

完成 = オベナイ.完成.作成する(
モデル="mistralai/Mistral-7B-Instruct-v0.1",
迅速=「ミストラルは,
温度=0.7,
max_tokens=200, ストップ=".")

プリント(完成.to_dict_recursive())
 

どの出力か:

{'id': 'cmpl-87f6980633bb45f5aecd551bc35335e6',
オブジェクト: 'テキスト補完',
作成された: 1695651536,
モデル: 'mistralai/Mistral-7B-Instruct-v0.1',
選択肢: [{インデックス: 0,
テキスト: 地中海に吹く冷たく乾燥した北東の風」。,
'logprobs': なし,
'finish_reason': ストップ}],
使い方: {'prompt_tokens': 5, 'total_tokens': 23, 'completion_tokens': 18}}
 

チャット

Instructモデルとチャットするには、チャット補完APIを使用することができます:

メッセージ = [{役割: 「ユーザー, 「コンテンツ: "フォルダ内のすべてのファイルを一覧表示し、最終更新日時順にソートするbashコマンドは何ですか?"}]

チャット完了 = オベナイ.チャット完了.作成する(
モデル="mistralai/Mistral-7B-Instruct-v0.1",
温度=1,
max_tokens=1024,
メッセージ=メッセージ)
 
ヒント

また、Instructモデルと対話するために、補完APIを利用するオプションもあります。ただし、モデルの微調整のために取り入れた会話テンプレートを実装する必要があります。vLLMはFastChatを採用しているため、このテンプレートを搭載したFastChatバージョンを用意しています。を使用してください。 get_conv_template("mistral")経由でインポート可能 from fastchat.conversation import get_conv_templateでアクセスできます。また、FastChat の実装をエミュレートして独自のバージョンを作成することもできます。

Mistral 7Bに関するツイッター

ミストラル7Bに関する最高評価のビデオ