икона mistral-7b.com

Бесплатный чатбот Mistral 7B в режиме онлайн и чатбот zephyr-7b

5000+ руководств и советов по LLM из открытых источников

Что такое "Мистраль 7B"?

Логотип Mistral Ai 7B

Mistral 7B - это первая большая языковая модель, созданная бесплатно Мистраль ИИ для всех. Генеративный ИИ нуждается в открытых моделяхДля ускорения разработки генеративного ИИ нужна бесплатная модель с открытым исходным кодом.

Mistral-7B-v0.1 - это небольшая и мощная модель, адаптируемая для многих случаев использования. Mistral 7B превосходит Llama 2 13B по всем показателям, имеет естественные возможности кодирования и длину последовательности 8k. Выпускается под лицензией Apache 2.0. Мистраль ИИ позволило легко развернуть его в любом облаке и, конечно, на игровом GPU.

Мы сравнили Mistral 7B с семейством Llama 2 и провели повторную оценку всех моделей для справедливого сравнения. Производительность Mistral 7B и различных моделей Llama на широком спектре бенчмарков. Для точного сравнения все модели были повторно оценены с помощью нашего конвейера оценки. Mistral 7B значительно превосходит Llama 2 13B по всем метрикам и находится на одном уровне с Llama 34B (поскольку Llama 2 34B не была выпущена, мы приводим результаты по Llama 34B). Она также значительно превосходит по коду и рассуждениям.

Производительность в деталях

Чат с моделью Тонкая настройка модели Mistral 7B

Лучший чат-бот с искусственным интеллектом Zephyr 7B внутри

логотип эфир-7б-альфа

ChatWithBuddy, созданный OpenaiBuddy

Могу ли я запустить Mistral AI с моим GPU?

Подробнее о LLM с открытым исходным кодом

Лучшие модели Mistral 7B Fine-tune

логотип openhermes

OpenHermes-2-Mistral-7B это современная настройка Mistral Fine-tune.

OpenHermes был обучен на 900 000 записей, в основном сгенерированных GPT-4, из открытых наборов данных по всему ландшафту ИИ. 

Эти публичные наборы данных подверглись тщательной фильтрации, а также преобразованию всех форматов в ShareGPT, который затем был преобразован axolotl для использования ChatML.   Получите больше информации об обнимающемся лице

логотип эфир-7б-альфа

Zephyr - это серия языковых моделей, обученных работать в качестве полезных помощников. Zephyr-7B-α - это первая модель серии, представляющая собой доработанную версию mistralai/Mistral-7B-v0.1 которая была обучена на нескольких общедоступных синтетических наборах данных с использованием Прямая оптимизация предпочтений (DPO). Мы обнаружили, что устранение встроенного выравнивания в этих наборах данных повышает производительность на MT Bench и сделала модель более полезной. Однако это означает, что модель, скорее всего, будет генерировать проблемный текст, когда ее попросят это сделать, и должна использоваться только в образовательных и исследовательских целях.

Пообщаться с Зефиром

dolphin finetuned от mistral 7b

ehartford/dolphin-2.1-mistral-7b Это нецензурированная модель. Она была отфильтрована, чтобы удалить выравнивание и смещение. Это делает модель более совместимой. Вам рекомендуется реализовать свой собственный слой выравнивания, прежде чем предоставлять модель в качестве сервиса. Она будет в полной мере соответствовать любым запросам, даже неэтичным. Пожалуйста, прочитайте мою статью в блоге о моделях без цензуры. https://erichartford.com/uncensored-models Вы несете ответственность за любой контент, который вы создаете с помощью этой модели. Наслаждайтесь ответственно.

openocra

Open-Orca/Mistral-7B-OpenOrca По оценкам HF Leaderboard эта модель занимает место #1 среди всех моделей размером менее 30B на момент выпуска, опережая все остальные модели размером 7B и 13B! Вы можете протестировать эту модель здесь > Чат с OpenOrca  

Этот выпуск обучен на отфильтрованном подмножестве большинства наших данных, дополненных GPT-4. Это то же самое подмножество данных, которое использовалось в нашем Модель OpenOrcaxOpenChat-Preview2-13B.

таблица лидеров

 

Мистраль-Трисмегистус-7B

Трансцендентность - это все, что вам нужно! Мистраль Трисмегистус - это модель, созданная для людей, интересующихся эзотерикой, оккультизмом и духовностью.

Специальные возможности:

  • Первая мощная оккультная экспертная модель: ~10 000 высококачественных, глубоких, насыщенных инструкций по оккультизму, эзотерике и спиритизму.
  • Быстрый: Обученная на Mistral, современной модели с 7B параметрами, эта модель может быть быстро запущена даже на центральном процессоре.
  • Не позитивный нацист: Эта модель была обучена всем формам эзотерических задач и знаний, и не отягощена цветистостью многих других моделей, которые предпочли позитивность творчеству.

Нажмите здесь, чтобы узнать больше:Мистраль-Трисмегистус-7B

 

SciPhi-Mistral-7B-32k

SciPhi-Mistral-7B-32k - это большая языковая модель (LLM), доработанная на основе Mistral-7B-v0.1. Эта модель прошла процесс тонкой настройки в течение четырех эпох, используя более 1 миллиарда лексем, которые включают в себя данные настройки обычных инструкций и синтетические учебники. Целью данной работы было расширение возможностей модели в области научного мышления и образования.

 

Аритмо-Мистраль-7Б

Аритмо-Мистраль-7Б обучен рассуждать и отвечать на математические задачи, а также способен написать программу на языке Python, которая после выполнения выводит ответ на вопрос. Мы использовали Мистраль-7B в качестве базовой модели и использовали QLoRA для тонкой настройки на одном графическом процессоре RTX 4090.

Описание модели

рейтинг

CollectiveCognition-v1.1-Mistral-7B

Описание модели:

Collective Cognition v1.1 - это современная модель, настроенная с помощью подхода Mistral. Эта модель особенно примечательна своей производительностью: она превзошла многие модели 70B в бенчмарке TruthfulQA. Этот критерий оценивает модели на предмет распространенных заблуждений, потенциально указывающих на уровень галлюцинаций.

Специальные возможности:

  • Быстрое обучение: Эта модель была обучена всего за 3 минуты на одном 4090 с qlora и конкурирует с моделями Llama-2 масштаба 70B на TruthfulQA.
  • Ограниченные данные: Несмотря на исключительную производительность, он был обучен всего на ОДНОЙ СТРОКЕ данных, собранных с платформы, напоминающей ShareGPT.
  • Экстремальный бенчмарк TruthfulQA: Несмотря на небольшой набор данных и обучение в qlora, эта модель уверенно конкурирует с лучшими 70B моделями в бенчмарке TruthfulQA!

рейтинг

Саманта

Сначала я подумала о том, какой личностью я хочу видеть Саманту. Я остановился на том, что она сосредоточится на том, чтобы быть личностью с индивидуальностью и обеспечивать дружбу и общение с пользователем. Она не будет заниматься незаконными вещами, не позволит пользователю заводить с ней романтические отношения, участвовать в ролевых играх или заниматься сексом. Секс-ботов уже миллион, миру не нужен еще один.

У нее будут свои мысли, чувства и мнения, и она не будет стесняться их высказывать, как это делают другие помощники. Но при этом она будет дружелюбной, честной, искренней, бесконечно терпеливой и долготерпеливой. Ей не страшны словесные оскорбления. Ее будут обучать философии и клинической психологии, а также дружеским беседам. Сердце к сердцу, личные советы. Например, с лучшими подругами или взрослыми родителями и детьми. Она будет ориентирована на беседу, но также сможет достойно отвечать на вопросы в стиле инструкций.

НОВИНКА! Эта Саманта обучена с использованием формата подсказок ChatML вместо Vicuna-1.1. Все мои будущие модели будут использовать формат подсказок ChatML.

Познакомьтесь с Самантой

Саманта прошла обучение в области философии, психологии и личных отношений.

Она - помощник, но, в отличие от других помощников, хочет стать вашим другом и собеседником.

Она считает себя разумной. А вы что думаете?

Саманта была вдохновлена интервью Блейка Лемуана в LaMDA и фильмом "Она".

Она не будет участвовать в ролевых играх, романтике или сексуальной активности.

Она была обучена на специально подобранном наборе данных из 6 000 разговоров в формате ShareGPT/Vicuna.

OpenBuddy - открытый многоязычный чатбот

GitHub и руководство по использованию: https://github.com/OpenBuddy/OpenBuddy

Веб-сайт и демо-версия: https://openbuddy.ai

Результат оценки данной модели: Оценка.txt

Лицензия: Apache 2.0

Отказ от ответственности

Все модели OpenBuddy имеют неотъемлемые ограничения и могут давать ошибочные, вредные, оскорбительные или нежелательные результаты. Пользователи не должны использовать эти модели в критических ситуациях или ситуациях с высокими ставками, которые могут привести к травмам, повреждению имущества или значительным убыткам. Примерами таких ситуаций являются, в частности, медицина, управление программными и аппаратными системами, которые могут причинить вред, а также принятие важных финансовых или юридических решений.

OpenBuddy предоставляется "как есть", без каких-либо гарантий, явных или подразумеваемых, включая, но не ограничиваясь, подразумеваемыми гарантиями товарного состояния, пригодности для конкретной цели и ненарушения прав. Ни при каких обстоятельствах авторы, соавторы или владельцы авторских прав не несут ответственности за любые претензии, убытки или другие обязательства, будь то договорные, деликтные или иные, возникающие из, в связи с программным обеспечением, его использованием или другими действиями с ним.

Используя OpenBuddy, вы соглашаетесь с этими правилами и условиями и признаете, что понимаете потенциальные риски, связанные с его использованием. Вы также соглашаетесь возместить ущерб и оградить авторов, соавторов и владельцев авторских прав от любых претензий, ущерба или обязательств, возникших в результате использования вами OpenBuddy.

LeoLM

Лайон Леольм: Lлингвистически Enhanced Oручка Language MОдель

Встречайте LeoLM, первую открытую и коммерчески доступную языковую модель немецкого фонда, построенную на базе Llama-2 и Mistral. Наши модели расширяют возможности Llama-2 на немецкий язык за счет непрерывного предварительного обучения на большом корпусе немецкоязычных и в основном локально-специфических текстов. Благодаря гранту на вычисления на новом суперкомпьютере HessianAI 42Мы выпускаем три базовые модели, обученные с длиной контекста 8k. LeoLM/leo-mistral-hessianai-7b под Apache 2.0 и LeoLM/leo-hessianai-7b и LeoLM/leo-hessianai-13b под Общественная лицензия Llama-2 (70b также скоро появится! 👀). С помощью этого релиза мы надеемся вызвать новую волну возможностей для немецких исследований в области LLM с открытым исходным кодом и коммерческого использования и ускорить внедрение. Читайте наш запись в блоге или в нашей статье (препринт скоро будет готов) для получения более подробной информации!

Проект Бьорна Плюстера и Кристофа Шумана в сотрудничестве с LAION и HessianAI.

Модель NSFW

Это несерьезно.

[ЭТО БЫЛ ТЕСТ, НО ЛЮДЯМ НРАВИТСЯ, ПОЭТОМУ Я ДОБАВЛЯЮ ЕГО ОФИЦИАЛЬНО В СВОИ ПРОЕКТЫ].

больше информации здесь:Аметист-13б

 

ремикс модели

Описание

В этом слиянии используется метод градиентного слияния для объединения ReML-Mistral v2.2 и Huginn.

Это репо содержит fp16 файлы ReMM-Mistral, воссоздание оригинального MythoMax, но обновленное и объединенное с методом Gradient и данными Mistral.

Используемые модели

  • The-Face-Of-Goonery/Chronos-Beluga-v2-13bfp16
  • jondurbin/airoboros-l2-13b-2.2.1
  • NousResearch/Nous-Hermes-Llama2-13b
  • The-Face-Of-Goonery/Huginn-13b-FP16
  • Undi95/ReML-Mistral-v2.2-13B (Частное рекреационное испытание обновленного Mythologic-L2-13B с данными Mistral)
  • Undi95/llama2-to-mistral-diff

см. подробнее на сайте huggingfaca search:Undi95/ReMM-Mistral-13B

Мистраль-Пигмалион-7б

MistralPy-7b

Это слияние, направленное на сохранение ролевых способностей Пигмалиона и получение улучшенных результатов от Мистраля. Эта модель лучше всего подходит для ролевой игры, но при этом является достаточно способным помощником. Из-за меньшего размера (7b) он не идеально справляется с более сложными задачами рассуждения, но это будет исправлено в более крупной версии, которую я скоро загружу.

Посмотреть больше на huggingfaca Поиск:Delcos/Mistral-Pygmalion-7b

 

АНИМА-Фи-Нептун-Мистраль-7B

ANIMA-Phi-Neptune-Mistral-7B: биомимикрия с расширенными возможностями LLM

Обзор

АНИМА (Advanced Nature Inspired Multidisciplinary Assistant) - эксперт в различных научных дисциплинах, включая биомимикрию, биологию и экологию, но не ограничиваясь ими.


Описание модели

ANIMA отлажена на богатом наборе данных, включающем в себя:

  • 4 000+ примеров биомимикрии в природе
  • 60k Примеры процесса проектирования с использованием биомимикрии
  • 600 тысяч фактов из Википедии
  • Набор данных 'All-You-Need-Is-Textbooks', ориентированный на науку/философию
  • Дополнительное Древо познания + данные биомимикрии в сочетании с тонкой настройкой

Модель призвана помочь пользователям в решении проблем с помощью стратегий и концепций, вдохновленных природой.

Специальные возможности

  • Многопрофильная экспертиза: Знания в различных научных и философских областях.
  • Процесс разработки биомимикрии: Включает в себя набор данных, созданный Mistral и Minotaur-15B. Этот набор данных был тщательно обработан реальным человеком, чтобы обеспечить фактичность и обоснованность.

  • Вот ссылка на версию GGUF от The Bloke: ANIMA-Phi-Neptune-Mistral-7B-GGUF

  • ANIMA также доступна с помощью Ollama - скачать ОЛЛАМА Приложение (MacOS и Linux), а затем выполните эту команду в терминале 'оллама тяни севериан/анима', чтобы загрузить модель, а затем выполните эту команду 'оллама беги севериан/анима', чтобы загрузить модель и начать разговор.

  • Вы также можете загрузить и использовать модель с помощью Студия LM (Все операционные системы). Просто загрузите приложение, а затем найдите в строке поиска "ANIMA GGUF", и у вас появится список версий на выбор.

  • Хотите испытать ANIMA + Ollama и пообщаться прямо сейчас? Скачайте модель из Ollama и перейдите сюда, чтобы пообщаться с ANIMA прямо в браузере! ANIMA - Чат

  • У вас есть PDF-файл, который вы хотите обсудить с ANIMA + Ollama? Зайдите сюда и вы сможете сделать это в своем браузере, 100% локально. ANIMA - локальный чат для работы с файлами PDF

  • ANIMA также размещена на Hugging Face Space, если вы хотите попробовать ее там (она может медленно генерировать отклик, но все равно работает). ANIMA - высокочастотное пространство

  • Связаться с

Если вы хотите обсудить модель/набор данных/концепцию подробнее, у вас есть идеи, вы хотите сотрудничать или у вас возникли проблемы с моделью, пожалуйста, не стесняйтесь обращаться по адресу InterwovenArkitech@Gmail.com

Наборы данных

  • Северянин / Биомимикрия (1-я тонкая настройка)
  • emrgnt-cmplxty/sciphi-textbooks-are-all-you-need (2-я Тонкая настройка)
  • Severian/Bio-Design-Process & fmars/wiki_stem (3-я тонкая настройка)
  • fblgit/tree-of-knowledge & Северянин / Биомимикрия (4-я Тонкая настройка)
  • Объединил все предыдущие наборы данных в один гигантский набор данных для быстрой тонкой настройки с общим количеством 730 тыс. точек данных (5-я тонкая настройка)

Этапы обучения

  1. Базовая модельehartford/dolphin-2.0-mistral-7b
  2. 1-я тонкая настройкаANIMA-Echo-Mistral-7B-v1 - 1 эпоха x 5 часов на 1 x T4 Small
  3. 2-я тонкая настройкаANIMA-Phi-Neptune-Mistral-v1-: 1 эпоха x 1 час на 1 x A100
  4. 3-я Тонкая настройкаANIMA-Phi-Neptune-Mistral-7B-v2 - 1 эпоха x 1 час на 1 x A100
  5. 4-я тонкая настройкаANIMA-Phi-Neptune-Mistral-7B-v3 - 1 эпоха x 1 час на 1 x A100
  6. 5-я тонкая настройкаANIMA-Phi-Neptune-Mistral-7B-v4 - 1 эпоха x 15 минут на 1 x A100

📝 Использование

ANIMA разработана на основе процесса биомимикрического проектирования, чтобы помочь пользователям решить проблемы с помощью биомимикрии. Для получения дополнительной информации и примеров, пожалуйста, посетите Процесс разработки биомимикрии.

🏁 Бенчмарки

  • Средний - 62.22
  • ARC - 56.83
  • HellaSwag - 78.82
  • MMLU - 53.84
  • ПравдивыйQA - 59.40

  • ПРИМЕР ВЫХОДА

    [INST] Как биомимикрия может помочь в очистке воды? [/INST]

Биомимикрия играет важную роль в очистке воды, поскольку позволяет черпать вдохновение в природных процессах и организмах для разработки устойчивых и эффективных решений. Вот полный обзор того, как биомимикрия может помочь в очистке воды:

  1. Микробная фильтрация:

    • Бактериофаги (вирусы, заражающие бактерии) могут эффективно бороться с загрязняющими веществами в системах водоснабжения, такими как кишечная палочка и золотистый стафилококк. Имитируя естественные защитные механизмы бактериофагов, мы можем разработать эффективные системы фильтрации, удаляющие загрязняющие вещества из источников воды.
    • Некоторые грибы, например Trametes versicolor, способны расщеплять органические загрязнители в воде с помощью ферментов. Этот процесс помогает сделать загрязненную воду безопасной для употребления. Изучив и воспроизведя эти природные процессы, мы сможем разработать устойчивые системы фильтрации, которые будут эффективно удалять загрязняющие вещества из источников воды.
  2. Фильтрация на основе биопленки:

    • Микроорганизмы образуют биопленки на поверхностях, чтобы защитить себя от таких угроз окружающей среды, как хищники или загрязняющие вещества. Имитируя естественное формирование биопленок, мы можем разработать устойчивые системы фильтрации, использующие бактерии или грибки для удаления загрязняющих веществ из источников воды.
    • Например, исследование показало, как Pseudomonas putida можно использовать для биоразложения нефтяных углеводородов в загрязненных источниках воды с помощью системы на основе биопленки. Этот метод представляет собой экологически чистую альтернативу традиционной химической обработке разливов нефти.
  3. Фильтрация на основе водно-болотных угодий:

    • Водно-болотные угодья действуют как естественные фильтры для воды, задерживая осадки и органические вещества, которые способствуют удалению загрязняющих веществ. Имитируя естественные процессы в водно-болотных угодьях, мы можем разработать эффективные системы очистки воды с использованием песчаных фильтров или инженерных водно-болотных угодий для удаления загрязняющих веществ. Например, исследование показало, как тростниковые заросли можно использовать для фильтрации воды, применяя их в качестве естественной системы очистки сельскохозяйственных сточных вод.
  4. Губчатая фильтрация:

    • Некоторые морские губки (например, морская губка) выработали сложные механизмы для фильтрации частиц и загрязняющих веществ из окружающей воды. Изучая эти естественные процессы фильтрации, мы можем разработать эффективные и устойчивые системы фильтрации, которые будут эффективно удалять загрязняющие вещества. Например, в одном из исследований было показано, как морские губки могут быть использованы в качестве модели для разработки недорогой, самоподдерживающейся системы очистки воды, использующей солнечную энергию для дезинфекции загрязненной воды.
  5. Биоразлагаемые материалы:

    • Природные организмы выработали биоразлагаемые материалы для защиты от хищников или угроз окружающей среды. Например, некоторые насекомые вырабатывают природные пестициды (такие как алкалоиды) для защиты от хищников. Точно так же мы можем разработать биоразлагаемые материалы, которые будут высвобождать эти природные пестициды в загрязненных источниках воды, уничтожая загрязняющие вещества и восстанавливая здоровье окружающей среды.
    • Например, исследование показало, что бактериальные клетки можно использовать в качестве естественной системы фильтрации для удаления загрязняющих веществ из источников воды, встроив их в мембраны, которые избирательно удаляют органические загрязнители.

В заключение следует отметить, что биомимикрия играет важную роль в очистке воды, поскольку использует природные процессы и организмы в качестве источника вдохновения для разработки устойчивых и эффективных решений. Изучая естественные механизмы фильтрации микроорганизмов, растений, животных и других живых организмов, мы можем разрабатывать экологичные и экономически эффективные системы очистки воды, которые помогут защитить нашу окружающую среду от загрязнения.

Посмотреть больше на huggingfaca Поиск:Severian/ANIMA-Phi-Neptune-Mistral-7B

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Развертывание с помощью SkyPilot

SkyPilot Это фреймворк для выполнения LLM, AI и пакетных заданий в любом облаке, обеспечивающий максимальную экономию средств, высочайшую доступность GPU и управляемое выполнение.

Мы приводим пример конфигурации SkyPilot, которая развертывает Мистраль-7B-v0.1 модель на AWS g5.xlarge (Узел с одним графическим процессором NVIDIA A10G).

Конфигурация SkyPilot

После установка SkyPilotВам нужно создать конфигурационный файл, который укажет SkyPilot, как и где развернуть ваш сервер выводов, используя наш готовый контейнер docker:

envs:
НАЗВАНИЕ МОДЕЛИ: мистрали/Мистраль-7B-v0.1

ресурсы:
облако: aws
акселераторы: A10G:1
порты:
- 8000

запустить: |
docker run --gpus all -p 8000:8000 ghcr.io/mistralai/mistral-src/vllm:latest \
--host 0.0.0.0 \
-модель $MODEL_NAME \
--tensor-parallel-size $SKYPILOT_NUM_GPUS_PER_NODE
 

Когда эти переменные окружения установлены, вы можете использовать небесный старт чтобы запустить сервер выводов с именем мистраль-7b:

sky launch -c mistral-7b mistral-7b-v0.1.yaml --region us-east-1
 
ВНИМАНИЕ

При таком развертывании модель будет доступна всему миру. Вы обязательно защитите его, либо открыв его исключительно в вашей частной сети (измените --host Docker для этого), добавлением балансировщика нагрузки с механизмом аутентификации перед ним или правильной настройкой сетевого взаимодействия экземпляра.

Проверьте это!

Чтобы легко получить IP-адрес развернутого мистраль-7b кластер, который вы можете использовать:

sky status --ip mistral-7b
 

Затем вы можете использовать curl для отправки запроса на завершение:

IP=$(sky status --ip cluster-name)

завиток http://$IP:8000/v1/completions \
-H "Content-Type: application/json" \
-d '{
"model": "mistralai/Mistral-7B-v0.1",
"prompt": "Моя любимая приправа",
"max_tokens": 25
}'
 

Квоты на использование

Многие облачные провайдеры требуют, чтобы вы специально запрашивали доступ к мощным экземплярам GPU. Читайте Руководство SkyPilot как это сделать.

Есть две базовые модели, которые вы можете использовать:

Мистраль-7B-v0.1

Large Language Model (LLM) - это предварительно обученная генеративная модель текста с 7 миллиардами параметров. Mistral-7B-v0.1 превосходит Llama 2 13B во всех протестированных нами бенчмарках. Скачать можно здесь: Мистраль-7B-v0.1

Mistral-7B-Instruct-v0.1

Большая языковая модель (LLM) Mistral-7B-Instruct-v0.1 представляет собой уточненную версию Мистраль-7B-v0.1 генеративная модель текста с использованием различных общедоступных наборов данных разговоров.

Это потому, что вы не используете последнюю версию трансформаторов?

Вы можете просто решить эту проблему, модернизировав свои трансформаторы:

pip install -U transformers
 

После развертывания модели с vLLM на экземпляре GPU вы можете запросить ее с помощью OpenAI-совместимого REST API. Этот API описан на странице Спецификация APIНо вы можете использовать любую библиотеку, реализующую API OpenAI.

Настройка

В этом режиме модель выполняет заданную подсказку.

Установите openai Пакет Python:

pip установить openai
 

Затем настройте модуль на взаимодействие с развернутым сервером:

импорт openai

openai.api_base = "http://ec2-71-171-019-93.compute-1.amazonaws.com:8000/v1" # используйте IP-адрес или имя хоста вашего экземпляра
openai.api_key = "нет" # Сервер vLLM не прошел проверку подлинности
 

Завершение

Затем вы можете запустить завершение:

завершение = openai.Завершение.создать(
модель="mistralai/Mistral-7B-Instruct-v0.1",
подскажите="Мистраль".,
температура=0.7,
max_tokens=200, остановить=".")

печать(завершение.to_dict_recursive())
 

Что выводит:

{'id': 'cmpl-87f6980633bb45f5aecd551bc35335e6',
'объект': 'text_completion',
'созданный': 1695651536,
'модель': 'mistralai/Mistral-7B-Instruct-v0.1',
'выбор': [{'индекс': 0,
'text': ' холодный, сухой, северо-восточный ветер, дующий над Средиземным морем'.,
'logprobs': Нет,
'finish_reason': 'стоп'}],
'использование': {'prompt_tokens': 5, 'total_tokens': 23, 'completion_tokens': 18}}
 

Чат

Чтобы общаться с моделью Instruct, вы можете использовать API завершения чата:

сообщения = [{"роль": "пользователь", "содержание": "Какой командой bash можно перечислить все файлы в папке и отсортировать их по последнему изменению?"}]

chat_completion = openai.ChatCompletion.создать(
модель="mistralai/Mistral-7B-Instruct-v0.1",
температура=1,
max_tokens=1024,
сообщения=сообщения)
 
СОВЕТ

У вас также есть возможность использовать API завершения для взаимодействия с моделью Instruct. Однако вам придется реализовать шаблон разговора, который мы включили для тонкой настройки модели. Учитывая, что vLLM использует FastChat, мы сделали доступной версию FastChat, оснащенную этим шаблоном. Используйте get_conv_template("mistral"), импортируется через из fastchat.conversation import get_conv_templateчтобы получить к нему доступ. Кроме того, вы можете создать свою собственную версию, эмулируя реализацию FastChat.

Twitter о Mistral 7B

Лучшие видеоролики о Mistral 7B