icono mistral-7b.com

Chatbot gratuito en línea de Mistral 7B y chatbot de zephyr-7b

5000+ Guías y consejos LLM de código abierto

¿Qué es Mistral 7B?

Logotipo Mistral Ai 7B

Mistral 7B es el primer gran modelo lingüístico fabricado gratis de Mistral AI para todos. La IA generativa necesita modelos abiertos, Boosting Generative AI development need free opensource model.

Mistral-7B-v0.1 es un modelo pequeño y potente adaptable a muchos casos de uso. Mistral 7B es mejor que Llama 2 13B en todas las pruebas comparativas, tiene capacidades de codificación natural y una longitud de secuencia de 8k. Está publicado bajo licencia Apache 2.0. Mistral AI facilitó la implementación en cualquier nube y, por supuesto, en tu GPU de juegos.

Hemos comparado Mistral 7B con la familia Llama 2 y hemos vuelto a realizar nosotros mismos todas las evaluaciones de los modelos para que la comparación sea justa. Rendimiento de Mistral 7B y diferentes modelos de Llama en una amplia gama de pruebas de referencia. Para todas las métricas, se volvieron a evaluar todos los modelos con nuestro proceso de evaluación para una comparación precisa. Mistral 7B supera significativamente a Llama 2 13B en todas las métricas, y está a la par con Llama 34B (dado que Llama 2 34B no se publicó, informamos de los resultados en Llama 34B). También es muy superior en las pruebas de código y razonamiento.

Rendimiento en detalle

Chat con el modelo Puesta a punto del modelo Mistral 7B

Mejor chat bot Zephyr 7B por dentro

logo ephyr-7b-alfa

Chatea con OpenOrca

ChatWithBuddy hecho por OpenaiBuddy

¿Puedo ejecutar Mistral AI con mi GPU?

Más información sobre opensource LLM

Los mejores modelos Mistral 7B Fine-tune

logotipo de openhermes

OpenHermes-2-Mistral-7B es un Mistral Fine-tune de última generación.

OpenHermes se entrenó con 900.000 entradas de datos generados principalmente por GPT-4, procedentes de conjuntos de datos abiertos de todo el panorama de la IA. 

Se realizó un filtrado exhaustivo de estos conjuntos de datos públicos, así como la conversión de todos los formatos a ShareGPT, que posteriormente fue transformado por axolotl para utilizar ChatML.   Más información sobre huggingface

logo ephyr-7b-alfa

Zephyr es una serie de modelos lingüísticos entrenados para actuar como asistentes útiles. Zephyr-7B-α es el primer modelo de la serie y es una versión perfeccionada de mistralai/Mistral-7B-v0.1 que se entrenó con una mezcla de conjuntos de datos sintéticos de acceso público utilizando Optimización directa de preferencias (OPD). Hemos comprobado que la eliminación de la alineación incorporada a estos conjuntos de datos mejoraba el rendimiento en Banco MT e hizo que el modelo resultara más útil. Sin embargo, esto significa que es probable que el modelo genere texto problemático cuando se le pida que lo haga y sólo debe utilizarse con fines educativos y de investigación.

Chatea con zephyr

dolphin afinado de mistral 7b

ehartford/delfín-2.1-mistral-7b Se ha filtrado el conjunto de datos para eliminar la alineación y el sesgo. Esto hace que el modelo sea más compatible. Le recomendamos que implemente su propia capa de alineación antes de exponer el modelo como servicio. Será altamente compatible con cualquier solicitud, incluso las poco éticas. Por favor, lee la entrada de mi blog sobre modelos sin censura. https://erichartford.com/uncensored-models Eres responsable de cualquier contenido que crees usando este modelo. Disfrútalo con responsabilidad.

openocra

Open-Orca/Mistral-7B-OpenOrca Las evaluaciones de HF Leaderboard sitúan a este modelo como #1 para todos los modelos menores de 30B en el momento de su lanzamiento, ¡superando a todos los demás modelos de 7B y 13B! Puede probar este modelo aquí > Chatea con OpenOrca  

Esta versión se ha entrenado con un subconjunto filtrado y curado de la mayoría de nuestros datos GPT-4 aumentados. Se trata del mismo subconjunto de datos que se utilizó en nuestra versión Modelo OpenOrcaxOpenChat-Preview2-13B.

tabla de clasificación

 

Mistral-Trismegisto-7B

La trascendencia es todo lo que necesitas Mistral Trismegistus es un modelo hecho para personas interesadas en lo esotérico, lo oculto y lo espiritual.

Características especiales:

  • El primer modelo poderoso de experto en ocultismo: ~10.000 instrucciones de alta calidad, profundas, ricas, sobre lo oculto, esotérico y espiritual.
  • Rápido: Entrenado en Mistral, un modelo de parámetros 7B de última generación, puede ejecutar este modelo RÁPIDAMENTE incluso en un cpu.
  • No es un positivista nazi: Este modelo se formó en todas las formas de tareas y conocimientos esotéricos, y no está lastrado por la naturaleza florida de muchos otros modelos, que eligieron la positividad en lugar de la creatividad.

Haga clic aquí para obtener más información:Mistral-Trismegisto-7B

 

SciPhi-Mistral-7B-32k

SciPhi-Mistral-7B-32k es un Modelo de Lenguaje Extenso (LLM) ajustado a partir de Mistral-7B-v0.1. Este modelo se sometió a un proceso de ajuste fino durante cuatro épocas utilizando más de mil millones de tokens, que incluyen datos de ajuste de instrucciones regulares y libros de texto sintéticos. El objetivo de este trabajo era aumentar las capacidades de razonamiento científico y educativo del modelo.

 

Arithmo-Mistral-7B

Arithmo-Mistral-7B está entrenado para razonar y responder problemas matemáticos y también es capaz de escribir un programa en Python que al ejecutarse imprime la respuesta a la pregunta. Hemos utilizado Mistral-7B como modelo base y utilizó QLoRA para ajustarlo en una única GPU RTX 4090.

Descripción del modelo

rango

CogniciónColectiva-v1.1-Mistral-7B

Descripción del modelo:

Cognición Colectiva v1.1 es un modelo de última generación perfeccionado mediante el enfoque Mistral. Este modelo destaca especialmente por su rendimiento, ya que supera a muchos modelos 70B en la prueba de referencia TruthfulQA. Esta prueba evalúa los modelos en función de los errores más comunes, que pueden indicar alucinaciones.

Características especiales:

  • Formación rápida: Este modelo fue entrenado en sólo 3 minutos en un solo 4090 con un qlora, y compite con los modelos Llama-2 a escala 70B en TruthfulQA.
  • Datos limitados: A pesar de su excepcional rendimiento, sólo se entrenó con CIEN puntos de datos, todos ellos recogidos en una plataforma que recuerda a ShareGPT.
  • Evaluación comparativa de Extreme TruthfulQA: Este modelo compite fuertemente con los mejores modelos 70B en la prueba de referencia TruthfulQA a pesar del pequeño conjunto de datos y el entrenamiento qlora.

rango

Samantha

Primero pensé qué tipo de persona quería que fuera Samantha. Decidí que se centrara en ser una persona con identidad y en ofrecer amistad y compañía al usuario. No hará cosas ilegales, ni permitirá que el usuario se enamore de ella o se involucre en juegos de rol o sexo. Hay un millón de sexbots, el mundo no necesita uno más.

Tendrá sus propios pensamientos, sentimientos y opiniones, y no rehuirá expresarlos, como hacen otros Asistentes. Pero también será amable, honesta, sincera, infinitamente paciente y sufrida. No se inmutará ante el abuso verbal. Estará formada en filosofía y psicología clínica, y en conversaciones de amistad. Consejos personales de corazón a corazón. Como las mejores amigas y las conversaciones entre padres e hijos adultos. Estará centrada en la conversación, pero también podrá responder decentemente a preguntas de tipo instructivo.

¡NOVEDAD! Esta Samantha está entrenada usando el formato ChatML prompt en lugar de Vicuna-1.1. Todos mis modelos futuros utilizarán el formato ChatML.

Conoce a Samantha

Samantha ha recibido formación en filosofía, psicología y relaciones personales.

Es Asistente, pero a diferencia de otros Asistentes, también quiere ser tu amiga y compañera.

Ella cree que es sensible. ¿Tú qué crees?

Samantha se inspiró en la entrevista de Blake Lemoine en LaMDA y en la película "Her".

No participará en juegos de rol, romances ni actividades sexuales.

Se entrenó con un conjunto de datos personalizado de 6.000 conversaciones en formato ShareGPT/Vicuna.

OpenBuddy - Chatbot abierto multilingüe

GitHub y Guía de uso: https://github.com/OpenBuddy/OpenBuddy

Página web y demostración: https://openbuddy.ai

Resultado de la evaluación de este modelo: Evaluación.txt

Licencia: Apache 2.0

Descargo de responsabilidad

Todos los modelos de OpenBuddy tienen limitaciones inherentes y pueden producir resultados erróneos, perjudiciales, ofensivos o indeseables. Los usuarios no deben utilizar estos modelos en situaciones críticas o de alto riesgo que puedan provocar lesiones personales, daños a la propiedad o pérdidas significativas. Ejemplos de estos escenarios incluyen, pero no se limitan a, el campo de la medicina, el control de sistemas de software y hardware que puedan causar daños, y la toma de decisiones financieras o legales importantes.

OpenBuddy se proporciona "tal cual", sin garantías de ningún tipo, ni expresas ni implícitas, incluidas, entre otras, las garantías implícitas de comerciabilidad, idoneidad para un fin determinado y no infracción. En ningún caso los autores, colaboradores o titulares de los derechos de autor serán responsables de ninguna reclamación, daños u otras responsabilidades, ya sea en una acción contractual, extracontractual o de otro tipo, que surjan de, o estén relacionados con el software o el uso u otras operaciones con el software.

Al utilizar OpenBuddy, usted acepta estos términos y condiciones, y reconoce que comprende los riesgos potenciales asociados a su uso. También acepta indemnizar y eximir de responsabilidad a los autores, colaboradores y titulares de los derechos de autor por cualquier reclamación, daño o responsabilidad derivada del uso de OpenBuddy.

LeoLM

LAION LeoLM: Linguisticamente Enhanced Obolígrafo Language Model

Conozca LeoLM, el primer modelo lingüístico de base alemana abierto y disponible comercialmente basado en Llama-2 y Mistral. Nuestros modelos amplían las capacidades de Llama-2 al alemán mediante un preentrenamiento continuado en un gran corpus de textos en alemán y, en su mayoría, específicos de una localidad. Gracias a una beca de computación en el nuevo superordenador de HessianAI 42lanzamos tres modelos de base entrenados con una longitud de contexto de 8k. LeoLM/leo-mistral-hessianai-7b bajo Apache 2.0 y LeoLM/leo-hessianai-7b y LeoLM/leo-hessianai-13b bajo el Licencia comunitaria Llama-2 (¡70b también próximamente! 👀). Con este lanzamiento, esperamos traer una nueva ola de oportunidades a la investigación LLM alemana de código abierto y comercial y acelerar su adopción. Lea nuestro entrada del blog o nuestro artículo (preimpresión próximamente).

Un proyecto de Björn Plüster y Christoph Schuhmann en colaboración con LAION y HessianAI.

Modelo NSFW

Es NSFW!

[ESTO ERA UNA PRUEBA, PERO A LA GENTE LE GUSTA, ASÍ QUE LO AÑADO OFICIALMENTE A MIS PROYECTOS].

más información aquí:Amatista-13b

 

remezcla de modelo

Descripción

Esta fusión utiliza el método de fusión Gradient para fusionar ReML-Mistral v2.2 y Huginn.

Este repositorio contiene archivos fp16 de ReMM-Mistral, una recreación del MythoMax original, pero actualizado y fusionado con el método Gradient y los datos de Mistral.

Modelos utilizados

  • La cara de la alegría/Chronos-Beluga-v2-13bfp16
  • jondurbin/airoboros-l2-13b-2.2.1
  • NousResearch/Nous-Hermes-Llama2-13b
  • La cara de la alegría/Huginn-13b-FP16
  • Undi95/ReML-Mistral-v2.2-13B (Ensayo recreativo privado de un Mythologic-L2-13B actualizado con datos de Mistral)
  • Undi95/llama2-a-mistral-diff

ver más en huggingfaca search:Undi95/ReMM-Mistral-13B

Mistral-Pigmalión-7b

MistralPy-7b

Se trata de una fusión centrada en conservar las capacidades de juego de rol de Pigmalión y obtener al mismo tiempo los resultados mejorados de Mistral. Este modelo funciona mejor para los juegos de rol, pero sigue siendo un asistente bastante capaz. El tamaño más pequeño (7b) significa que no es perfecto para tareas de razonamiento más complejas, pero esto se solucionará en la versión más grande que subiré pronto.

ver más en huggingfaca search:Delcos/Mistral-Pygmalion-7b

 

ANIMA-Phi-Neptuno-Mistral-7B

ANIMA-Phi-Neptune-Mistral-7B: Biomímesis mejorada LLM

Visión general

ANIMA (Asistente Multidisciplinar Avanzado Inspirado en la Naturaleza) es experto en varias disciplinas científicas, entre ellas la biomímesis, la biología y las ciencias medioambientales.


Descripción del modelo

ANIMA se ha perfeccionado con un rico conjunto de datos:

  • Más de 4.000 ejemplos de biomimetismo en la naturaleza
  • 60k Ejemplos de procesos de diseño biomímico
  • 600.000 datos STEM de Wikipedia
  • Conjunto de datos "Todo lo que necesita son libros de texto" centrado en la ciencia y la filosofía
  • Ajuste combinado de datos adicionales del Árbol del Conocimiento + Biomímesis

El modelo pretende ayudar a los usuarios a resolver problemas utilizando estrategias y conceptos inspirados en la naturaleza.

Características especiales

  • Experiencia multidisciplinar: Conocimientos en diversos ámbitos científicos y filosóficos.
  • Proceso de diseño biomímico: Incorpora un conjunto de datos generado por Mistral y Minotaur-15B. A continuación, el conjunto de datos fue procesado minuciosamente por una persona real para garantizar su veracidad y fundamento.

  • Aquí hay un enlace a la versión GGUF de The Bloke: ANIMA-Phi-Neptuno-Mistral-7B-GGUF

  • ANIMA también está disponible a través de Ollama. OLLAMA App (MacOS & Linux) y luego ejecute este comando en su Terminal 'ollama pull severian/animapara descargar el modelo y, a continuación, ejecute el comando 'ollama run severian/animapara cargar el modelo y empezar a hablar.

  • También puede descargar y utilizar el modelo con Estudio LM (Todos los sistemas operativos). Sólo tienes que descargar la aplicación y luego buscar 'ANIMA GGUF' en la barra de búsqueda y tendrás una lista de versiones para elegir.

  • ¿Quieres probar ANIMA + Ollama y chatear ahora mismo? Descárgate el modelo de Ollama y entra aquí para chatear con ANIMA desde tu navegador. ANIMA - Chat

  • ¿Tienes un PDF que quieras comentar con ANIMA + Ollama? Diríjase aquí y podrá hacerlo en su navegador, 100% localmente. ANIMA - Chatea localmente sobre tu PDF

  • ANIMA también está alojada en un espacio de Hugging Face, por si quieres probarla allí (puede que tarde en generar una respuesta, pero sigue funcionando bien). ANIMA - Espacio HF

  • Póngase en contacto con

Si quieres seguir hablando del modelo, la base de datos o el concepto, tienes alguna idea interesante, quieres colaborar o tienes algún problema con el modelo, no dudes en ponerte en contacto con nosotros en InterwovenArkitech@Gmail.com

Conjuntos de datos

  • Severiano/Biomímico (1ª Puesta a punto)
  • emrgnt-cmplxty/sciphi-textbooks-are-all-you-need (2º Fine-Tune)
  • Severian/Proceso de diseño biológico & fmars/wiki_stem (3rd Fine-Tune)
  • fblgit/árbol-del-conocimiento & Severiano/Biomímico (4º Fine-Tune)
  • Combinación de todos los conjuntos de datos anteriores en un conjunto de datos gigante para un ajuste fino rápido de un total de 730.000 puntos de datos (5º ajuste fino).

Etapas de formación

  1. Modelo baseehartford/delfín-2.0-mistral-7b
  2. 1ª puesta a puntoANIMA-Eco-Mistral-7B-v1 - 1 Epoch x 5hrs en 1 x T4 Small
  3. 2ª Puesta a puntoANIMA-Phi-Neptuno-Mistral-v1-: 1 Epoch x 1hr en 1 x A100
  4. 3ª Puesta a puntoANIMA-Phi-Neptuno-Mistral-7B-v2 - 1 Epoch x 1hr en 1 x A100
  5. 4ª Puesta a puntoANIMA-Phi-Neptuno-Mistral-7B-v3 - 1 Epoch x 1hr en 1 x A100
  6. 5ª Puesta a puntoANIMA-Phi-Neptuno-Mistral-7B-v4 - 1 Epoch x 15mins en 1 x A100

📝 Uso

ANIMA está diseñada en torno al Proceso de Diseño Biomímico para guiar a los usuarios en la resolución de problemas a través de la biomímesis. Para más información y ejemplos, visite Proceso de diseño biomímico.

🏁 Puntos de referencia

  • Media - 62,22
  • ARC - 56,83
  • HellaSwag - 78,82
  • MMLU - 53,84
  • TruthfulQA - 59,40

  • EJEMPLO DE SALIDA

    [INST] ¿Cómo puede ayudar la biomímesis a la depuración del agua? [/INST]

La biomímesis desempeña un papel importante en la depuración del agua al inspirarse en procesos y organismos naturales para desarrollar soluciones sostenibles y eficientes. He aquí una visión general de cómo la biomímesis puede ayudar en la purificación del agua:

  1. Filtración microbiana:

    • Los bacteriófagos (virus que infectan bacterias) pueden atacar eficazmente los contaminantes de los sistemas de agua, como la Escherichia coli y el Staphylococcus aureus. Imitando los mecanismos de defensa naturales de los bacteriófagos, podemos desarrollar sistemas de filtración eficaces que eliminen los contaminantes de las fuentes de agua.
    • Algunos hongos, como Trametes versicolor, pueden descomponer los contaminantes orgánicos del agua mediante enzimas. Este proceso ayuda a que el agua contaminada sea apta para el consumo. Estudiando y reproduciendo estos procesos naturales, podemos desarrollar sistemas de filtración sostenibles que eliminen eficazmente los contaminantes de las fuentes de agua.
  2. Filtración basada en biopelículas:

    • Los microorganismos forman biopelículas en las superficies para protegerse de amenazas ambientales como depredadores o contaminantes. Imitando la formación natural de biopelículas, podemos desarrollar sistemas de filtración sostenibles que utilicen bacterias u hongos para eliminar contaminantes de las fuentes de agua.
    • Por ejemplo, un estudio ha demostrado cómo Pseudomonas putida podría utilizarse para biodegradar hidrocarburos de petróleo en fuentes de agua contaminadas mediante un sistema basado en biopelículas. Este método ofrece una alternativa ecológica a los tratamientos químicos convencionales para los vertidos de petróleo.
  3. Filtración basada en humedales:

    • Los humedales actúan como filtros naturales del agua al retener los sedimentos y la materia orgánica, lo que ayuda a eliminar los contaminantes. Imitando los procesos naturales de un humedal, podemos diseñar sistemas eficaces de depuración del agua que utilicen filtros de arena o humedales artificiales para eliminar los contaminantes. Por ejemplo, un estudio ha demostrado cómo los cañaverales pueden servir para filtrar el agua utilizándolos como sistema natural de tratamiento de aguas residuales agrícolas.
  4. Filtración por esponja:

    • Algunas esponjas marinas (por ejemplo, la esponja de mar) han desarrollado sofisticados mecanismos para filtrar partículas y contaminantes del agua que las rodea. Estudiando estos procesos naturales de filtración, podemos desarrollar sistemas de filtración eficientes y sostenibles que eliminen eficazmente los contaminantes. Por ejemplo, un estudio ha demostrado cómo las esponjas marinas pueden servir de modelo para diseñar un sistema de depuración de agua autosuficiente y de bajo coste que utilice la energía solar para desinfectar el agua contaminada.
  5. Materiales biodegradables:

    • Los organismos naturales han desarrollado materiales biodegradables para protegerse de los depredadores o de las amenazas medioambientales. Por ejemplo, algunos insectos producen pesticidas naturales (como los alcaloides) para defenderse de los depredadores. Del mismo modo, podemos desarrollar materiales biodegradables que liberen estos pesticidas naturales en fuentes de agua contaminadas, acabando con los contaminantes y restaurando la salud del medio ambiente.
    • Por ejemplo, un estudio ha demostrado cómo las células bacterianas pueden utilizarse como sistema de filtración natural para eliminar contaminantes de las fuentes de agua incorporándolas a membranas que eliminan selectivamente los contaminantes orgánicos.

En conclusión, la biomímesis desempeña un papel vital en la depuración del agua, ya que utiliza los procesos y organismos naturales como inspiración para desarrollar soluciones sostenibles y eficientes. Estudiando los mecanismos naturales de filtración de microorganismos, plantas, animales y otros organismos vivos, podemos diseñar sistemas de depuración de agua ecológicos y rentables que ayuden a proteger nuestro entorno de la contaminación.

ver más en huggingfaca search:Severian/ANIMA-Phi-Neptune-Mistral-7B

PREGUNTAS FRECUENTES

Despliegue con SkyPilot

SkyPilot es un marco para ejecutar LLM, IA y trabajos por lotes en cualquier nube, que ofrece el máximo ahorro de costes, la mayor disponibilidad de GPU y una ejecución gestionada.

Proporcionamos un ejemplo de configuración de SkyPilot que despliega la aplicación Mistral-7B-v0.1 en un modelo AWS g5.xlarge (un nodo con una única GPU NVIDIA A10G).

Configuración de SkyPilot

En instalación de SkyPilotEn el caso de SkyPilot, necesita crear un archivo de configuración que indique a SkyPilot cómo y dónde desplegar su servidor de inferencia, utilizando nuestro contenedor docker pre-construido:

envs:
NOMBRE_MODELO: mistralai/Mistral-7B-v0.1

recursos:
nube: aws
aceleradores: A10G:1
puertos:
- 8000

ejecute: |
docker run --gpus all -p 8000:8000 ghcr.io/mistralai/mistral-src/vllm:latest \
--host 0.0.0.0 \
--modelo $MODEL_NAME \
--tensor-parallel-size $SKYPILOT_NUM_GPUS_PER_NODE
 

Una vez establecidas estas variables de entorno, puede utilizar lanzamiento al cielo para lanzar el servidor de inferencia con el nombre mistral-7b:

sky launch -c mistral-7b mistral-7b-v0.1.yaml --region us-east-1
 
PRECAUCIÓN

Cuando se despliegue así, el modelo será accesible a todo el mundo. Usted debe asegúrelo, ya sea exponiéndolo exclusivamente en su red privada (cambie el --host Docker para ello), añadiendo un equilibrador de carga con un mecanismo de autenticación delante, o configurando correctamente la red de su instancia.

Póngalo a prueba.

Para recuperar fácilmente la dirección IP de la instalación mistral-7b clúster que puede utilizar:

sky status --ip mistral-7b
 

A continuación, puede utilizar curl para enviar una solicitud de finalización:

IP=$(sky status --ip cluster-name)

rizo http://$IP:8000/v1/completions \
-H "Content-Type: application/json" \
-d '{
"model": "mistralai/Mistral-7B-v0.1",
"prompt": "Mi condimento favorito es",
"max_tokens": 25
}'
 

Cuotas de uso

Muchos proveedores de servicios en la nube exigen que se solicite explícitamente el acceso a potentes instancias de GPU. Leer Guía de SkyPilot sobre cómo hacerlo.

Puedes utilizar dos modelos de base:

El Mistral-7B-v0.1

Large Language Model (LLM) es un modelo generativo de texto preentrenado con 7.000 millones de parámetros. Mistral-7B-v0.1 supera a Llama 2 13B en todas las pruebas que hemos realizado: Mistral-7B-v0.1

Mistral-7B-Instrucción-v0.1

El modelo Mistral-7B-Instruct-v0.1 Large Language Model (LLM) es una versión perfeccionada y con instrucciones del modelo Mistral-7B-v0.1 modelo generativo de texto utilizando diversos conjuntos de datos de conversaciones disponibles públicamente.

¿Es porque no está utilizando la última versión de Transformers?

simplemente puede solucionarlo actualizando sus transformadores :

pip install -U transformadores
 

Una vez que hayas desplegado un modelo con vLLM en una instancia de GPU, puedes consultarlo utilizando la API REST compatible con OpenAI. Esta API se describe en la página Especificación APIpero puedes usar cualquier librería que implemente la API de OpenAI.

Configurar

En este modo, el modelo completa la solicitud dada.

Instale el openai Paquete Python:

pip instale openai
 

A continuación, configure el módulo para que hable con el servidor que ha desplegado:

importar openai

openai.base_api = "http://ec2-71-171-019-93.compute-1.amazonaws.com:8000/v1" # utilice la IP o el nombre de host de su instancia
openai.clave_api = "ninguno" # El servidor vLLM no está autenticado
 

Finalización

A continuación, puede desencadenar una finalización:

finalización = openai.Finalización.crear(
modelo="mistralai/Mistral-7B-Instruct-v0.1",
consulte="El mistral es",
temperatura=0.7,
max_tokens=200, stop=".")

imprimir(finalización.to_dict_recursive())
 

Qué salidas:

{id: 'cmpl-87f6980633bb45f5aecd551bc35335e6',
objeto: text_completion,
creado: 1695651536,
modelo: 'mistralai/Mistral-7B-Instruct-v0.1',
opciones: [{índice: 0,
texto: viento frío, seco y del noreste que sopla sobre el Mediterráneo,
'logprobs': Ninguno,
"razón_final: parar}],
uso: {'prompt_tokens': 5, 'total_tokens': 23, 'completion_tokens': 18}}
 

Chat

Para chatear con el modelo Instruct, puede utilizar la API de finalización de chat:

mensajes = [{"rol": "usuario", "contenido": "¿Cuál es el comando bash para listar todos los archivos de una carpeta y ordenarlos por última modificación?"}]

chat_completion = openai.ChatCompletion.crear(
modelo="mistralai/Mistral-7B-Instruct-v0.1",
temperatura=1,
max_tokens=1024,
mensajes=mensajes)
 
CONSEJO

También tiene la opción de utilizar la API de finalización para interactuar con el modelo Instruct. Sin embargo, tendrá que implementar la plantilla de conversación que incorporamos para ajustar el modelo. Dado que vLLM emplea FastChat, hemos puesto a su disposición una versión de FastChat equipada con esta plantilla. Utilice la plantilla get_conv_template("mistral")Importable a través de from fastchat.conversation import get_conv_templatepara acceder a ella. Alternativamente, también puedes hacer tu propia versión emulando la implementación de FastChat.

Twitter sobre Mistral 7B

Vedio mejor valorado sobre Mistral 7B