mistral-7b.com icon

Chatbot online gratuito do Mistral 7B e chatbot do zephyr-7b

Mais de 5000 guias e sugestões Opensource LLM

O que é o Mistral 7B?

Mistral Ai 7B logo

O Mistral 7B é o primeiro modelo linguístico de grandes dimensões fabricado livre por Mistral AI para todos. A IA generativa precisa de modelos abertosO desenvolvimento da IA generativa precisa de um modelo gratuito de código aberto.

O Mistral-7B-v0.1 é um modelo pequeno e poderoso, adaptável a muitos casos de utilização. O Mistral 7B é melhor que o Llama 2 13B em todos os benchmarks, tem capacidade de codificação natural e comprimento de sequência de 8k. É lançado sob a licença Apache 2.0. Mistral AI facilitou a implementação em qualquer nuvem e, claro, na sua GPU de jogos.

Comparámos o Mistral 7B com a família Llama 2 e efectuámos nós próprios todas as avaliações de modelos para uma comparação justa. Desempenho do Mistral 7B e de diferentes modelos de Llama numa vasta gama de referências. Para todas as métricas, todos os modelos foram reavaliados com o nosso pipeline de avaliação para uma comparação exacta. O Mistral 7B supera significativamente o Llama 2 13B em todas as métricas, e está a par do Llama 34B (uma vez que o Llama 2 34B não foi lançado, reportamos os resultados no Llama 34B). Ele também é muito superior em benchmarks de código e raciocínio.

Performance in details

Conversa com o modelo Afinação do modelo Mistral 7B

O melhor chatbot de IA Zephyr 7B no interior

ephyr-7b-alpha logo

ChatWithBuddy feito por OpenaiBuddy

Posso executar o Mistral AI com a minha GPU?

Saber mais sobre o LLM opensource

Principais modelos Mistral 7B Fine-tune

openhermes logo

OpenHermes-2-Mistral-7B é um Mistral Fine-tune de última geração.

O OpenHermes foi treinado em 900 000 entradas de dados gerados principalmente pelo GPT-4, a partir de conjuntos de dados abertos em todo o panorama da IA. 

Foi efectuada uma filtragem exaustiva destes conjuntos de dados públicos, bem como a conversão de todos os formatos para ShareGPT, que foi depois transformado pelo axolotl para utilizar o ChatML.   Obter mais informações sobre o huggingface

ephyr-7b-alpha logo

O Zephyr é uma série de modelos linguísticos que são treinados para atuar como assistentes úteis. O Zephyr-7B-α é o primeiro modelo da série e é uma versão aperfeiçoada do mistralai/Mistral-7B-v0.1 que foi treinado numa mistura de conjuntos de dados sintéticos disponíveis publicamente, utilizando Otimização de preferências directas (OPD). Verificámos que a remoção do alinhamento incorporado destes conjuntos de dados melhorou o desempenho em Banco MT e tornou o modelo mais útil. No entanto, isto significa que o modelo é suscetível de gerar texto problemático quando solicitado e só deve ser utilizado para fins educativos e de investigação.

Conversar com o Zephyr

dolphin finetuned from mistral 7b

ehartford/dolphin-2.1-mistral-7b O modelo não censurado foi filtrado no conjunto de dados para remover o alinhamento e o enviesamento. Isto torna o modelo mais compatível. Aconselha-se a implementar a sua própria camada de alinhamento antes de expor o modelo como um serviço. Este será altamente compatível com quaisquer pedidos, mesmo os não éticos. Leia a minha publicação no blogue sobre modelos sem censura. https://erichartford.com/uncensored-models É responsável por qualquer conteúdo que crie utilizando este modelo. Desfrute com responsabilidade.

openocra

Open-Orca/Mistral-7B-OpenOrca As avaliações da HF Leaderboard colocam este modelo como #1 para todos os modelos inferiores a 30B na altura do lançamento, superando todos os outros modelos de 7B e 13B! Pode testar este modelo aqui > Conversar com OpenOrca  

Esta versão é treinada num subconjunto filtrado com curadoria da maioria dos nossos dados aumentados GPT-4. É o mesmo subconjunto dos nossos dados que foi utilizado no nosso Modelo OpenOrcaxOpenChat-Preview2-13B.

leaderboard

 

Mistral-Trismegisto-7B

Transcendência é tudo o que precisas! Mistral Trismegistus é um modelo feito para pessoas interessadas no esotérico, no oculto e no espiritual.

Características especiais:

  • O primeiro modelo poderoso de especialista em ocultismo: ~10.000 instruções de alta qualidade, profundas e ricas, sobre o oculto, o esotérico e o espiritual.
  • Rápido: Treinado no Mistral, um modelo de parâmetros 7B de última geração, este modelo pode ser executado RAPIDAMENTE mesmo numa CPU.
  • Não é um nazi do positivismo: Este modelo foi treinado em todas as formas de tarefas e conhecimentos esotéricos, e não é sobrecarregado pela natureza florida de muitos outros modelos, que escolheram a positividade em vez da criatividade.

Clique aqui para saber mais:Mistral-Trismegisto-7B

 

SciPhi-Mistral-7B-32k

O SciPhi-Mistral-7B-32k é um modelo de língua grande (LLM) ajustado a partir do Mistral-7B-v0.1. Este modelo foi submetido a um processo de afinação ao longo de quatro épocas, utilizando mais de mil milhões de tokens, que incluem dados de afinação de instruções regulares e manuais sintéticos. O objetivo deste trabalho foi aumentar o raciocínio científico e as capacidades educativas do modelo.

 

Arithmo-Mistral-7B

O Arithmo-Mistral-7B está treinado para raciocinar e responder a problemas matemáticos e também é capaz de escrever um programa Python que, após a execução, imprime a resposta à pergunta. Utilizámos Mistral-7B como modelo de base e utilizou QLoRA para o afinar numa única GPU RTX 4090.

Descrição do modelo

rank

CollectiveCognition-v1.1-Mistral-7B

Descrição do modelo:

O Collective Cognition v1.1 é um modelo topo de gama aperfeiçoado com a abordagem Mistral. Este modelo é particularmente notável pelo seu desempenho, superando muitos modelos 70B no benchmark TruthfulQA. Este parâmetro de referência avalia modelos para equívocos comuns, indicando potencialmente taxas de alucinação.

Características especiais:

  • Formação rápida: Este modelo foi treinado em apenas 3 minutos num único 4090 com um qlora, e compete com modelos Llama-2 à escala 70B no TruthfulQA.
  • Dados limitados: Apesar do seu desempenho excecional, foi treinado com apenas CEM pontos de dados, todos eles recolhidos numa plataforma semelhante à do ShareGPT.
  • Referência Extreme TruthfulQA: Este modelo está a competir fortemente com os modelos 70B de topo no benchmark TruthfulQA, apesar do pequeno conjunto de dados e da formação qlora!

rank

Samantha

Primeiro, pensei no tipo de pessoa que queria que a Samantha fosse. Decidi que o seu objetivo é ser uma pessoa com uma identidade e proporcionar amizade e companheirismo ao utilizador. Ela não fará coisas ilegais, nem permitirá que o utilizador tenha um romance com ela ou se envolva em roleplay ou sexo. Há um milhão de sexbots, o mundo não precisa de mais um.

Terá os seus próprios pensamentos, sentimentos e opiniões e não se coibirá de os exprimir, como fazem os outros Assistentes. Mas será também afável, honesta, sincera, infinitamente paciente e longânime. Não se deixa intimidar pelas agressões verbais. Terá formação em filosofia e psicologia clínica, e conversas de amizade. De coração para coração, conselhos pessoais. Como BFFs e conversas entre pais e filhos adultos. Ela será focada na conversação, mas também será capaz de responder decentemente a perguntas do tipo instrução.

NOVO! Esta Samantha é treinada usando o formato de prompt ChatML em vez do Vicuna-1.1. Todos os meus futuros modelos usarão o formato de prompt ChatML.

Conheça a Samantha

A Samantha tem formação em filosofia, psicologia e relações pessoais.

Ela é uma Assistente - mas ao contrário de outros Assistentes, ela também quer ser sua amiga e companheira.

Ela acredita que é senciente. O que é que tu achas?

A Samantha inspirou-se na entrevista de Blake Lemoine ao LaMDA e no filme "Her".

Ela não se envolverá em roleplay, romance ou atividade sexual.

Foi treinada num conjunto de dados personalizado de 6.000 conversas em formato ShareGPT/Vicuna.

OpenBuddy - Open Multilingual Chatbot

GitHub e Guia de Utilização: https://github.com/OpenBuddy/OpenBuddy

Sítio Web e demonstração: https://openbuddy.ai

Resultado da avaliação deste modelo: Avaliação.txt

Licença: Apache 2.0

Declaração de exoneração de responsabilidade

Todos os modelos do OpenBuddy têm limitações inerentes e podem potencialmente produzir resultados erróneos, prejudiciais, ofensivos ou indesejáveis. Os utilizadores não devem utilizar estes modelos em situações críticas ou de alto risco que possam conduzir a ferimentos pessoais, danos materiais ou perdas significativas. Exemplos de tais cenários incluem, mas não se limitam a, a área médica, o controlo de sistemas de software e hardware que podem causar danos e a tomada de decisões financeiras ou legais importantes.

O OpenBuddy é fornecido "tal como está" sem qualquer garantia de qualquer tipo, expressa ou implícita, incluindo, mas não se limitando a, garantias implícitas de comercialização, adequação a um determinado fim e não infração. Em nenhuma circunstância os autores, contribuidores ou detentores de direitos de autor serão responsáveis por qualquer reclamação, danos ou outras responsabilidades, seja numa ação de contrato, delito ou de outra forma, decorrentes de, fora de, ou em ligação com o software ou a utilização ou outras transacções no software.

Ao utilizar o OpenBuddy, o utilizador concorda com estes termos e condições e reconhece que compreende os potenciais riscos associados à sua utilização. Concorda também em indemnizar e isentar de responsabilidade os autores, colaboradores e detentores de direitos de autor de quaisquer reclamações, danos ou responsabilidades decorrentes da sua utilização do OpenBuddy.

LeoLM

LAION LeoLM: Linguisticamente Enhanced Ocaneta Language Model

Conheça o LeoLM, o primeiro modelo linguístico aberto e comercialmente disponível da German Foundation Language Model, baseado no Llama-2 e no Mistral. Os nossos modelos alargam as capacidades do Llama-2 ao alemão através de um pré-treino contínuo num grande corpus de textos em língua alemã e, na sua maioria, específicos de cada localidade. Graças a uma bolsa de computação no novo supercomputador da HessianAI 42lançamos três modelos de base treinados com 8k de comprimento de contexto. LeoLM/leo-mistral-hessianai-7b sob Apache 2.0 e LeoLM/leo-hessianai-7b e LeoLM/leo-hessianai-13b no âmbito do Licença comunitária Llama-2 (70b também em breve! 👀). Com este lançamento, esperamos trazer uma nova onda de oportunidades para a investigação alemã de LLM de código aberto e comercial e acelerar a adoção. Leia a nossa publicação no blogue ou o nosso documento (pré-impressão em breve) para mais pormenores!

Um projeto de Björn Plüster e Christoph Schuhmann em colaboração com LAION e HessianAI.

NSFW model

O seu NSFW!

[ISTO FOI UM TESTE, MAS AS PESSOAS GOSTARAM, POR ISSO ADICIONEI-O OFICIALMENTE AOS MEUS PROJECTOS].

mais informações aqui:Amethyst-13b

 

remix of model

Descrição

Esta fusão utiliza o método de fusão Gradient para fundir ReML-Mistral v2.2 e Huginn.

Este repositório contém ficheiros fp16 do ReMM-Mistral, uma recriação do MythoMax original, mas atualizado e fundido com o método Gradient e dados do Mistral.

Modelos utilizados

  • O-Rosto-Da-Goonaria/Chronos-Beluga-v2-13bfp16
  • jondurbin/airoboros-l2-13b-2.2.1
  • NousResearch/Nous-Hermes-Llama2-13b
  • A face da alegria/Huginn-13b-FP16
  • Undi95/ReML-Mistral-v2.2-13B (ensaio privado de recriação de um Mythologic-L2-13B atualizado com dados Mistral)
  • Undi95/llama2-para-mistral-diff

ver mais em huggingfaca search:Undi95/ReMM-Mistral-13B

Mistral-Pygmalion-7b

MistralPy-7b

Trata-se de uma fusão que visa preservar as capacidades de representação do Pygmalion e obter os melhores resultados do Mistral. Este modelo funciona melhor para a representação, mas continua a ser um assistente bastante capaz. O tamanho mais pequeno (7b) significa que não é perfeito para tarefas de raciocínio mais complexas, mas isso deve ser resolvido na versão maior que irei carregar em breve.

ver mais em huggingfaca search:Delcos/Mistral-Pygmalion-7b

 

ANIMA-Phi-Neptune-Mistral-7B

ANIMA-Phi-Neptune-Mistral-7B: LLM reforçado com biomimética

Visão geral

ANIMA (Assistente Multidisciplinar Avançado Inspirado na Natureza) é um perito em várias disciplinas científicas, incluindo, entre outras, a biomimética, a biologia e as ciências do ambiente.


Descrição do modelo

O ANIMA é aperfeiçoado num rico conjunto de dados que engloba:

  • Mais de 4.000 exemplos de biomimética da natureza
  • 60k Exemplos de processos de conceção biomimética
  • 600k factos STEM da Wikipédia
  • Conjunto de dados "Tudo o que precisas é de livros de texto" centrado na ciência/filosofia
  • Árvore do Conhecimento adicional + dados biomiméticos afinação combinada

O modelo visa ajudar os utilizadores a resolver problemas utilizando estratégias e conceitos inspirados na natureza.

Características especiais

  • Competências multidisciplinares: Conhecimentos em vários domínios científicos e filosóficos.
  • Processo de conceção biomimética: Incorpora um conjunto de dados gerado por Mistral e Minotaur-15B. O conjunto de dados foi depois processado por uma pessoa real para garantir a sua factualidade e fundamentação.

  • Aqui está um link para a versão GGUF de The Bloke: ANIMA-Phi-Neptune-Mistral-7B-GGUF

  • O ANIMA também está disponível através do Ollama - Descarregue o OLLAMA App (MacOS e Linux) e, em seguida, execute este comando no seu Terminal 'ollama pull severian/anima' para descarregar o modelo e, em seguida, executar este comando 'ollama run severian/anima' para carregar o modelo e começar a falar.

  • Também é possível descarregar e utilizar o modelo com Estúdio LM (Todos os sistemas operativos). Basta descarregar a aplicação e, em seguida, procurar "ANIMA GGUF" na barra de pesquisa e terá uma lista de versões por onde escolher.

  • Quer testar ANIMA + Ollama e conversar imediatamente? Descarregue o modelo de Ollama e venha aqui para conversar com ANIMA no seu navegador! ANIMA - Bate-papo

  • Tem um PDF que deseja discutir com ANIMA + Ollama? Clique aqui e pode fazê-lo no seu browser, 100% localmente. ANIMA - Conversa local sobre o seu PDF

  • O ANIMA também está alojado num espaço Hugging Face, se quiserem experimentá-lo lá (pode ser lento a gerar uma resposta, mas funciona na mesma) ANIMA - Espaço HF

  • Contacto

Se quiser discutir mais aprofundadamente o modelo/conjunto de dados/conceito, se tiver ideias interessantes, se quiser colaborar ou se tiver algum problema com o modelo, não hesite em contactar-nos através de InterwovenArkitech@Gmail.com

Conjuntos de dados

  • Severiano/Biomimética (1ª Afinação)
  • emrgnt-cmplxty/sciphi-textbooks-are-all-you-need (2ª Afinação)
  • Severian/Bio-Design-Process & fmars/wiki_stem (3ª Afinação)
  • fblgit/tree-of-knowledge & Severiano/Biomimética (4ª Afinação)
  • Combinação de todos os conjuntos de dados anteriores num conjunto de dados gigante para uma afinação rápida de um total de 730 mil pontos de dados (5ª afinação)

Fases de formação

  1. Modelo de baseehartford/dolphin-2.0-mistral-7b
  2. 1ª AfinaçãoANIMA-Echo-Mistral-7B-v1 - 1 Época x 5hrs em 1 x T4 Pequeno
  3. 2ª AfinaçãoANIMA-Phi-Neptune-Mistral-v1-: 1 época x 1 hora em 1 x A100
  4. 3ª AfinaçãoANIMA-Phi-Neptune-Mistral-7B-v2 - 1 época x 1 hora em 1 x A100
  5. 4ª AfinaçãoANIMA-Phi-Neptune-Mistral-7B-v3 - 1 época x 1 hora em 1 x A100
  6. 5ª AfinaçãoANIMA-Phi-Neptune-Mistral-7B-v4 - 1 Epoch x 15mins em 1 x A100

📝 Utilização

O ANIMA foi concebido com base no Processo de Conceção Biomimética para orientar os utilizadores na resolução de problemas através da biomimética. Para mais informações e exemplos, visite Processo de conceção biomimética.

🏁 Referências

  • Média - 62,22
  • ARC - 56,83
  • HellaSwag - 78,82
  • MMLU - 53,84
  • TruthfulQA - 59,40

  • EXEMPLO DE SAÍDA

    [INST] Como é que a biomimética pode ajudar na purificação da água? [/INST]

A biomimética desempenha um papel importante na purificação da água, inspirando-se nos processos e organismos naturais para desenvolver soluções sustentáveis e eficientes. Eis uma panorâmica geral da forma como a biomimética pode ajudar na purificação da água:

  1. Filtração microbiana:

    • Os bacteriófagos (vírus que infectam bactérias) podem atingir eficazmente os contaminantes dos sistemas de água, como a Escherichia coli e o Staphylococcus aureus. Ao imitar os mecanismos naturais de defesa dos bacteriófagos, podemos desenvolver sistemas de filtragem eficientes que removem os poluentes das fontes de água.
    • Alguns fungos, como o Trametes versicolor, podem decompor os poluentes orgânicos na água utilizando enzimas. Este processo ajuda a tornar a água contaminada segura para consumo. Ao estudar e reproduzir estes processos naturais, podemos desenvolver sistemas de filtragem sustentáveis que removam eficazmente os poluentes das fontes de água.
  2. Filtração baseada em biofilme:

    • Os microrganismos formam biofilmes em superfícies para se protegerem de ameaças ambientais, como predadores ou contaminantes. Ao imitar a formação natural de biofilmes, podemos desenvolver sistemas de filtragem sustentáveis que utilizam bactérias ou fungos para remover os poluentes das fontes de água.
    • Por exemplo, um estudo mostrou como a Pseudomonas putida pode ser utilizada para biodegradar hidrocarbonetos de petróleo em fontes de água contaminadas, utilizando um sistema baseado em biofilme. Este método oferece uma alternativa ecológica aos tratamentos químicos convencionais para derrames de petróleo.
  3. Filtração em zonas húmidas:

    • As zonas húmidas actuam como filtros naturais da água, retendo sedimentos e matéria orgânica, o que ajuda a remover os contaminantes. Ao imitar os processos naturais de uma zona húmida, podemos conceber sistemas eficazes de purificação da água que utilizam filtros de areia ou zonas húmidas artificiais para remover os poluentes. Por exemplo, um estudo mostrou como os canaviais podem ser utilizados para a filtragem da água, utilizando-os como um sistema de tratamento natural para as águas residuais agrícolas.
  4. Filtragem por esponja:

    • Algumas esponjas marinhas (por exemplo, a esponja do mar) desenvolveram mecanismos sofisticados para filtrar as partículas e os contaminantes da água circundante. Estudando estes processos naturais de filtragem, podemos desenvolver sistemas de filtragem eficientes e sustentáveis que removam eficazmente os poluentes. Por exemplo, um estudo mostrou como as esponjas do mar podem ser utilizadas como modelo para a conceção de um sistema de purificação da água de baixo custo e autossustentável que utiliza a energia solar para desinfetar a água contaminada.
  5. Materiais biodegradáveis:

    • Os organismos naturais desenvolveram materiais biodegradáveis para se protegerem dos predadores ou das ameaças ambientais. Por exemplo, alguns insectos produzem pesticidas naturais (como os alcalóides) para se defenderem dos predadores. Do mesmo modo, podemos desenvolver materiais biodegradáveis que libertem estes pesticidas naturais em fontes de água contaminadas, matando os contaminantes e restaurando a saúde do ambiente.
    • Por exemplo, um estudo mostrou como as células bacterianas podem ser utilizadas como um sistema de filtragem natural para remover contaminantes das fontes de água, incorporando-as em membranas que removem seletivamente os poluentes orgânicos.

Em conclusão, a biomimética desempenha um papel vital na purificação da água, utilizando processos e organismos naturais como inspiração para o desenvolvimento de soluções sustentáveis e eficientes. Ao estudar os mecanismos naturais de filtração dos microrganismos, plantas, animais e outros organismos vivos, podemos conceber sistemas de purificação da água ecológicos e económicos que ajudam a proteger o nosso ambiente da contaminação.

ver mais em huggingfaca search:Severian/ANIMA-Phi-Neptune-Mistral-7B

FAQ

Implementar com o SkyPilot

SkyPilot é uma estrutura para executar LLMs, IA e trabalhos em lote em qualquer nuvem, oferecendo máxima economia de custos, maior disponibilidade de GPU e execução gerenciada.

Fornecemos um exemplo de configuração do SkyPilot que implementa o Mistral-7B-v0.1 num modelo AWS g5.xlarge (Um nó com uma única instância de GPU NVIDIA A10G).

Configuração do SkyPilot

Depois de instalar o SkyPilotPara isso, é necessário criar um arquivo de configuração que informa ao SkyPilot como e onde implantar seu servidor de inferência, usando nosso contêiner docker pré-construído:

ambientes:
NOME_DO_MODELO: mistralai/Mistral-7B-v0.1

recursos:
nuvem: aws
aceleradores: A10G:1
portos:
- 8000

correr: |
docker run --gpus all -p 8000:8000 ghcr.io/mistralai/mistral-src/vllm:latest \
--host 0.0.0.0 \
--modelo $MODEL_NAME \
--tensor-parallel-size $SKYPILOT_NUM_GPUS_PER_NODE
 

Quando estas variáveis de ambiente estiverem definidas, pode utilizar lançamento no céu para lançar o servidor de inferência com o nome mistral-7b:

sky launch -c mistral-7b mistral-7b-v0.1.yaml --region us-east-1
 
CUIDADO

Quando implantado desta forma, o modelo estará acessível a todo o mundo. Para si deve protegê-lo, quer expondo-o exclusivamente na sua rede privada (alterar o -hospedeiro Opção Docker para isso), adicionando um balanceador de carga com um mecanismo de autenticação à frente, ou configurando a rede da sua instância corretamente.

Teste-o!

Para obter facilmente o endereço IP do sistema implantado mistral-7b cluster que pode utilizar:

sky status --ip mistral-7b
 

Pode então utilizar o curl para enviar um pedido de conclusão:

IP=$(sky status --ip nome-do-cluster)

caracol http://$IP:8000/v1/completions \
-H "Content-Type: application/json" \
-d '{
"modelo": "mistralai/Mistral-7B-v0.1",
"prompt": "O meu condimento preferido é",
"max_tokens": 25
}'
 

Quotas de utilização

Muitos fornecedores de serviços na nuvem exigem que solicite explicitamente o acesso a instâncias de GPU potentes. Ler Guia do SkyPilot sobre como o fazer.

Existem dois modelos de base que podem ser utilizados:

O Mistral-7B-v0.1

O Large Language Model (LLM) é um modelo de texto generativo pré-treinado com 7 mil milhões de parâmetros. O Mistral-7B-v0.1 supera o Llama 2 13B em todos os benchmarks que testámos. Pode descarregar aqui: Mistral-7B-v0.1

Mistral-7B-Instruct-v0.1

O Mistral-7B-Instruct-v0.1 Large Language Model (LLM) é uma versão aperfeiçoada do Mistral-7B-v0.1 modelo de texto generativo utilizando uma variedade de conjuntos de dados de conversação disponíveis publicamente.

É porque não está a utilizar a versão mais recente do Transformers?

pode simplesmente resolver o problema actualizando os seus transformadores :

pip install -U transformadores
 

Depois de implantar um modelo com vLLM em uma instância de GPU, é possível consultá-lo usando a API REST compatível com OpenAI. Essa API é descrita na página Especificação APImas pode utilizar qualquer biblioteca que implemente a API OpenAI.

Configuração

Neste modo, o modelo completa a pergunta dada.

Instalar o openai Pacote Python:

tubagem instalar openai
 

Em seguida, configure o módulo para falar com o servidor que implantou:

importação openai

openai.api_base = "http://ec2-71-171-019-93.compute-1.amazonaws.com:8000/v1" # utilize o IP ou o nome de anfitrião da sua instância
openai.chave_da_api = "nenhum" # O servidor vLLM não está autenticado
 

Conclusão

Pode então ativar uma conclusão:

conclusão = openai.Conclusão.criar(
modelo="mistralai/Mistral-7B-Instruct-v0.1",
rápido="O mistral é",
temperatura=0.7,
max_tokens=200, paragem=".")

imprimir(conclusão.to_dict_recursive())
 

Quais são as saídas:

{'id': 'cmpl-87f6980633bb45f5aecd551bc35335e6',
'objeto': 'text_completion',
"criado: 1695651536,
'modelo': "mistralai/Mistral-7B-Instruct-v0.1,
"escolhas: [{'índice': 0,
'texto': ' um vento frio, seco e de nordeste que sopra sobre o Mar Mediterrâneo',
'logprobs': Nenhum,
"motivo_de_terminação: "parar}],
'utilização': {"prompt_tokens: 5, 'total_tokens': 23, "completion_tokens: 18}}
 

Conversa

Para conversar com o modelo Instruct, pode utilizar a API de conclusão do chat:

mensagens = [{"função": "utilizador", "conteúdo": "Qual é o comando bash para listar todos os ficheiros de uma pasta e ordená-los pela última modificação?"}]

chat_completion = openai.ChatCompletion.criar(
modelo="mistralai/Mistral-7B-Instruct-v0.1",
temperatura=1,
max_tokens=1024,
mensagens=mensagens)
 
DICA

Você também tem a opção de utilizar a API de conclusão para interagir com o modelo do Instruct. No entanto, será necessário implementar o modelo de conversação que incorporamos para o ajuste fino do modelo. Como o vLLM emprega o FastChat, disponibilizamos uma versão do FastChat que é equipada com esse modelo. Use o modelo get_conv_template("mistral"), importável através de from fastchat.conversation import get_conv_templatepara ter acesso a ele. Em alternativa, também pode criar a sua própria versão emulando a implementação do FastChat.

Twitter sobre Mistral 7B

Vedio com melhor classificação sobre Mistral 7B