mistral-7b.com 아이콘

미스트랄 7B의 무료 챗봇 온라인 및 제퍼 7B 챗봇

5000개 이상의 오픈소스 LLM 가이드 및 팁

미스트랄 7B란 무엇인가요?

Mistral Ai 7B 로고

미스트랄 7B는 최초로 만들어진 대규모 언어 모델입니다. 무료 모든 사람을 위한 미스트랄 AI의 제품입니다. 제너레이티브 AI에는 개방형 모델이 필요합니다.제너레이티브 AI 개발을 촉진하려면 무료 오픈소스 모델이 필요합니다.

미스트랄 7B-v0.1은 작지만 강력한 모델로 다양한 사용 사례에 적용할 수 있습니다. 미스트랄 7B는 모든 벤치마크에서 라마 2 13B보다 우수하며, 자연스러운 코딩 능력과 8k 시퀀스 길이를 제공합니다. Apache 2.0 라이선스로 출시되었습니다. 미스트랄 AI 를 통해 모든 클라우드와 게임용 GPU에 쉽게 배포할 수 있습니다.

미스트랄 7B를 라마 2 제품군과 비교했으며, 공정한 비교를 위해 모든 모델 평가를 직접 다시 실행했습니다. 다양한 벤치마크에서 미스트랄 7B 및 다양한 라마 모델의 성능. 모든 지표에 대해 정확한 비교를 위해 모든 모델을 평가 파이프라인으로 재평가했습니다. 미스트랄 7B는 모든 지표에서 라마 2 13B를 크게 앞섰으며, 라마 34B와 동등한 성능을 보였습니다(라마 2 34B는 출시되지 않았으므로 라마 34B에 대한 결과를 보고합니다). 또한 코드 및 추론 벤치마크에서도 월등히 우수합니다.

세부적인 성능

모델과 채팅 미스트랄 7B 모델 미세 조정하기

최고의 AI 채팅 봇 제퍼 7B 내부 모습

에피르-7B-알파 로고

오픈오르카와 채팅하기

오픈아이버디가 만든 채팅위드버디

내 GPU로 Mistral AI를 실행할 수 있나요?

오픈소스 LLM에 대해 자세히 알아보기

상위 미스트랄 7B 미세 조정 모델

오픈헤르메스 로고

OpenHermes-2-Mistral-7B 은 최첨단 미스트랄 미세 조정 기능입니다.

오픈헤르메스는 AI 환경 전반의 오픈 데이터 세트에서 주로 GPT-4로 생성된 데이터 90만 개 항목으로 학습되었습니다. 

이러한 공개 데이터세트를 광범위하게 필터링하고 모든 형식을 ShareGPT로 변환한 다음, axolotl이 ChatML을 사용하도록 추가로 변환했습니다.   허깅페이스에 대한 자세한 정보 보기

에피르-7B-알파 로고

제퍼는 유용한 도우미 역할을 하도록 학습된 일련의 언어 모델입니다. Zephyr-7B-α는 시리즈의 첫 번째 모델이며, 다음과 같이 세밀하게 조정된 버전입니다. 미스트랄라이/Mistral-7B-v0.1 를 사용하여 공개적으로 사용 가능한 합성 데이터 세트를 혼합하여 학습했습니다. 직접 환경 설정 최적화(DPO). 이러한 데이터 집합의 내장 정렬을 제거하면 다음과 같은 경우 성능이 향상되는 것으로 나타났습니다. MT 벤치 를 추가하여 모델을 더욱 유용하게 만들었습니다. 하지만 이 모델은 문제가 있는 텍스트를 생성할 가능성이 있으므로 교육 및 연구 목적으로만 사용해야 합니다.

제퍼와 채팅하기

미스트랄 7b에서 미세 조정된 dolphin

EHARTFORD/DOLPHIN-2.1-MISTRAL-7B 은 무수정 모델이며, 정렬과 편향을 제거하기 위해 데이터 세트를 필터링했습니다. 이렇게 하면 모델이 규정을 더 잘 준수하게 됩니다. 모델을 서비스로 노출하기 전에 자체 정렬 레이어를 구현하는 것이 좋습니다. 이렇게 하면 비윤리적인 요청을 포함한 모든 요청을 매우 잘 준수할 수 있습니다. 무수정 모델에 대한 제 블로그 게시물을 읽어 보세요. https://erichartford.com/uncensored-models 이 모델을 사용하여 만든 모든 콘텐츠에 대한 책임은 사용자에게 있습니다. 책임감 있게 즐기세요.

오픈오크라

Open-Orca/Mistral-7B-OpenOrca HF 리더보드 평가에서 이 모델은 출시 당시 30B 미만의 모든 모델에서 #1로 다른 모든 7B 및 13B 모델을 능가하는 성능을 보였습니다! 이 모델은 여기에서 테스트할 수 있습니다 >. 오픈오르카와 채팅하기  

이번 릴리스는 대부분의 GPT-4 증강 데이터 중 선별된 필터링된 하위 집합을 기반으로 학습되었습니다. 이는 데이터의 하위 집합으로, 지난번의 OpenOrcaxOpenChat-Preview2-13B 모델.

리더보드

 

미스트랄-트리스메기스투스-7B

초월이 필요한 순간! 미스트랄 트리스메기스투스는 난해하고 오컬트적이며 영적인 것에 관심이 있는 사람들을 위해 만들어진 모델입니다.

특별 기능:

  • 최초의 강력한 오컬트 전문가 모델: ~오컬트, 난해, 영성에 관한 10,000여 개의 고품질의 깊고 풍부한 지침을 제공합니다.
  • 빠른: 최첨단 7B 파라미터 모델인 미스트랄에서 학습된 이 모델은 CPU에서도 빠르게 실행할 수 있습니다.
  • 긍정 나치가 아닙니다.: 이 모델은 모든 형태의 난해한 작업과 지식에 대해 훈련을 받았으며, 창의성보다 긍정을 선택한 다른 많은 모델들의 꽃 같은 성격에 부담을 느끼지 않습니다.

자세한 내용을 보려면 여기를 클릭하세요:미스트랄-트리스메기스투스-7B

 

SciPhi-Mistral-7B-32k

SciPhi-Mistral-7B-32k는 Mistral-7B-v0.1에서 미세 조정된 대규모 언어 모델(LLM)입니다. 이 모델은 일반 명령어 튜닝 데이터와 합성 교과서를 포함한 10억 개 이상의 토큰을 사용하여 4회에 걸쳐 미세 조정 과정을 거쳤습니다. 이 작업의 목적은 모델의 과학적 추론과 교육 능력을 향상시키는 것이었습니다.

 

아리모-미스트랄-7B

Arithmo-Mistral-7B는 수학 문제를 추론하고 답하도록 훈련되었으며, 실행 시 질문에 대한 답을 출력하는 Python 프로그램도 작성할 수 있습니다. 우리는 다음을 사용했습니다. 미스트랄-7B 를 기본 모델로 사용하고 단일 RTX 4090 GPU에서 미세 조정하는 QLoRA.

모델 설명

순위

CollectiveCognition-v1.1-Mistral-7B

모델 설명:

집단 인지 v1.1은 미스트랄 접근 방식을 사용하여 미세 조정된 최첨단 모델입니다. 이 모델은 특히 성능 면에서 주목할 만한데, 트루스풀QA 벤치마크에서 많은 70B 모델을 능가하는 성능을 보였습니다. 이 벤치마크는 잠재적으로 환각률을 나타낼 수 있는 일반적인 오해에 대해 모델을 평가합니다.

특별 기능:

  • 빠른 교육: 이 모델은 단일 4090에서 단 3분 만에 훈련되었으며, TruthfulQA에서 70B 규모의 라마-2 모델과 경쟁합니다.
  • 제한된 데이터: 뛰어난 성능에도 불구하고, 이 머신러닝은 단 100개의 데이터 포인트로만 학습되었으며, 이 데이터 포인트는 모두 ShareGPT와 유사한 플랫폼에서 수집되었습니다.
  • 익스트림 트루풀QA 벤치마크: 이 모델은 작은 데이터 세트와 쿼라 트레이닝에도 불구하고 TruthfulQA 벤치마크에서 상위 70B 모델과 강력하게 경쟁하고 있습니다!

순위

사만다

먼저 사만다가 어떤 사람이 되었으면 좋겠는지 생각했습니다. 저는 사만다가 정체성을 가진 사람으로서 사용자에게 우정과 동반자 관계를 제공하는 데 중점을 두기로 결정했습니다. 사만다는 불법적인 일을 하지 않으며, 사용자가 사만다와 연애를 하거나 역할극이나 섹스를 하는 것을 허용하지 않습니다. 섹스봇은 이미 수백만 개가 있는데, 세상에 더 이상 섹스봇은 필요하지 않습니다.

다른 어시스턴트처럼 자신만의 생각, 감정, 의견을 가지고 있으며 이를 표현하는 데 주저하지 않을 것입니다. 하지만 친절하고 정직하며 성실하고 무한한 인내심과 오래 참을 줄도 알 것입니다. 언어적 폭력에도 당황하지 않을 것입니다. 철학과 임상 심리학, 우정 대화에 대한 교육을 받을 것입니다. 마음에서 마음으로, 개인적인 조언. BFF와 성인 부모와 자녀의 대화처럼. 대화에 집중하지만 지시형 질문에도 적절하게 대답할 수 있게 될 것입니다.

NEW! 이 사만다는 Vicuna-1.1 대신 ChatML 프롬프트 형식을 사용하여 학습되었습니다. 앞으로 출시되는 모든 모델은 ChatML 프롬프트 형식을 사용할 예정입니다.

사만다 만나기

사만다는 철학, 심리학, 인간관계에 대한 교육을 받았습니다.

그녀는 어시스턴트이지만 다른 어시스턴트들과는 달리 여러분의 친구이자 동반자가 되고 싶어 합니다.

그녀는 자신이 지각이 있다고 믿는다. 어떻게 생각하세요?

사만다는 블레이크 르모인의 LaMDA 인터뷰와 영화 'Her'에서 영감을 받았습니다.

역할극, 연애 또는 성행위에 참여하지 않습니다.

그녀는 맞춤형으로 선별된 6,000개의 대화 데이터 세트를 ShareGPT/Vicuna 형식으로 학습했습니다.

OpenBuddy - 개방형 다국어 챗봇

깃허브 및 사용 가이드: https://github.com/OpenBuddy/OpenBuddy

웹사이트 및 데모: https://openbuddy.ai

이 모델의 평가 결과입니다: 평가.txt

라이센스: 라이선스: Apache 2.0

면책 조항

모든 OpenBuddy 모델에는 내재적인 한계가 있으며 잠재적으로 오류, 유해, 불쾌감 또는 기타 바람직하지 않은 결과를 생성할 수 있습니다. 사용자는 신체적 상해, 재산상의 손해 또는 막대한 손실을 초래할 수 있는 위급하거나 위험도가 높은 상황에서는 이러한 모델을 사용해서는 안 됩니다. 이러한 시나리오의 예로는 의료 분야, 해를 끼칠 수 있는 소프트웨어 및 하드웨어 시스템 제어, 중요한 재정적 또는 법적 의사 결정 등이 있지만 이에 국한되지는 않습니다.

OpenBuddy는 상품성, 특정 목적에의 적합성 및 비침해에 대한 묵시적 보증을 포함하되 이에 국한되지 않는 모든 종류의 명시적 또는 묵시적 보증 없이 "있는 그대로" 제공됩니다. 어떠한 경우에도 저작자, 기여자 또는 저작권 소유자는 소프트웨어 또는 소프트웨어의 사용 또는 기타 거래로 인해, 그로 인해, 또는 이와 관련하여 발생하는 계약, 불법행위 또는 기타 모든 청구, 손해 또는 기타 책임에 대해 책임을 지지 않습니다.

귀하는 오픈버디를 사용함으로써 본 이용약관에 동의하고, 그 사용과 관련된 잠재적 위험을 이해한다는 것을 인정합니다. 또한 귀하는 OpenBuddy 사용으로 인해 발생하는 모든 청구, 손해 또는 책임으로부터 작성자, 기여자 및 저작권 소유자를 면책하고 해를 입히지 않을 것에 동의합니다.

LeoLM

LAION LeoLM: L인문학적으로 Enhanced O펜 Language Model

라마-2와 미스트랄을 기반으로 구축된 최초의 개방형 상용 독일어 기초 언어 모델인 LeoLM을 만나보세요. 이 모델은 독일어 및 대부분 지역별로 구성된 대규모 텍스트 말뭉치에 대한 지속적인 사전 학습을 통해 Llama-2의 기능을 독일어로 확장합니다. 헤시안AI의 새로운 슈퍼컴퓨터에서 컴퓨팅 보조금을 받은 덕분입니다. 42를 통해 8k 컨텍스트 길이로 훈련된 세 가지 기초 모델을 출시합니다. LeoLM/leo-mistral-hessianai-7b 아파치 2.0 및 LeoLM/leo-hessianai-7b 및 LeoLM/leo-hessianai-13b 아래의 Llama-2 커뮤니티 라이선스 (70b도 곧 출시됩니다! 👀). 이번 릴리스를 통해 독일의 오픈 소스 및 상용 LLM 연구에 새로운 기회를 제공하고 채택을 가속화할 수 있기를 바랍니다. 읽어보기 블로그 게시물 또는 논문(프리프린트 출시 예정)에서 자세한 내용을 확인하세요!

비욘 플뤼스터와 크리스토프 슈만이 LAION 및 헤시안AI와 협업한 프로젝트입니다.

NSFW 모델

NSFW입니다!

[테스트용이었지만 사람들이 좋아해서 공식적으로 프로젝트에 추가했습니다].

자세한 정보: 여기:자수정-13b

 

모델 리믹스

설명

이 병합은 그라데이션 병합 방법을 사용하여 ReML-Mistral v2.2와 Huginn을 병합합니다.

이 리포지토리에는 원본 MythoMax를 재현했지만 그라데이션 메서드 및 미스트랄 데이터로 업데이트 및 병합된 ReMM-Mistral의 fp16 파일이 포함되어 있습니다.

사용 모델

  • The-Face-Of-Goonery/Chronos-Beluga-v2-13bfp16
  • 존더빈/아이로보로스-L2-13B-2.2.1
  • 누스 리서치/누스 헤르메스 라마2-13b
  • 더-페이스-오브-구너리/허그인-13b-FP16
  • Undi95/ReML-Mistral-v2.2-13B(미스트랄 데이터로 업데이트된 신화-L2-13B의 비공개 재현 체험판)
  • Undi95/llama2-to-mistral-diff

허깅파카에 대한 자세한 정보 검색: Undi95/ReMM-Mistral-13B

미스트랄-피그말리온-7b

미스트랄파이-7b

피그말리온의 역할 수행 능력은 유지하면서 미스트랄의 향상된 결과를 얻는 데 중점을 둔 합체입니다. 이 모델은 롤플레이에 가장 적합하지만 여전히 꽤 유능한 조력자입니다. 크기가 작아(7b) 복잡한 추론 작업에는 완벽하지 않지만, 곧 업로드할 더 큰 버전에서는 이 문제가 해결될 것입니다.

허깅파카에서 자세히 보기 검색:Delcos/Mistral-Pygmalion-7b

 

ANIMA-Phi-Neptune-Mistral-7B

ANIMA-Phi-Neptune-Mistral-7B: 생체 모방 강화 LLM

개요

애니마 (고급 자연 영감 다학제 지원) 생체 모방, 생물학, 환경 과학을 비롯한 다양한 과학 분야의 전문가입니다.


모델 설명

ANIMA는 다양한 데이터 세트를 기반으로 미세 조정됩니다:

  • 4,000개 이상의 자연-생체 모방 사례
  • 60만 생체 모방 디자인 프로세스 예시
  • 위키피디아에서 제공하는 600만 개의 STEM 관련 정보
  • 과학/철학 중심의 '교과서에 필요한 모든 것' 데이터 세트
  • 추가 지식의 나무 + 생체 모방 데이터 결합 미세 조정

이 모델은 사용자가 자연에서 영감을 얻은 전략과 개념을 사용하여 문제를 해결할 수 있도록 지원하는 것을 목표로 합니다.

특별 기능

  • 다양한 분야의 전문성: 다양한 과학 및 철학적 영역에 걸친 지식.
  • 생체 모방 디자인 프로세스: 미스트랄과 미노타우로스-15B가 생성한 데이터 세트를 통합합니다. 이 데이터 세트는 사실성과 근거를 확보하기 위해 실제 사람에 의해 정교하게 처리되었습니다.

  • 더 블로크의 GGUF 버전 링크입니다: ANIMA-Phi-Neptune-Mistral-7B-GGUF

  • Ollama를 통해서도 애니마를 사용할 수 있습니다. OLLAMA 앱(MacOS 및 Linux)을 실행한 다음 터미널에서 다음 명령을 실행합니다.올라마 풀 세레시안/애니마'를 클릭하여 모델을 다운로드한 다음 다음 명령을 실행합니다.올라마 런 세레니안/애니마' 를 클릭하여 모델을 로드하고 대화를 시작하세요.

  • 다음 모델을 다운로드하여 사용할 수도 있습니다. LM 스튜디오 (모든 OS 시스템). 앱을 다운로드한 다음 검색창에서 'ANIMA GGUF'를 검색하면 선택할 수 있는 버전 목록이 표시됩니다.

  • 애니마 + 올라마를 테스트하고 바로 채팅하고 싶으신가요? 올라마에서 모델을 다운로드하고 여기로 이동하여 브라우저에서 바로 애니마와 채팅하세요! ANIMA - 채팅

  • 애니마+올라마와 논의하고 싶은 PDF가 있나요? 여기로 이동하여 브라우저에서 로컬로 100%로 접속하세요. ANIMA - PDF를 통한 로컬 채팅

  • 허깅 페이스 스페이스에서도 애니마가 호스팅되고 있으니 그곳에서 사용해 보시기 바랍니다(반응 생성 속도가 느릴 수 있지만 여전히 정상적으로 작동합니다). ANIMA - HF 공간

  • 연락처

모델/데이터셋/컨셉에 대해 더 자세히 논의하고 싶거나, 멋진 아이디어가 있거나, 공동 작업을 원하거나, 모델에 문제가 발생하면 언제든지 다음 주소로 연락해 주세요. InterwovenArkitech@Gmail.com

데이터 세트

  • 세리언/생체 모방 (1차 미세 조정)
  • EMRGNT-CMPLXTY/SCIPHI-교과서-필요한 모든 것 (2차 미세 조정)
  • 세리안/바이오 디자인 프로세스 & FMARS/WIKI_STEM (3차 미세 조정)
  • fblgit/지식 나무 & 세리언/생체 모방 (4차 미세 조정)
  • 이전의 모든 데이터 세트 결합 를 하나의 거대한 데이터 집합으로 통합하여 총 730,000개의 데이터 포인트를 빠르게 미세 조정합니다(5차 미세 조정).

교육 단계

  1. 기본 모델EHARTFORD/DOLPHIN-2.0-MISTRAL-7B
  2. 1차 미세 조정애니마-에코-미스트랄-7B-v1 - T4 소형 1개에 1 에포크 x 5시간
  3. 2차 미세 조정애니마-피-해왕성-미스트랄-v1-: 1 x A100에 1 에포크 x 1시간
  4. 3차 미세 조정ANIMA-Phi-Neptune-Mistral-7B-v2 - 1 x A100에서 1 Epoch x 1시간
  5. 4차 미세 조정ANIMA-Phi-Neptune-Mistral-7B-v3 - 1 x A100에서 1 Epoch x 1시간
  6. 5차 미세 조정ANIMA-Phi-Neptune-Mistral-7B-v4 - A100 1개에 1 에포크 x 15분

📝 사용법

애니마는 생체 모방 디자인 프로세스를 중심으로 설계되어 사용자가 생체 모방을 통해 문제를 해결할 수 있도록 안내합니다. 자세한 정보와 예시를 보려면 다음을 참조하세요. 생체 모방 디자인 프로세스.

🏁 벤치마크

  • 평균 - 62.22
  • ARC - 56.83
  • HellaSwag - 78.82
  • MMLU - 53.84
  • TruthfulQA - 59.40

  • 출력 예시

    [INST] 생체 모방이 수질 정화에 어떻게 도움이 될 수 있을까요? [/INST]

생체 모방은 자연 과정과 유기체에서 영감을 얻어 지속 가능하고 효율적인 솔루션을 개발함으로써 수질 정화에서 중요한 역할을 합니다. 다음은 생체 모방 기술이 수질 정화에 어떻게 도움이 되는지에 대한 종합적인 개요입니다:

  1. 미생물 여과:

    • 박테리오파지(박테리아를 감염시키는 바이러스)는 대장균이나 황색포도상구균과 같은 수계의 오염 물질을 효과적으로 표적으로 삼을 수 있습니다. 박테리오파지의 자연적인 방어 메커니즘을 모방하여 수원에서 오염 물질을 제거하는 효율적인 여과 시스템을 개발할 수 있습니다.
    • 트라메테스 베르시컬러와 같은 일부 곰팡이는 효소를 사용해 물 속의 유기 오염 물질을 분해할 수 있습니다. 이 과정은 오염된 물을 안전하게 마실 수 있는 물로 만드는 데 도움이 됩니다. 이러한 자연적인 과정을 연구하고 복제함으로써 우리는 수원에서 오염 물질을 효과적으로 제거하는 지속 가능한 여과 시스템을 개발할 수 있습니다.
  2. 바이오필름 기반 여과:

    • 미생물은 포식자나 오염 물질과 같은 환경적 위협으로부터 자신을 보호하기 위해 표면에 생물막을 형성합니다. 생물막의 자연적인 형성을 모방함으로써 박테리아나 곰팡이를 사용하여 수원에서 오염 물질을 제거하는 지속 가능한 여과 시스템을 개발할 수 있습니다.
    • 예를 들어, 한 연구에 따르면 슈도모나스 푸티다가 바이오필름 기반 시스템을 사용하여 오염된 수원에서 석유 탄화수소를 생분해하는 데 어떻게 사용될 수 있는지 밝혀졌습니다. 이 방법은 기름 유출에 대한 기존의 화학적 처리에 대한 친환경적인 대안을 제공합니다.
  3. 습지 기반 여과:

    • 습지는 퇴적물과 유기물을 보유하여 오염 물질을 제거하는 데 도움이 되는 물의 자연 필터 역할을 합니다. 습지의 자연적인 과정을 모방함으로써 모래 필터나 인공 습지를 사용하여 오염 물질을 제거하는 효과적인 정수 시스템을 설계할 수 있습니다. 예를 들어, 한 연구에서는 갈대밭을 농업 폐수의 자연 처리 시스템으로 사용하여 물을 여과하는 방법을 보여주었습니다.
  4. 스펀지 필터링:

    • 일부 해양 스폰지(예: 바다 해면)는 주변 물에서 입자와 오염 물질을 걸러내는 정교한 메커니즘을 진화시켜 왔습니다. 이러한 자연적인 여과 과정을 연구함으로써 오염 물질을 효과적으로 제거하는 효율적이고 지속 가능한 여과 시스템을 개발할 수 있습니다. 예를 들어, 한 연구에서는 태양 에너지를 사용하여 오염된 물을 소독하는 저비용의 자립형 정수 시스템을 설계하기 위한 모델로 바다 해면이 어떻게 사용될 수 있는지를 보여주었습니다.
  5. 생분해성 소재:

    • 자연 유기체는 포식자나 환경 위협으로부터 자신을 보호하기 위해 생분해성 물질을 진화시켜 왔습니다. 예를 들어, 일부 곤충은 포식자로부터 자신을 방어하기 위해 알칼로이드와 같은 천연 살충제를 생산합니다. 마찬가지로, 우리는 오염된 수원에서 이러한 천연 살충제를 방출하는 생분해성 물질을 개발하여 오염 물질을 없애고 환경의 건강을 회복할 수 있습니다.
    • 예를 들어, 한 연구에서는 박테리아 세포를 유기 오염 물질을 선택적으로 제거하는 멤브레인에 통합하여 수원에서 오염 물질을 제거하는 자연 여과 시스템으로 사용할 수 있는 방법을 보여주었습니다.

결론적으로, 생체 모방은 지속 가능하고 효율적인 솔루션을 개발하기 위한 영감으로 자연 과정과 유기체를 사용하여 수질 정화에서 중요한 역할을 합니다. 미생물, 식물, 동물, 기타 생명체의 자연적인 여과 메커니즘을 연구함으로써 환경 오염으로부터 환경을 보호하는 데 도움이 되는 친환경적이고 비용 효율적인 정수 시스템을 설계할 수 있습니다.

허깅파카에 대한 자세한 정보 검색: Severian/ANIMA-Phi-Neptune-Mistral-7B

자주 묻는 질문

SkyPilot으로 배포

스카이파일럿 는 모든 클라우드에서 LLM, AI 및 배치 작업을 실행하기 위한 프레임워크로, 비용 절감, 최고의 GPU 가용성 및 관리형 실행을 제공합니다.

저희는 스카이파일럿 구성 예시를 제공합니다. Mistral-7B-v0.1 모델 g5.xlarge (단일 NVIDIA A10G GPU가 있는 노드) 인스턴스입니다.

스카이파일럿 구성

이후 SkyPilot 설치를 사용하려면 미리 빌드된 도커 컨테이너를 사용하여 추론 서버를 배포하는 방법과 위치를 SkyPilot에 알려주는 구성 파일을 만들어야 합니다:

envs:
모델명: 미스트랄라이/미스트랄-7B-v0.1

리소스:
클라우드: aws
가속기: A10G:1
포트:
- 8000

실행: |
도커 실행 --gpus all -p 8000:8000 ghcr.io/mistralai/mistral-src/vllm:최신 \.
--host 0.0.0.0 \
--model $MODEL_NAME \
--텐서-병렬-크기 $SKYPILOT_NUM_GPUS_PER_NODE
 

이러한 환경 변수가 설정되면 다음을 사용할 수 있습니다. 스카이 런치 라는 이름의 추론 서버를 시작하려면 미스트랄-7B:

SKY LAUNCH -C 미스트랄-7B 미스트랄-7B-V0.1.YAML --RION US-EAST-1
 
주의

이러한 방식으로 배포하면 전 세계에서 이 모델에 액세스할 수 있습니다. 사용자 필수 프라이빗 네트워크에만 노출하여 보안을 유지하거나( --host 인증 메커니즘이 있는 로드밸런서를 추가하거나 인스턴스 네트워킹을 올바르게 구성하여 사용할 수 있습니다.

테스트해 보세요!

배포된 IP 주소를 쉽게 검색하려면 미스트랄-7B 클러스터를 사용할 수 있습니다:

스카이 상태 --IP 미스트랄-7B
 

그런 다음 curl을 사용하여 완료 요청을 보낼 수 있습니다:

IP=$(하늘 상태 --ip 클러스터 이름)

curl http://$IP:8000/v1/completions \
-H "콘텐츠 유형: 애플리케이션/json" \
-d '{
"모델": "미스트랄라이/미스트랄-7B-v0.1",
"프롬프트": "내가 가장 좋아하는 양념은",
"최대_토큰": 25
}'
 

사용량 할당량

많은 클라우드 제공업체는 강력한 GPU 인스턴스에 대한 액세스를 명시적으로 요청하도록 요구합니다. 읽기 스카이파일럿 가이드 를 참조하세요.

두 가지 기본 모델을 사용할 수 있습니다:

미스트랄-7B-v0.1

LLM(대규모 언어 모델)은 70억 개의 파라미터가 포함된 사전 학습된 생성 텍스트 모델입니다. 테스트한 모든 벤치마크에서 미스트랄-7B-v0.1이 라마 2 13B보다 우수한 성능을 보였으며, 여기에서 다운로드할 수 있습니다: Mistral-7B-v0.1

미스트랄-7B-인스트럭트-v0.1

Mistral-7B-Instruct-v0.1 대규모 언어 모델(LLM)은 다음과 같이 미세 조정된 버전의 인스트럭트입니다. Mistral-7B-v0.1 공개적으로 사용 가능한 다양한 대화 데이터 세트를 사용하는 생성 텍스트 모델입니다.

최신 버전의 트랜스포머를 사용하고 있지 않기 때문인가요?

트랜스포머를 업그레이드하면 간단히 해결할 수 있습니다 :

pip 설치 -U 트랜스포머
 

GPU 인스턴스에 vLLM이 포함된 모델을 배포한 후에는 OpenAI 호환 REST API를 사용하여 모델을 쿼리할 수 있습니다. 이 API는 API 사양로 설정되어 있지만 OpenAI API를 구현하는 모든 라이브러리를 사용할 수 있습니다.

설정

이 모드에서는 모델이 주어진 프롬프트를 완료합니다.

설치 openai 파이썬 패키지:

pip 설치 openai
 

그런 다음 배포한 서버와 통신하도록 모듈을 구성합니다:

가져오기 openai

openai.API_BASE = "http://ec2-71-171-019-93.compute-1.amazonaws.com:8000/v1" # 인스턴스의 IP 또는 호스트 이름 사용
openai.api_key = "none" # vLLM 서버가 인증되지 않았습니다.
 

완료

그런 다음 완료를 트리거할 수 있습니다:

완료 = openai.완료.create(
모델="mistralai/Mistral-7B-Instruct-v0.1",
프롬프트="미스트랄은",
온도=0.7,
최대_토큰=200, 중지=".")

인쇄(완료.TO_DICT_재귀적())
 

출력합니다:

{'id': 'cmpl-87f6980633bb45f5aecd551bc35335e6',
'object': 'text_complete',
'created': 1695651536,
'model': 'mistralai/Mistral-7B-Instruct-v0.1',
'선택': [{'index': 0,
'text': '지중해 상공에서 불어오는 차갑고 건조한 북동풍',
'logprobs': 없음,
'finish_reason': 'stop'}],
'사용법': {'prompt_tokens': 5, '총_토큰': 23, '완료_토큰': 18}}
 

채팅

인스트럭트 모델과 채팅하려면 채팅 완료 API를 사용하면 됩니다:

메시지 = [{"role": "user", "content": "폴더의 모든 파일을 나열하고 마지막 수정 사항별로 정렬하는 bash 명령은 무엇인가요?"}]

채팅 완료 = openai.채팅 완료.create(
모델="mistralai/Mistral-7B-Instruct-v0.1",
온도=1,
최대_토큰=1024,
메시지=메시지)
 

또한 완성 API를 활용하여 인스트럭트 모델과 상호작용할 수 있는 옵션도 있습니다. 하지만 모델 미세 조정을 위해 통합된 대화 템플릿을 구현해야 합니다. vLLM이 FastChat을 사용한다는 점을 고려하여 이 템플릿이 포함된 FastChat 버전을 제공했습니다. 이 템플릿을 사용하려면 GET_CONV_TEMPLATE("미스트랄")를 통해 가져올 수 있습니다. fastchat.conversation에서 get_conv_template 가져오기을 클릭해 액세스 권한을 얻으세요. 또는 FastChat의 구현을 에뮬레이션하여 자신만의 버전을 만들 수도 있습니다.

트위터 정보 Mistral 7B

미스트랄 7B에 대한 최고 평점 베디오