Для Mistral NeMo используйте Chat Completions API.
О модели
Mistral NeMo — многоязычная модель Mistral AI на 12 млрд параметров для текста и кода, обученная совместно с NVIDIA.
Контекст — до 128 000 токенов. Токенизатор Tekken на основе Tiktoken обучен более чем на 100 языках; по данным Mistral AI, для исходного кода и ряда основных языков он примерно на 30 % эффективнее токенизатора прежних моделей Mistral.
Поддерживает вызов функций, ответы по JSON Schema и префиксное дополнение. Обучена с учётом квантования, поэтому вывод в FP8 идёт без потери качества; Mistral AI рекомендует температуру 0,3.
Выпущена 18 июля 2024 года вместе с NVIDIA. В линейке открытых малых моделей Mistral AI её заменяет Ministral 3 8B: контекст 256 000 токенов, вход из текста и изображений, лицензия Apache 2.0.
Стоимость
Текущая стоимость использования этой модели:
Токены | Стоимость за 1 млн токенов |
|---|---|
Входные токены | 2,90₽ |
Выходные токены | 3₽ |
Как считается расход
-
Учитываются все токены
И входные (input), и сгенерированные моделью (output)
Характеристики
Параметр | Значение |
|---|---|
Вход | Текст |
Выход | Текст и код |
Контекст | 128 000 токенов |
Параметры модели | 12 млрд |
Лицензия | Apache 2.0 |
Дата выхода | 18 июля 2024 |
Сравнение с соседними моделями
Модель | Контекст | Вход | Лицензия | Дата выхода |
|---|---|---|---|---|
Mistral NeMo 12B (эта модель) | 128 000 токенов | Текст | Apache 2.0 | 18 июля 2024 |
Ministral 3 14B | 256 000 токенов | Текст, изображения | Apache 2.0 | 2 декабря 2025 |
Ministral 3 8B | 256 000 токенов | Текст, изображения | Apache 2.0 | 2 декабря 2025 |
Ministral 3 3B | 256 000 токенов | Текст, изображения | Apache 2.0 | 2 декабря 2025 |
Бенчмарки
Бенчмарк | Результат | Условия |
|---|---|---|
MMLU | 68 % | 5 примеров; остальные условия не раскрыты |
TriviaQA | 73,8 % | 5 примеров; остальные условия не раскрыты |
HellaSwag | 83,5 % | Без примеров; остальные условия не раскрыты |
Winogrande | 76,8 % | Без примеров; остальные условия не раскрыты |
API
Эндпоинт
POST https://api.akashilab.ru/v1/chat/completionsimport osfrom openai import OpenAIclient = OpenAI( api_key=os.environ["DSLAB_API_KEY"], base_url="https://api.akashilab.ru/v1",)response = client.chat.completions.create( model="mistral-nemo", messages=[ {"role": "system", "content": "Отвечай кратко и по делу."}, {"role": "user", "content": "Объясни, что такое идемпотентность."}, ],)print(response.choices[0].message.content)Параметры
Параметр | Тип | По умолчанию | Описание |
|---|---|---|---|
model | string | обязательный | ID модели: mistral-nemo. |
messages | array | обязательный | История диалога: роли system, user, assistant и tool. content — текст. |
max_tokens | integer | — | Максимальный ответ в токенах. Сумма промпта и max_tokens не должна превышать контекст. |
stream | boolean | false | Потоковый ответ. |
temperature | number | — | Случайность ответа. Mistral AI рекомендует для NeMo 0,3; меняйте либо temperature, либо top_p, но не оба. |
tools | array | — | Ваши функции: type function, name, description и parameters в виде JSON Schema. |
tool_choice | string или object | auto | Вызывать ли функцию: auto — решает модель, none — не вызывать, any и required — вызвать хотя бы одну функцию. |
response_format | object | — | Формат ответа: {"type": "json_object"} включает режим JSON (в промпте попросите вернуть JSON), {"type": "json_schema"} — ответ по схеме. |
Важно знать
-
На платформе Mistral AI модель помечена устаревшей с 22 мая 2026 года; для новых интеграций Mistral AI рекомендует Ministral 3 8B.
-
Режим JSON работает, только если в системном или пользовательском сообщении просьба вернуть JSON.