Сможет ли один DGX Spark поддерживать команду ИИ?
Вопрос не только в том, запускается ли модель, а в том, могут ли несколько человек пользоваться ею одновременно с приемлемым откликом. Один DGX Spark подходит как общая локальная ИИ-рабочая станция для небольшой команды, но не является облачным сервером с неограниченной параллельностью.
Возможная нагрузка зависит от модели, длины контекста, одновременных запросов, виртуальных устройств, единой памяти, runtime и требуемой скорости. Эта статья посвящена容量 планированию; для аккаунтов, файлов, сообщений и доступа через браузер см. Как поделиться одним DGX Spark с командой .
Аппаратные характеристики не обещают число пользователей
DGX Spark оснащён 20-ядерным Arm CPU, до 128 ГБ единой памяти, архитектурой Blackwell и пропускной способностью 273 ГБ/с.Спецификации DGX Spark Это не гарантия числа пользователей, tokens/s или SLA. Загрузка модели не означает, что останутся ресурсы для OCR, транскрибации, изображений и виртуальных устройств.
Ориентиры тестирования
Публичные тесты — только отправная точка. Один тест сообщил примерно 37–47 tokens/s на пользователя при 4–8 пользователях и 22–24 tokens/s при 16 пользователях.Методика Около 15 tok/s на пользователя можно использовать как практическую линию для интерактивного текста, но это не спецификация NVIDIA и не обещание Team AI Box.Анализ
Почему параллельность снижается
ОС, веса модели, KV cache, контейнеры, файлы, виртуальные устройства и сессии используют одну физическую память. 273 ГБ/с не являются лимитом пользователей, но могут ограничивать декодирование и увеличивать задержку и очередь.
Что добавляет Team AI Box
DGX Spark предоставляет вычисления, а Team AI Box — браузерное рабочее пространство с локальным ИИ, генерацией изображений, OCR, транскрибацией, переводом, командными файлами, сообщениями, беспроводной трансляцией и виртуальными Android, Windows и Linux.Возможности Team AI Box
Не следует называть это автоматической общей памятью, полной корпоративной базой знаний, изоляцией GPU для каждого пользователя или гарантированной параллельностью.
Как тестировать
Опишите реальные задачи, измерьте запуск, первый токен, завершение, память, очередь и восстановление. Затем протестируйте реальные смешанные нагрузки и назначьте приоритеты и ответственных.
Один или несколько Spark
Один Spark лучше подходит небольшой команде и лёгким или асинхронным задачам. Для большого числа запросов, строгой задержки, выделенных GPU или SLA нужны несколько устройств, GPU-сервер или гибридная архитектура.
NVIDIA документирует управляемый путь для 2–4 систем и объявила расширение до 8. Свыше четырёх систем конфигурацию следует считать расширенной или ручной в зависимости от версии NVIDIA Sync.Документация Статья о восьми узлах
Виртуальные устройства также используют общие ресурсы и требуют ARM64-носителей и лицензий для Windows/Linux.Руководство VM
Частые вопросы
Универсального числа пользователей нет: проверяйте модель, контекст, задачи, виртуальные устройства, первый токен и запас памяти. Несколько людей могут работать через отдельные аккаунты Team AI Box, не используя общий администраторский аккаунт или SSH.
Итог
Один DGX Spark может стать началом локального ИИ для небольшой команды. Сначала измерьте реальный рабочий процесс, затем добавляйте модели и пользователей. См. руководство по развертыванию и руководство по локальной ИИ-инфраструктуре .