NVIDIA анонсировала ускоритель GB200 NVL2 для центров обработки данных

Ускоритель NVIDIA GB200 NVL2 сочетает два процессора Grace и два графических процессора Blackwell для значительного повышения производительности в центрах обработки данных, особенно при работе с большими языковыми моделями (LLM).

Ключевые характеристики:

• Повышение производительности LLM: GB200 NVL2 обеспечивает пятикратное ускорение вывода для Llama 3 по сравнению с предшественником H100.
• Ускорение поиска в базе векторов: Ускорение поиска в девять раз.
• Превосходство над обычными процессорами: Достижение общей производительности обработки данных, в 18 раз превышающей производительность обычных процессоров.
• Память: Поддержка до 960 ГБ оперативной памяти LPDDR5X с пропускной способностью до 1024 ГБ/с и до 384 ГБ видеопамяти с пропускной способностью до 16 ТБ/с.

Технические показатели производительности:

• FP4 (тензорные ядра): до 40 PFLOPS
• FP8/FP6 (тензорные ядра): до 20 PFLOPS
• INT8 (тензорные ядра): до 20 POPS
• FP16/BF16 (тензорные ядра): до 10 PFLOPS
• TF32 (тензорные ядра): до 5 PFLOPS
• FP32: до 180 TFLOPS
• FP64/FP64 (тензорные ядра): до 90 TFLOPS

Технологические особенности:

• Кэширование ключевого значения (KV): Улучшение скорости вывода информации за счет сохранения контекста и истории запросов.
• NVLink-C2C: Высокоскоростные межсоединения между базовыми и графическими процессорами, обеспечивающие скорость передачи данных в семь раз выше, чем у PCIe.