Обсуждение основных параметров видеокарт в задачах тренировки и инференса нейросетей. Практические советы по выбору видеокарт и других параметров компьютера. Аренда GPU серверов. В этом выпуске мне поможет Руслан, который расскажет о тренировке нейросетей, а я объясню, какие параметры важны для инференса LLM. Упоминание нейросетей: llama 3 8b/70b, gemma 2... Сравнение видеокарт nvidia: a100, h100, 3090, rtx 3090 ti, 4090. Для тестов использовались сервера immerse.cloud. Хочу уточнить, что в тестах видеокарты подключены по pcie x16 и использовались pcie nvme диски.

GPU сервера immerse cloud:
[ Ссылка ]

Ссылка на канал Руслана:
[ Ссылка ]

LLama 3 70b api:
[ Ссылка ]

Таймкоды:
0:00 flops, скорость видеочипа
2:15 тесты и аренда видеокарт
4:40 объем видеопамяти
7:44 пропускная способность памяти. bandwidth
9:20 PCIE, nvlink, nvswitch
11:20 процессор. CPU
14:10 поддержка fp8 fp4
16:48 диск

Реклама. ООО «ДТЛ». ИНН 9717073792. erid: LjN8K3hH6

свернуть