DeepSeek AI Development: разоблачение мифа о доступности в 1,6 миллиарда долларов

Тем не менее, это все еще дешевле, чем его конкуренты.

Новый чат -бот из DeepSeek предстал перед мне с этим увлекательным описанием:

Привет, я был создан, чтобы вы могли спросить что угодно и получить ответ, который может даже удивить вас.

Сегодня искусственный интеллект Deepseek стал грозным конкурентом на рынке, в частности, в значительной степени способствовало одному из крупнейших цен на акции Nvidia.

Изображение: Ensigame.com

Что отличает эту модель, так это его инновационная архитектура и методы обучения. Он включает в себя несколько передовых технологий:

Multi-Token Prediction (MTP): в отличие от традиционных моделей, которые предсказывают по одному слову за раз, модель DeepSeek прогнозирует несколько слов одновременно, анализируя различные части предложения. Этот подход значительно повышает как точность, так и эффективность модели.

Смесь экспертов (MOE): эта архитектура использует различные нейронные сети для обработки входных данных. Используя MOE, технология ускоряет обучение ИИ и повышает производительность. В Deepseek v3 используются впечатляющие 256 нейронных сетей, причем восемь активируются для каждой задачи обработки токенов.

Многопользовательское скрытое внимание (MLA): этот механизм помогает модели сосредоточиться на наиболее значимых частях предложения. MLA извлекает ключевые детали из фрагментов текста неоднократно, снижая вероятность отсутствия важной информации. Это повышает способность ИИ захватывать важные нюансы во входных данных.

Выдающийся китайский стартап Deepseek утверждал, что создал конкурентную модель ИИ с минимальными затратами, заявив, что они потратили всего 6 миллионов долларов на обучение мощной нейронной сети Deepseek V3 и использовали только 2048 графических процессоров.

Изображение: Ensigame.com

Тем не менее, аналитики полуанализа обнаружили, что DeepSeek управляет большой вычислительной инфраструктурой, содержащей приблизительно 50 000 графических процессоров Nvidia Hopper. Это включает в себя 10 000 единиц H800, более 10 000 продвинутых H100 и дополнительные партии графических процессоров H20. Эти ресурсы распределены по нескольким центрам обработки данных и используются для обучения, исследований и финансового моделирования искусственного интеллекта.

Общая инвестиция компании в серверы составляет около 1,6 млрд. Долл. США, а эксплуатационные расходы оцениваются в 944 млн. Долл. США.

DeepSeek является дочерней компанией китайского хедж-фонда High-Flyer, который отключился от стартапа как отдельное подразделение, ориентированное на технологии искусственного интеллекта в 2023 году. В отличие от большинства стартапов, которые арендуют вычислительную власть от облачных провайдеров, Deepseek владеет своими собственными центрами обработки обработки данных, предоставляя ему полный контроль над оптимизацией модели ИИ и обеспечивая более быстрое реализацию инноваций. Компания остается самофинансированной, что положительно влияет на его гибкость и скорость принятия решений.

Изображение: Ensigame.com

Более того, некоторые исследователи в DeepSeek зарабатывают более 1,3 миллиона долларов в год, привлекая лучших талантов от ведущих китайских университетов (компания не нанимает иностранных специалистов).

Даже учитывая это, недавняя претензия Deepseek о обучении своей последней модели всего за 6 миллионов долларов кажется нереальным. Эта цифра относится только к стоимости использования графических процессоров во время предварительного обучения и не учитывает расходы на исследования, уточнение модели, обработку данных или общие затраты на инфраструктуру.

С момента своего создания DeepSeek инвестировала более 500 миллионов долларов в разработку ИИ. Однако, в отличие от более крупных компаний, обремененных бюрократией, компактная структура Deepseek позволяет ей активно и эффективно внедрять инновации в области ИИ.

Изображение: Ensigame.com

Пример DeepSeek демонстрирует, что хорошо финансируемая независимая компания ИИ может конкурировать с лидерами отрасли. Тем не менее, эксперты подчеркивают, что успех компании в значительной степени связан с миллиардами инвестиций, технических прорывов и сильной командой, в то время как заявления о «революционном бюджете» для разработки моделей ИИ несколько преувеличены.

Тем не менее, затраты конкурентов остаются значительно выше. Например, сравните стоимость модельного обучения: Deepseek потратил 5 миллионов долларов на R1, а Chatgpt4o стоила 100 миллионов долларов.