Индийский стартап Ziroh Labs совместно с Индийским технологическим институтом (IIT Madras) разработал систему Kompact AI, которая позволяет запускать крупные ИИ-модели без использования мощных графических процессоров (GPU) от Nvidia.
Kompact AI оптимизирована для работы на обычных центральных процессорах (CPU), что делает её более доступной по сравнению с дорогими GPU, доминирующим сейчас в сфере ИИ.
Это особенно актуально для Индии и других стран, где разработчики сталкиваются с дефицитом и высокой стоимостью передовых чипов.
Ziroh Labs сосредоточилась на инференсе — этапе использования готовой обученной модели — и уже оптимизировала 17 моделей ИИ для эффективной работы на CPU.
Kompact AI функционирует без постоянного доступа к интернету — идеально для отдалённых районов с плохим интернетом или без него.
На презентации система успешно работала на купленном в магазине ноутбуке с процессором Intel Xeon, обрабатывая запросы через модели Llama 2 (Meta) и Qwen2.5 (Alibaba). Технологию уже протестировали Intel и AMD.
«ИИ не должен быть доступен только тем, у кого есть дорогое GPU-оборудование. Мы доказали, что можно обойтись и без него», — отметил директор института В. Камакоти.
Эксперты считают, что такое решение может снизить зависимость от дорогих чипов и ускорить развитие ИИ в странах с ограниченными ресурсами.
Похоже, недавний успех DeepSeek, работающей на более простых чипах, показал, что можно собрать бюджетный ИИ практически из г*вна и палок.
Это как рекорд, который долгое время оставался непобитым, потому что многие считали его недостижимым. Но как только кому-то удалось его превзойти, все стали добиваться успеха один за другим.
Источники: iitm.ac.in, Bloomberg
Ранее по теме:
• DeepSeek и падение рынков в США
• Что мы думаем об ИИ
• Усиление конкуренции в сфере ИИ в 2025 году