Приложение Ollama, разработанное для локального запуска моделей искусственного интеллекта на устройствах с операционными системами Windows, macOS и Linux, недавно получило обновление, которое добавляет поддержку аппаратного ускорения на процессорах Apple M5.
В отличие от облачных решений, таких как ChatGPT, которые требуют постоянного подключения к интернету и не могут работать локально, Ollama позволяет пользователям загружать и запускать модели ИИ прямо на своем компьютере. Открытые модели обычно доступны на платформах сообществ или могут быть загружены напрямую от разработчиков.
Тем не менее, запуск моделей ИИ на локальных компьютерах часто сопряжен с проблемами, так как они требуют значительных объемов оперативной и видеопамяти. Чтобы облегчить эту задачу, разработчики Ollama внедрили поддержку фреймворка машинного обучения MLX и унифицированной архитектуры памяти в версии 0.19 приложения. Это значительно увеличивает скорость работы Ollama на устройствах с чипами Apple.
На данный момент улучшения касаются только новых процессоров Apple M5, M5 Pro и M5 Max. Приложение Ollama 0.19 использует нейроускорители, что сокращает время до первого токена и ускоряет процесс генерации токенов в целом. Пользователи теперь могут быстрее работать с персональными ИИ-агентами, такими как OpenClaw, а также с специализированными моделями, например OpenCode, Anthropic Claude Code и OpenAI Codex. Однако стоит учитывать, что для полноценной работы на компьютере должно быть не менее 32 Гбайт унифицированной памяти.