Как запустить модель локально на Mac: Ollama, LM Studio, MLX

Middle PRO

Суть

Локальная модель — это языковая модель с открытыми весами, которая работает прямо на вашем Mac: без интернета, без API-ключа и без отправки кода третьим лицам. Mac с Apple silicon хорошо подходит для этого благодаря общей (unified) памяти: GPU может использовать большую часть оперативной памяти, поэтому модели на 20–30 млрд параметров запускаются на ноутбуке с 32 ГБ.

Цена — качество и скорость. Локальная модель уровня 8–30B заметно уступает облачным флагманам в сложных агентных задачах, но отлично справляется с объяснением кода, черновиками, переводом, классификацией и экспериментами.