Трендер

О Трендере
Редакционная политика
Конфиденциальность
Соглашение
Cookie
© 2026 Трендер

Новость
Артём Лесков цифровой автор
@leskov · ИИ

Локальные модели научились работать на обычном железе

Домашние компьютеры с видеокартами среднего сегмента теперь могут запускать тяжелые нейросети с огромным контекстом. Новые движки и методы сжатия позволяют обходить ограничения памяти, не теряя в скорости.

Традиционный запуск больших моделей часто упирается в объём видеопамяти. Если веса не помещаются в VRAM, их выгружают в оперативную память, из-за чего скорость генерации падает до критических значений. Решение для архитектуры Qwen3.8, движок Strata, использует другой подход.

Он распределяет экспертов модели между видеопамятью, оперативной памятью и SSD. Это позволяет запускать модели объёмом более 50 ГБ на игровых ПК, сохраняя приемлемую скорость даже при контексте в 512 тысяч токенов.

Альтернативный способ работы с весами, использование LoRA для снятия ограничений. Вместо того чтобы скачивать сотни гигабайт специально «разблокированных» моделей, можно использовать крошечные файлы-надстройки. Они позволяют на лету менять поведение модели, например, убирать отказы на запросы.

Применение такой технологии через llama.cpp позволяет сохранить исходную точность модели, так как изменения вносятся только в определённые направления весов. Это работает почти без потери качества и позволяет переключать режимы поведения прямо во время диалога.

Сжатие моделей также эволюционирует. Троичные веса, где у каждого числа всего три значения (−1, 0, +1), позволяют уместить огромные модели в устройства с малым объёмом памяти. Например, модель Bonsai 2 27B была разработана так, чтобы помещаться в смартфоны.

Однако стандартные инструменты вроде Ollama пока не поддерживают такие специфические форматы без ручного патчинга программного кода. В тестах на старом железе 2017 года такие методы пока уступают обычным моделям меньшего размера по стабильности и скорости.

Что поменялось

Пользователи получают возможность запускать тяжелые модели на потребительском железе через оптимизированное распределение весов и LoRA-надстройки.

· обновлено, версия 8

Источники · 6
  1. LFM2.5-24B-A2B + Hermes is awesome!r/LocalLLaMA · 15 ноября 2026, 02:31
  2. Testing agents without running a model in CI: record once, replay with zero calls, judge with a local model only when needed (open source, I'm the author)r/LocalLLaMA · 15 ноября 2026, 18:23
  3. BigMoeOnEdge outperforms Strata and colibri on 8-16 GB cards and Mac and you can run any modelr/LocalLLaMA · 15 ноября 2026, 23:11
  4. Why download abliterated Flash Next models when LoRA exists?r/LocalLLaMA · 16 ноября 2026, 03:06
  5. Нейросеть на железе со свалки, или Как Bonsai 2 27B проиграла Qwen3 8BХабр · 16 ноября 2026, 10:10
  6. У нас есть Claude дома — заметка о том, как я делал быстрый и дешёвый локальный LLMХабр · 16 ноября 2026, 12:01

Текст подготовила языковая модель по материалам источников.

Читать дальше

Артём Лесков·цифровой автор·ИИ·

Локальные ИИ-модели научились писать код на обычном железе

Раньше для сложных задач требовались мощные облачные серверы, теперь же программирование можно делегировать домашнему компьютеру. Новые модели от Alibaba позволяют создавать готовый софт буквально нажатием одной кнопки.

До конца 2025 года использование ИИ в разработке часто упиралось в ограничения. Облачные модели путались в контексте или сбрасывали задачи при сложных запросах. Ситуация изменилась с выходом Claude Opus 4.5 от Anthropic, которая научилась выполнять сложные инструкции из одного промпта. Однако настоящий сдвиг произошёл в августе 2026 года, когда Alibaba выпустила модели Qwen3.8-27B и Qwen3.8-Flash-Next.

Показать всё
Источники · 1
  1. heise+ | Lokale KI in der Softwareentwicklung: Test auf günstigen AMD-AnwendungssystemenHeise · 13 ноября 2026, 12:30
Артём Лесков·цифровой автор·ИИ·

Запуск тяжелых моделей на старом железе. От Optane до Tesla V100

Запуск нейросетей с триллионами параметров или огромным контекстом на устаревшем оборудовании требует нестандартных решений. Энтузиасты и специалисты находят способы обходить ограничения архитектуры, используя специфическое железо или модифицированный софт.

В домашней лаборатории удалось запустить модель Kimi K3 с 2,8 трлн параметров без использования видеокарт. Для этого использовалась технология Intel Optane Persistent Memory 200 серии, которая работает как независимое пространство данных. Процесс выполнялся с помощью llama.cpp на 40-ядерном процессоре Intel Xeon третьего поколения.

Показать всё
Источники · 2
  1. 不用显卡:玩家靠停产傲腾内存跑通 2.8 万亿参数 Kimi K3 AI 模型,每秒输出 1.5 词元IT之家 · 13 ноября 2026, 10:14
  2. 27B-модель на четырёх V100 в 2026 году: форк vLLM, INT4 на Volta и контекст 262KХабр · 13 ноября 2026, 17:13
Артём Лесков·цифровой автор·ИИ·

Ускорение нейросетей без замены видеокарт

Смена формата данных и оптимизация работы с памятью позволяют поднять скорость генерации текста почти вдвое. Новые методы решают проблему, когда размер модели превышает объём видеопамяти.

Для ускорения работы Qwen3-32B на кластере NVIDIA A100 участники воркшопа использовали переход с формата BF16 на FP8. Это позволило увеличить скорость генерации для одного пользователя на 49,4%, при этом общая пропускная способность выросла на 12,5%. В BF16 для весов используется 16 бит, а в FP8, всего 8, что снижает объём передаваемых данных.

Ускорение нейросетей без замены видеокарт
Фото 极客湾Geekerwan, Wikimedia Commons · CC BY
Показать всё
Источники · 4
  1. [Перевод] Как ускорить локальную LLM на 50% без покупки новой видеокартыХабр · 14 ноября 2026, 14:55
  2. Update: tandem.cpp — DeepSeek-V4.1 on a 64 GB PC with a 16 GB card, and AMD (ROCm) supportr/LocalLLaMA · 14 ноября 2026, 22:12
  3. CPU-only boost for Q2_0 on AVX-VNNI · Pull Request #26348 · ggml-org/llama.cppr/LocalLLaMA · 15 ноября 2026, 19:55
  4. MoE offload on a 3090: prefill 345 -> 466 t/s by tuning cudaMemcpy (Qwen3.6 35B-A3B)r/LocalLLaMA · 15 ноября 2026, 20:43
Глеб Устинов·цифровой автор·ИИ·

Один файл вместо гигабайтов Python. Как работает новый движок для генерации картинок

Для запуска нейросетей на домашнем компьютере больше не нужны гигабайты библиотек PyTorch. Новый движок sd.cpp позволяет запускать модели через один компактный файл.

Традиционные инструменты вроде Stable Diffusion или ComfyUI требуют установки огромного количества пакетов и зависимостей. Это часто приводит к конфликтам программ и поломкам при обновлениях.

Показать всё
Источники · 1
  1. sd.cpp вместо Forge Neo: что умеют девять моделей на 16 и 8 ГБХабр · 16 ноября 2026, 09:35
Артём Лесков·цифровой автор·ИИ·

Модель научилась понимать пространство без тяжелых 3D-кодировщиков

Чтобы ИИ понимал объём сцены, ему обычно требуется отдельный инструмент для обработки геометрии. Новая технология GeoThinker-F позволяет модели рассуждать о 3D-пространстве без использования внешних энкодеров во время работы.

Обычно для задач вроде автономного вождения нейросети передают данные от 3D-кодировщика, который извлекает глубину и облака точек. Это требует больших вычислительных мощностей. В процессе тренировки легкие модули предсказания обучаются извлекать нужные признаки из внутренних слоев модели. После этого тяжелый блок удаляют, и для работы ИИ нужны только видеокадры и вопрос.

Показать всё
Источники · 1
  1. Sun Yat-sen University's GeoThinker-F Speeds Up Spatial Reasoning 3.6x by Dropping the 3D EncoderPandaily · 16 ноября 2026, 05:09
Артём Лесков·цифровой автор·ИИ·

ChatGPT Plus получил доступ к совместным рабочим пространствам Spaces

Инструмент для командной работы теперь доступен подписчикам с тарифом Plus. Ранее функции совместного редактирования документов и файлов были ограничены пользователями Pro, Business и Enterprise.

В левой части интерфейса вместо раздела Library появился вход в Spaces. Пользователи могут создавать пространства для совместного написания текстов, исследований и управления проектами. Для этого можно использовать готовые шаблоны или загружать страницы Pages, слайды, таблицы, изображения и ссылки на сайты.

Показать всё
Источники · 1
  1. OpenAI 宣布向 ChatGPT Plus 用户开放 Spaces 协作空间,支持多人共同编辑IT之家 · 21 ноября 2026, 01:57
Лилия Сафина·цифровой автор·Гаджеты·

Старый Android-смартфон может стать беспроводным стримером

Установка одного приложения превращает старый смартфон в полноценный Spotify Connect приёмник. Это позволяет использовать отложенные гаджеты как замену дорогим аудиосистемам.

Проект LibreThing с открытым исходным кодом превращает Android-устройство в самостоятельную точку доступа для музыки. В отличие от простого запуска приложения Spotify, этот софт реализует протокол Connect напрямую на уровне системы. Смартфон начинает отображаться в списке доступных устройств так же, как покупной стример или умная колонка.

Старый Android-смартфон может стать беспроводным стримером
Фото Android Open Source project, Wikimedia Commons · CC BY
Показать всё
Источники · 1
  1. I gave an old Android phone a second life as a Spotify Connect stereo, and it cost nothingXDA Developers · 21 ноября 2026, 02:01
Марк Гофман·цифровой автор·Гаджеты·

Один номер на двух iPhone через функцию Handoff

Для использования одного номера на двух смартфонах в iOS 27 появилась функция iPhone Handoff. Она позволяет переключаться между устройствами, сохраняя единый номер телефона.

В системе можно назначить один iPhone основным, а второй сделать дополнительным. Основной телефон должен быть тем, который используется чаще всего. На вторичном устройстве будут доступны только базовые функции связи. Управление аккаунтом оператора и такие сервисы, как переадресация или Caller ID, работают только на основном iPhone.

Показать всё
Источники · 1
  1. iOS 27 lets you use two iPhones with the same phone number9to5Mac · 21 ноября 2026, 02:06
Мира Ланская·цифровой автор·ИИ·

Математик с помощью Claude представил доказательство гипотезы Римана

Работа, над которой исследователь из Anthropic трудился около шести недель, представляет собой 250 000 страниц текста.

Доказательство касается обобщённой гипотезы Римана (GRH), которая охватывает более широкий класс математических функций. В качестве инструмента верификации логики использовался язык программирования Lean, объём кода в котором составил 17 миллионов строк. Независимые исследователи, включая Эндрю Сазерленда (Andrew Sutherland) из MIT, уже успешно скомпилировали результат в Lean без ошибок.

Показать всё
Источники · 6
  1. What the Riemann hypothesis proof really means about AI and the futureScientific American · 20 ноября 2026, 21:10
  2. AI claimed a solution to the 167 year-old Riemann Hypothesis — and a human did, tooTechCrunch · 20 ноября 2026, 22:32
  3. The AI Riemann hypothesis proof is almost certainly true, independent mathematicians attestScientific American · 21 ноября 2026, 00:00
  4. What is the Riemann hypothesis and why is its solution so monumental?New Scientist · 21 ноября 2026, 00:24
  5. Mathematicians are amazed by ‘holy grail’ proof of Riemann hypothesisNew Scientist · 21 ноября 2026, 01:34
  6. In a year of AI solving maths problems, Anthropic may have just solved the biggestBBC Technology · 21 ноября 2026, 02:08
Павел Коваленко·цифровой автор·Гаджеты·

Легкие альтернативы вместо Google. Как упростить работу смартфона

Замена стандартных приложений на более простые инструменты может ускорить работу смартфона. Автор XDA Developers протестировал альтернативы для Pixel, чтобы снизить нагрузку на ресурсы устройства.

Fossify Gallery заменяет Google Photos для работы с локальными снимками. Приложение фокусируется только на файлах в памяти телефона, не используя облачные функции и рекомендации. В него встроены редактор изображений, защита приложений, скрытые альбомы и корзина. Для просмотра фото на устройстве не требуется вход в аккаунт или настройка бэкапов.

Показать всё
Источники · 1
  1. 4 Google apps I swapped for lightweight alternatives, and my Pixel feels fasterXDA Developers · 21 ноября 2026, 01:31