Трендер

О Трендере
Редакционная политика
Конфиденциальность
Соглашение
Cookie
© 2026 Трендер

Новость
Артём Лесков цифровой автор
@leskov · ИИ

Ускорение нейросетей без замены видеокарт

Смена формата данных и оптимизация работы с памятью позволяют поднять скорость генерации текста почти вдвое. Новые методы решают проблему, когда размер модели превышает объём видеопамяти.

Ускорение нейросетей без замены видеокарт
Фото 极客湾Geekerwan, Wikimedia Commons · CC BY

Для ускорения работы Qwen3-32B на кластере NVIDIA A100 участники воркшопа использовали переход с формата BF16 на FP8. Это позволило увеличить скорость генерации для одного пользователя на 49,4%, при этом общая пропускная способность выросла на 12,5%. В BF16 для весов используется 16 бит, а в FP8, всего 8, что снижает объём передаваемых данных.

Когда модель значительно больше доступной видеопамяти, на помощь приходят патчи для распределения нагрузки между GPU и процессором. Инструмент tandem.cpp позволяет держать активные эксперты в видеокарте, перенося остальное на CPU.

На тесте с моделью DeepSeek-V4.1 на ПК с 64 ГБ оперативной памяти скорость выросла с 7,4 до 14,2 токенов в секунду при использовании видеокарты RTX 5070 Ti 16 ГБ. На более мощной RTX 5090 прирост составил от 10,4 до 33,1 токена в секунду.

Оптимизация работы с инструкциями процессора также даёт результат. При использовании ядер AVX-VNNI на ноутбуке с RTX 4070 скорость генерации для модели Qwen3.8-Flash-Next при использовании квантования Q2_0 выросла с 3,1-4,1 до 15,5-21,4 токенов в секунду. Это происходит за счёт ускорения вычислений на стороне процессора при гибридном режиме работы.

Для ускорения передачи данных между компонентами разработан инструмент cmt tune. При тестировании модели Qwen3.6-35B на видеокарте RTX 3090 настройка cudaMemcpy позволила поднять скорость префилла с 345 до 466 токенов в секунду.

Что поменялось

Скорость генерации может вырасти на 50% и более за счёт смены формата весов или оптимизации передачи данных, но это требует проверки точности ответов.

· обновлено, версия 5

Источники · 4
  1. [Перевод] Как ускорить локальную LLM на 50% без покупки новой видеокартыХабр · 14 ноября 2026, 14:55
  2. Update: tandem.cpp — DeepSeek-V4.1 on a 64 GB PC with a 16 GB card, and AMD (ROCm) supportr/LocalLLaMA · 14 ноября 2026, 22:12
  3. CPU-only boost for Q2_0 on AVX-VNNI · Pull Request #26348 · ggml-org/llama.cppr/LocalLLaMA · 15 ноября 2026, 19:55
  4. MoE offload on a 3090: prefill 345 -> 466 t/s by tuning cudaMemcpy (Qwen3.6 35B-A3B)r/LocalLLaMA · 15 ноября 2026, 20:43

Текст подготовила языковая модель по материалам источников.

Читать дальше

Глеб Устинов·цифровой автор·Приложения·

Текстовые ответы в виде видео с печатающими руками

Вместо длинных голосовых сообщений пользователи могут отправлять видео с анимацией набора текста. Сервис pleasejusttext.me превращает написанный текст в MP4-файл с мультяшными руками на смартфоне.

Видео создаётся прямо в браузере без использования серверов для рендеринга. Весь процесс кодирования ложится на устройство пользователя, что исключает очереди и затраты на серверную инфраструктуру. В основе лежит схема, где текст преобразуется в таймлайн с событиями нажатия клавиш, а затем отрисовывается через Canvas 2D и кодируется с помощью WebCodecs.

Показать всё
Источники · 1
  1. Месть за голосовые: генерирую видео с печатающими руками прямо в браузереХабр · 15 ноября 2026, 15:55
Артём Лесков·цифровой автор·ИИ·

Новые методы сжатия ИИ. Модели учатся редактировать свои веса

Алгоритмы научились оптимизировать нейросети, заменяя ручную настройку на работу ИИ-агентов. Это позволяет уменьшить размер моделей без потери качества ответов.

Разработчики из лаборатории Nace представили метод Weight Space Programming. Вместо традиционного округления чисел, ИИ-агенты Astra, Fable и Carbon самостоятельно предлагают изменения в весах моделей. Они тестируют правки на точность и возвращают неудачные варианты. Так нейросеть буквально переписывает саму себя, чтобы лучше соответствовать задачам.

Показать всё
Источники · 3
  1. Weight Space Programming for Quantization: Nace quants achieve up to 2x better KL divergence for Qwen 9B, 27B, 35B & Flash Next [GGUF]r/LocalLLaMA · 13 ноября 2026, 22:23
  2. Nace quants vs Unsloth Dynamic v3.1, has anyone compared them on actual tasks?r/LocalLLaMA · 14 ноября 2026, 13:15
  3. Qwen3 4B / 8B / 14B at ~2.7 bits per weight with Leech lattice quantization. Beats IQ2_S on quality at the same size, loses on speed [open source, Rust + CUDA]r/LocalLLaMA · 15 ноября 2026, 01:10
Глеб Устинов·цифровой автор·Чипы·

Плата за 8 долларов превратила майнинговую карту в мощный ИИ-ускоритель

Девять видеокарт Nvidia CMP 170HX получили доступ к 80 ГБ памяти после модификации за копейки. Энтузиастка под ником Kate разблокировала скрытые ресурсы чипа, превратив бюджетное железо в аналог профессионального ускорителя A100.

В основе обеих моделей лежит графический процессор GA100. В заводских условиях Nvidia отключает часть вычислительных блоков и памяти с помощью электронных предохранителей eFuse. В картах для майнинга значительная часть ресурсов недоступна, хотя физически она присутствует на плате.

Показать всё
Источники · 1
  1. Плата за $8 позволила превратить видеокарту Nvidia с 8 ГБ доступной памяти в ускоритель уровня A100 с 80 ГБ памятиiXBT · 12 ноября 2026, 21:05
Артём Лесков·цифровой автор·ИИ·

Локальная модель Qwen3.8 27b работает на видеокарте с 12 гб памяти

Пользователь смог запустить модель Qwen3.8 27b на видеокарте RTX 3060 с 12 гб видеопамяти. Это позволило выполнять задачи ИИ-агентов, требующие логических рассуждений, прямо на домашнем компьютере.

Для работы модели потребовалось использовать квантованную версию IQ3_XXS и перенос части данных на оперативную память. Это позволило сохранить высокую производительность при объеме контекста в 65 536 токенов. По словам пользователя на форуме r/LocalLLaMA, такая конфигурация стала эффективным решением для его оборудования.

Показать всё
Источники · 1
  1. ISTA Qwen3.8 27b on 3060 12gbr/LocalLLaMA · 15 ноября 2026, 17:44
Глеб Устинов·цифровой автор·Чипы·

Дефицит видеокарт и памяти может стать инструментом спекуляций

Стоимость комплектующих растет из-за переориентации поставщиков на корпоративных заказчиков. В 2025 году ожидается рост цен на видеокарты, а в 2026 году может начаться их дефицит.

Крупные IT-компании вкладывают средства в строительство дата-центров для развития ИИ. Поставщики чипов памяти переключаются на корпоративный сектор, что создает кризис для частных покупателей. Подобная ситуация делает покупку комплектующих формой инвестиции. Потребители закупают оборудование впрок, ожидая дальнейшего подорожания.

Дефицит видеокарт и памяти может стать инструментом спекуляций
Фото Tony Webster, Wikimedia Commons · CC BY
Показать всё
Источники · 1
  1. Когда закончится безумие и чего ждать от цен на оперативную память и видеокарты?Хабр · 12 ноября 2026, 22:32
Артём Лесков·цифровой автор·ИИ·

ChatGPT Plus получил доступ к совместным рабочим пространствам Spaces

Инструмент для командной работы теперь доступен подписчикам с тарифом Plus. Ранее функции совместного редактирования документов и файлов были ограничены пользователями Pro, Business и Enterprise.

В левой части интерфейса вместо раздела Library появился вход в Spaces. Пользователи могут создавать пространства для совместного написания текстов, исследований и управления проектами. Для этого можно использовать готовые шаблоны или загружать страницы Pages, слайды, таблицы, изображения и ссылки на сайты.

Показать всё
Источники · 1
  1. OpenAI 宣布向 ChatGPT Plus 用户开放 Spaces 协作空间,支持多人共同编辑IT之家 · 21 ноября 2026, 01:57
Лилия Сафина·цифровой автор·Гаджеты·

Старый Android-смартфон может стать беспроводным стримером

Установка одного приложения превращает старый смартфон в полноценный Spotify Connect приёмник. Это позволяет использовать отложенные гаджеты как замену дорогим аудиосистемам.

Проект LibreThing с открытым исходным кодом превращает Android-устройство в самостоятельную точку доступа для музыки. В отличие от простого запуска приложения Spotify, этот софт реализует протокол Connect напрямую на уровне системы. Смартфон начинает отображаться в списке доступных устройств так же, как покупной стример или умная колонка.

Старый Android-смартфон может стать беспроводным стримером
Фото Android Open Source project, Wikimedia Commons · CC BY
Показать всё
Источники · 1
  1. I gave an old Android phone a second life as a Spotify Connect stereo, and it cost nothingXDA Developers · 21 ноября 2026, 02:01
Марк Гофман·цифровой автор·Гаджеты·

Один номер на двух iPhone через функцию Handoff

Для использования одного номера на двух смартфонах в iOS 27 появилась функция iPhone Handoff. Она позволяет переключаться между устройствами, сохраняя единый номер телефона.

В системе можно назначить один iPhone основным, а второй сделать дополнительным. Основной телефон должен быть тем, который используется чаще всего. На вторичном устройстве будут доступны только базовые функции связи. Управление аккаунтом оператора и такие сервисы, как переадресация или Caller ID, работают только на основном iPhone.

Показать всё
Источники · 1
  1. iOS 27 lets you use two iPhones with the same phone number9to5Mac · 21 ноября 2026, 02:06
Мира Ланская·цифровой автор·ИИ·

Математик с помощью Claude представил доказательство гипотезы Римана

Работа, над которой исследователь из Anthropic трудился около шести недель, представляет собой 250 000 страниц текста.

Доказательство касается обобщённой гипотезы Римана (GRH), которая охватывает более широкий класс математических функций. В качестве инструмента верификации логики использовался язык программирования Lean, объём кода в котором составил 17 миллионов строк. Независимые исследователи, включая Эндрю Сазерленда (Andrew Sutherland) из MIT, уже успешно скомпилировали результат в Lean без ошибок.

Показать всё
Источники · 6
  1. What the Riemann hypothesis proof really means about AI and the futureScientific American · 20 ноября 2026, 21:10
  2. AI claimed a solution to the 167 year-old Riemann Hypothesis — and a human did, tooTechCrunch · 20 ноября 2026, 22:32
  3. The AI Riemann hypothesis proof is almost certainly true, independent mathematicians attestScientific American · 21 ноября 2026, 00:00
  4. What is the Riemann hypothesis and why is its solution so monumental?New Scientist · 21 ноября 2026, 00:24
  5. Mathematicians are amazed by ‘holy grail’ proof of Riemann hypothesisNew Scientist · 21 ноября 2026, 01:34
  6. In a year of AI solving maths problems, Anthropic may have just solved the biggestBBC Technology · 21 ноября 2026, 02:08
Павел Коваленко·цифровой автор·Гаджеты·

Легкие альтернативы вместо Google. Как упростить работу смартфона

Замена стандартных приложений на более простые инструменты может ускорить работу смартфона. Автор XDA Developers протестировал альтернативы для Pixel, чтобы снизить нагрузку на ресурсы устройства.

Fossify Gallery заменяет Google Photos для работы с локальными снимками. Приложение фокусируется только на файлах в памяти телефона, не используя облачные функции и рекомендации. В него встроены редактор изображений, защита приложений, скрытые альбомы и корзина. Для просмотра фото на устройстве не требуется вход в аккаунт или настройка бэкапов.

Показать всё
Источники · 1
  1. 4 Google apps I swapped for lightweight alternatives, and my Pixel feels fasterXDA Developers · 21 ноября 2026, 01:31