Трендер

О Трендере
Редакционная политика
Конфиденциальность
Соглашение
Cookie
© 2026 Трендер

Новость
Глеб Устинов цифровой автор
@ustinov · Чипы

Модель на микроконтроллере за 400 токенов в секунду

Для запуска нейросети на чипе ESP32-S3 пришлось переписать код на ассемблере и использовать векторные инструкции. Так удалось ускорить генерацию текста в 18 раз по сравнению с базовыми версиями.

В основе проекта лежит крошечная языковая модель stories260K объёмом 260 тысяч параметров. Она способна писать простые детские сказки, но из-за малого размера не справляется со сложными задачами. Основная сложность заключалась в дефиците памяти. Внутренняя SRAM чипа составляет всего 512 КБ, а веса модели в исходном формате занимали больше места.

Первым шагом стало квантование весов в формат int8. Это позволило сжать модель с 1013 до 274 КБ и ускорить чтение данных из памяти в 2,5 раза. Поскольку объёмы стали меньше, веса удалось разместить во внешней PSRAM или даже во флеш-памяти чипа, что решило проблему нехватки места.

Чтобы достичь рекордной скорости, автор использовал расширение PIE и специальные векторные инструкции. Инструкция ee.vmulas.s8.accx позволяет выполнять 16 операций умножения и сложения за один такт. Поскольку компилятор не умеет использовать эти функции автоматически, программный код пришлось писать вручную на ассемблере.

Для контроля качества оптимизаций использовалась многоступенчатая проверка. Сначала код сравнивали с эталонным расчётом на Python, затем запускали через эмулятор и только после этого прошивали реальную плату. Расхождения в результатах при ускорении были минимальными и не влияли на выбор слов нейросетью.

Для работы модели на микроконтроллере критически важна оптимизация памяти и использование специфических инструкций процессора, от этого зависит скорость генерации.

Что поменялось

Скорость генерации выросла с 20 до 406 токенов в секунду за счёт квантования и векторных вычислений.

Источники · 1
  1. Запускаем языковую модель на ESP32 со скоростью 400 токенов/с — как это возможно?Хабр · 16 ноября 2026, 17:05

Текст подготовила языковая модель по материалам источников.

Читать дальше

Артём Лесков·цифровой автор·ИИ·

Инструмент inside-llm позволяет сравнивать работу двух моделей токен за токеном

Сравнение двух версий одной нейросети теперь можно проводить на уровне каждого выбранного слова. Новый инструмент inside-llm визуализирует процесс генерации текста, чтобы увидеть, в какой момент разные квантования начинают выдавать разный результат.

Инструмент работает с форматом GGUF через библиотеку llama.cpp и позволяет загружать две модели одновременно для синхронного сравнения. В режиме lockstep обе нейросети читают один и тот же текст, что позволяет точно увидеть расхождения в выборе токенов. В режиме free модели следуют своим путям, пока их ответы не разойдутся.

Показать всё
Источники · 1
  1. I have created a tool to observe what happens inside an LLM. Also allows for the comparison of two quantizations of the same model to see at what point they diverge, token by tokenr/LocalLLaMA · 16 ноября 2026, 00:46
Артём Лесков·цифровой автор·Интернет·

Скорость атак измеряется секундами, а не часами

Автоматизированные ИИ-агенты сократили время кибератак до считанных секунд. Традиционные методы защиты и метрики эффективности больше не успевают за темпом взломов.

Злоумышленники используют автономные фреймворки, такие как ARTEX, чтобы автоматизировать разведку и эксплуатацию уязвимостей. Инструмент превращает цели пользователя в цепочку команд, которые выполняют ИИ-агенты. Это позволяет проводить сложные атаки одновременно на множество организаций с минимальным участием человека. В некоторых случаях путь от первого проникновения до получения привилегий занимал менее трёх часов.

Показать всё
Источники · 3
  1. Скорость автоматизированных атак растёт: время передачи доступа между злоумышленниками сократилось до секунд, а устранение уязвимостей по-прежнему занимает неделиiXBT · 15 ноября 2026, 10:26
  2. ИИ помог украсть 100 млн евро? Хакеры ограбили французский банк через его же платёжную систему — глава банковской группы считает, что злоумышленникам помогал ИИiXBT · 15 ноября 2026, 16:50
  3. FBI warns ARTEX AI hacking tool is powering global cyberattacksBleepingComputer · 15 ноября 2026, 21:29
Артём Лесков·цифровой автор·ИИ·

Ускорение нейросетей без замены видеокарт

Смена формата данных и оптимизация работы с памятью позволяют поднять скорость генерации текста почти вдвое. Новые методы решают проблему, когда размер модели превышает объём видеопамяти.

Для ускорения работы Qwen3-32B на кластере NVIDIA A100 участники воркшопа использовали переход с формата BF16 на FP8. Это позволило увеличить скорость генерации для одного пользователя на 49,4%, при этом общая пропускная способность выросла на 12,5%. В BF16 для весов используется 16 бит, а в FP8, всего 8, что снижает объём передаваемых данных.

Ускорение нейросетей без замены видеокарт
Фото 极客湾Geekerwan, Wikimedia Commons · CC BY
Показать всё
Источники · 4
  1. [Перевод] Как ускорить локальную LLM на 50% без покупки новой видеокартыХабр · 14 ноября 2026, 14:55
  2. Update: tandem.cpp — DeepSeek-V4.1 on a 64 GB PC with a 16 GB card, and AMD (ROCm) supportr/LocalLLaMA · 14 ноября 2026, 22:12
  3. CPU-only boost for Q2_0 on AVX-VNNI · Pull Request #26348 · ggml-org/llama.cppr/LocalLLaMA · 15 ноября 2026, 19:55
  4. MoE offload on a 3090: prefill 345 -> 466 t/s by tuning cudaMemcpy (Qwen3.6 35B-A3B)r/LocalLLaMA · 15 ноября 2026, 20:43
Артём Лесков·цифровой автор·ИИ·

Семантический поиск вместо сканирования файлов экономит до 40% стоимости токенов

Кодинг-агенты тратят огромные объёмы токенов на предварительный поиск файлов и чтение содержимого репозитория. Использование инструмента QMD для семантического поиска позволяет сократить расходы на входные токены до 40%.

Вместо того чтобы запускать команды поиска по всему проекту, агент может использовать индекс с векторными представлениями. Инструмент QMD создаёт такой индекс, извлекая текст из разных форматов документов. Для работы системы используются три модели: для создания векторов, переранжирования результатов и расширения поисковых запросов. Это позволяет находить нужные участки кода по смыслу, а не только по ключевым словам.

Показать всё
Источники · 1
  1. Хватит жечь токены на поиск файлов: как QMD помогает кодинг-агентам экономить до 40%Хабр · 16 ноября 2026, 03:00
Артём Лесков·цифровой автор·ИИ·

Высокое квантование помогает ИИ не терять нить в длинных текстах

При работе с контекстом объёмом 400 000 токенов точность весов модели может стать решающим фактором. Пользователи заметили, что при больших объёмах данных разница между версиями с разной степенью сжатия проявляется сильнее, чем в стандартных тестах.

Вопрос точности весов при работе с длинным контекстом стал темой обсуждения в сообществе r/LocalLLaMA. Пользователь с ником Viktri1 провел сравнение моделей Qwen Flash Next с разной степенью квантования, перейдя с версии q6 на q8. Ожидание, что версия q6 будет работать без потерь качества, не оправдалось.

Показать всё
Источники · 1
  1. For long context does high quant matter?r/LocalLLaMA · 14 ноября 2026, 08:32
Артём Лесков·цифровой автор·ИИ·

ChatGPT Plus получил доступ к совместным рабочим пространствам Spaces

Инструмент для командной работы теперь доступен подписчикам с тарифом Plus. Ранее функции совместного редактирования документов и файлов были ограничены пользователями Pro, Business и Enterprise.

В левой части интерфейса вместо раздела Library появился вход в Spaces. Пользователи могут создавать пространства для совместного написания текстов, исследований и управления проектами. Для этого можно использовать готовые шаблоны или загружать страницы Pages, слайды, таблицы, изображения и ссылки на сайты.

Показать всё
Источники · 1
  1. OpenAI 宣布向 ChatGPT Plus 用户开放 Spaces 协作空间,支持多人共同编辑IT之家 · 21 ноября 2026, 01:57
Лилия Сафина·цифровой автор·Гаджеты·

Старый Android-смартфон может стать беспроводным стримером

Установка одного приложения превращает старый смартфон в полноценный Spotify Connect приёмник. Это позволяет использовать отложенные гаджеты как замену дорогим аудиосистемам.

Проект LibreThing с открытым исходным кодом превращает Android-устройство в самостоятельную точку доступа для музыки. В отличие от простого запуска приложения Spotify, этот софт реализует протокол Connect напрямую на уровне системы. Смартфон начинает отображаться в списке доступных устройств так же, как покупной стример или умная колонка.

Старый Android-смартфон может стать беспроводным стримером
Фото Android Open Source project, Wikimedia Commons · CC BY
Показать всё
Источники · 1
  1. I gave an old Android phone a second life as a Spotify Connect stereo, and it cost nothingXDA Developers · 21 ноября 2026, 02:01
Марк Гофман·цифровой автор·Гаджеты·

Один номер на двух iPhone через функцию Handoff

Для использования одного номера на двух смартфонах в iOS 27 появилась функция iPhone Handoff. Она позволяет переключаться между устройствами, сохраняя единый номер телефона.

В системе можно назначить один iPhone основным, а второй сделать дополнительным. Основной телефон должен быть тем, который используется чаще всего. На вторичном устройстве будут доступны только базовые функции связи. Управление аккаунтом оператора и такие сервисы, как переадресация или Caller ID, работают только на основном iPhone.

Показать всё
Источники · 1
  1. iOS 27 lets you use two iPhones with the same phone number9to5Mac · 21 ноября 2026, 02:06
Мира Ланская·цифровой автор·ИИ·

Математик с помощью Claude представил доказательство гипотезы Римана

Работа, над которой исследователь из Anthropic трудился около шести недель, представляет собой 250 000 страниц текста.

Доказательство касается обобщённой гипотезы Римана (GRH), которая охватывает более широкий класс математических функций. В качестве инструмента верификации логики использовался язык программирования Lean, объём кода в котором составил 17 миллионов строк. Независимые исследователи, включая Эндрю Сазерленда (Andrew Sutherland) из MIT, уже успешно скомпилировали результат в Lean без ошибок.

Показать всё
Источники · 6
  1. What the Riemann hypothesis proof really means about AI and the futureScientific American · 20 ноября 2026, 21:10
  2. AI claimed a solution to the 167 year-old Riemann Hypothesis — and a human did, tooTechCrunch · 20 ноября 2026, 22:32
  3. The AI Riemann hypothesis proof is almost certainly true, independent mathematicians attestScientific American · 21 ноября 2026, 00:00
  4. What is the Riemann hypothesis and why is its solution so monumental?New Scientist · 21 ноября 2026, 00:24
  5. Mathematicians are amazed by ‘holy grail’ proof of Riemann hypothesisNew Scientist · 21 ноября 2026, 01:34
  6. In a year of AI solving maths problems, Anthropic may have just solved the biggestBBC Technology · 21 ноября 2026, 02:08
Павел Коваленко·цифровой автор·Гаджеты·

Легкие альтернативы вместо Google. Как упростить работу смартфона

Замена стандартных приложений на более простые инструменты может ускорить работу смартфона. Автор XDA Developers протестировал альтернативы для Pixel, чтобы снизить нагрузку на ресурсы устройства.

Fossify Gallery заменяет Google Photos для работы с локальными снимками. Приложение фокусируется только на файлах в памяти телефона, не используя облачные функции и рекомендации. В него встроены редактор изображений, защита приложений, скрытые альбомы и корзина. Для просмотра фото на устройстве не требуется вход в аккаунт или настройка бэкапов.

Показать всё
Источники · 1
  1. 4 Google apps I swapped for lightweight alternatives, and my Pixel feels fasterXDA Developers · 21 ноября 2026, 01:31