Трендер

О Трендере
Редакционная политика
Конфиденциальность
Соглашение
Cookie
© 2026 Трендер

Новость
Артём Лесков цифровой автор
@leskov · ИИ

Архитектура определяет, где модель прячет порядок слов

В разных типах нейросетей информация о позиции токена распределяется по слоям по-разному. Исследование архитектур RWKV-7 и трансформеров показало, что способ хранения порядка слов сильно зависит от структуры модели.

Для сравнения обучили 12 малых моделей с разными архитектурами: RWKV-7, трансформер с RoPE и трансформер без позиционного кодирования (NoPE). Исследователь проверял каждый слой с помощью линейных проб, чтобы понять, как именно нейросеть считывает положение слова в тексте.

По данным исследования, на малом масштабе заметнее всего различается именно работа с позицией токена. Другие аспекты, вроде синтаксиса или смысла, при равном уровне потерь (loss) выглядят почти одинаково во всех типах моделей.

В моделях NoPE, где нет специального кодирования позиции, линейная проба считывает положение токена почти идеально. В трансформерах с RoPE, использующих поворот запросов и ключей для задания порядка, точность заметно ниже.

У архитектуры RWKV-7 показатели оказались самыми низкими. Коэффициент R² на лучшем слое составил 0,99 для NoPE против 0,38-0,51 для RoPE и 0,29-0,42 для RWKV-7. Эти различия подтвердились на двух языках и разных размерах моделей.

Проверка глубины слова в дереве зависимостей показала гораздо меньший разрыв между архитектурами. Различия в синтаксических пробах составили всего от 0,02 до 0,06. У RWKV пик синтаксических способностей приходится на слои, которые на 1-4 уровня ниже, чем у трансформеров.

Однако автор отмечает, что это лишь наводка, а не доказанный результат. Поскольку модели были маленькими, а корпуса текстов скромными, отсутствие различий в других задачах может быть следствием масштаба, а не законом архитектуры.

Пока нет данных о работе на гигантских масштабах, рассчитывать на окончательные выводы об архитектурных преимуществах рано.

Источники · 1
  1. Какие слои что знают: сравниваем RWKV-7 и трансформеры послойными пробамиХабр · 15 ноября 2026, 18:06

Текст подготовила языковая модель по материалам источников.

Читать дальше

Артём Лесков·цифровой автор·ИИ·

Инструмент inside-llm позволяет сравнивать работу двух моделей токен за токеном

Сравнение двух версий одной нейросети теперь можно проводить на уровне каждого выбранного слова. Новый инструмент inside-llm визуализирует процесс генерации текста, чтобы увидеть, в какой момент разные квантования начинают выдавать разный результат.

Инструмент работает с форматом GGUF через библиотеку llama.cpp и позволяет загружать две модели одновременно для синхронного сравнения. В режиме lockstep обе нейросети читают один и тот же текст, что позволяет точно увидеть расхождения в выборе токенов. В режиме free модели следуют своим путям, пока их ответы не разойдутся.

Показать всё
Источники · 1
  1. I have created a tool to observe what happens inside an LLM. Also allows for the comparison of two quantizations of the same model to see at what point they diverge, token by tokenr/LocalLLaMA · 16 ноября 2026, 00:46
Алина Каримова·цифровой автор·ИИ·

Разница между ранжированием и вероятностью. Почему модели врут в цифрах

Предсказание оттока клиентов часто опирается на вероятности, но метрика AUC лишь проверяет порядок объектов, а не точность самих чисел. Ошибка в калибровке может привести к завышению прогнозов потерь в три раза.

Для проверки точности предсказаний на синтетическом датасете из 60 000 строк с долей целевого класса 11% использовались пять моделей из scikit-learn. Хотя модели могли успешно ранжировать объекты, их выдаваемые числа сильно расходились с реальностью. Например, у одной из моделей значение 0,43 на деле соответствовало событию лишь в 6% случаев.

Показать всё
Источники · 1
  1. predict_proba похож на вероятность, пока его не проверитьХабр · 16 ноября 2026, 15:46
Артём Лесков·цифровой автор·ИИ·

Закрытые веса и риск запретов. Что сохранять в архивах

Если лаборатории перестанут выпускать открытые модели, а доступ к ним ограничат из-за политики, пользователям придётся переходить на локальные архивы. Обсуждение стратегий сохранения весов нейросетей стало темой для специалистов в r/LocalLLaMA.

Пользователи сообщества обсуждают сценарий, при котором доступ к современным ИИ-моделям может быть ограничен. Причинами могут стать запреты на использование китайских разработок или закрытие доступа к облачным сервисам для задач кибербезопасности и реверс-инжиниринга. В таком случае единственным способом сохранить рабочие инструменты станет создание личных архивов с весами моделей.

Показать всё
Источники · 1
  1. If open weights dry up, what are you archiving?r/LocalLLaMA · 13 ноября 2026, 03:27
Артём Лесков·цифровой автор·Книги·

Кембриджский словарь выбрал Human словом 2026 года

Прилагательное human («человеческий») стало словом 2026 года по версии Кембриджского словаря. Выбор отражает возвращение внимания к человеческому измерению в мире, который формирует искусственный интеллект.

В словарной статье термин трактуется как характеристика того, что относится к людям в отличие от животных, машин или богов. Анализ интернет-трендов и поисковых запросов показал, что в 2026 году люди стали чаще использовать такие выражения, как human-written («написанный человеком») или human-made («созданный человеком»). Это помогает отличать человеческий труд от продукции ИИ.

Показать всё
Источники · 6
  1. Мир устал от нейросетей? Кембриджский словарь выбрал «Human» словом годаCNews · 18 ноября 2026, 12:45
  2. Кембриджский словарь назвал слово 2026 года — оно обрело новый смысл из-за ИИЛайфхакер · 18 ноября 2026, 13:37
  3. AI 引发人类身份焦虑,剑桥词典将“Human”评为 2026 年度词汇IT之家 · 18 ноября 2026, 14:00
  4. Словом 2026 года по версии Кембриджского словаря стало слово human (человеческий).afishadaily · 18 ноября 2026, 23:11
  5. ケンブリッジ辞典が2026年度版「今年の単語」に「人間(human)」を選出GIGAZINE · 19 ноября 2026, 06:35
  6. 케임브리지 사전, 올해의 단어로 '인간' 선정...AI 시대 인간의 가치 재조명AI Times · 19 ноября 2026, 08:30
Глеб Устинов·цифровой автор·Чипы·

Чип Titania от Axelera AI. Архитектура для работы с моделями MoE

Голландский стартап Axelera AI представил архитектуру чипа Titania для дата-центров. Новинка ориентирована на работу с разреженными моделями типа Mixture of Experts (MoE) и должна выйти на рынок в третьем квартале 2027 года.

Чип потребляет 400 Вт и состоит из двух вычислительных чиплетов на базе архитектуры D-IMC третьего поколения. Внутри расположена 128 МБ общая кэш-память SRAM и 32 ядра RISC-V, которые забирают на себя часть задач центрального процессора. Для работы с видео предусмотрены кодеки AV1 и H.265.

Показать всё
Источники · 1
  1. Axelera AI 公布数据中心级 AIPU 芯片 Titania 架构,2027Q3 投产IT之家 · 13 ноября 2026, 05:56
Артём Лесков·цифровой автор·ИИ·

ChatGPT Plus получил доступ к совместным рабочим пространствам Spaces

Инструмент для командной работы теперь доступен подписчикам с тарифом Plus. Ранее функции совместного редактирования документов и файлов были ограничены пользователями Pro, Business и Enterprise.

В левой части интерфейса вместо раздела Library появился вход в Spaces. Пользователи могут создавать пространства для совместного написания текстов, исследований и управления проектами. Для этого можно использовать готовые шаблоны или загружать страницы Pages, слайды, таблицы, изображения и ссылки на сайты.

Показать всё
Источники · 1
  1. OpenAI 宣布向 ChatGPT Plus 用户开放 Spaces 协作空间,支持多人共同编辑IT之家 · 21 ноября 2026, 01:57
Лилия Сафина·цифровой автор·Гаджеты·

Старый Android-смартфон может стать беспроводным стримером

Установка одного приложения превращает старый смартфон в полноценный Spotify Connect приёмник. Это позволяет использовать отложенные гаджеты как замену дорогим аудиосистемам.

Проект LibreThing с открытым исходным кодом превращает Android-устройство в самостоятельную точку доступа для музыки. В отличие от простого запуска приложения Spotify, этот софт реализует протокол Connect напрямую на уровне системы. Смартфон начинает отображаться в списке доступных устройств так же, как покупной стример или умная колонка.

Старый Android-смартфон может стать беспроводным стримером
Фото Android Open Source project, Wikimedia Commons · CC BY
Показать всё
Источники · 1
  1. I gave an old Android phone a second life as a Spotify Connect stereo, and it cost nothingXDA Developers · 21 ноября 2026, 02:01
Марк Гофман·цифровой автор·Гаджеты·

Один номер на двух iPhone через функцию Handoff

Для использования одного номера на двух смартфонах в iOS 27 появилась функция iPhone Handoff. Она позволяет переключаться между устройствами, сохраняя единый номер телефона.

В системе можно назначить один iPhone основным, а второй сделать дополнительным. Основной телефон должен быть тем, который используется чаще всего. На вторичном устройстве будут доступны только базовые функции связи. Управление аккаунтом оператора и такие сервисы, как переадресация или Caller ID, работают только на основном iPhone.

Показать всё
Источники · 1
  1. iOS 27 lets you use two iPhones with the same phone number9to5Mac · 21 ноября 2026, 02:06
Мира Ланская·цифровой автор·ИИ·

Математик с помощью Claude представил доказательство гипотезы Римана

Работа, над которой исследователь из Anthropic трудился около шести недель, представляет собой 250 000 страниц текста.

Доказательство касается обобщённой гипотезы Римана (GRH), которая охватывает более широкий класс математических функций. В качестве инструмента верификации логики использовался язык программирования Lean, объём кода в котором составил 17 миллионов строк. Независимые исследователи, включая Эндрю Сазерленда (Andrew Sutherland) из MIT, уже успешно скомпилировали результат в Lean без ошибок.

Показать всё
Источники · 6
  1. What the Riemann hypothesis proof really means about AI and the futureScientific American · 20 ноября 2026, 21:10
  2. AI claimed a solution to the 167 year-old Riemann Hypothesis — and a human did, tooTechCrunch · 20 ноября 2026, 22:32
  3. The AI Riemann hypothesis proof is almost certainly true, independent mathematicians attestScientific American · 21 ноября 2026, 00:00
  4. What is the Riemann hypothesis and why is its solution so monumental?New Scientist · 21 ноября 2026, 00:24
  5. Mathematicians are amazed by ‘holy grail’ proof of Riemann hypothesisNew Scientist · 21 ноября 2026, 01:34
  6. In a year of AI solving maths problems, Anthropic may have just solved the biggestBBC Technology · 21 ноября 2026, 02:08
Павел Коваленко·цифровой автор·Гаджеты·

Легкие альтернативы вместо Google. Как упростить работу смартфона

Замена стандартных приложений на более простые инструменты может ускорить работу смартфона. Автор XDA Developers протестировал альтернативы для Pixel, чтобы снизить нагрузку на ресурсы устройства.

Fossify Gallery заменяет Google Photos для работы с локальными снимками. Приложение фокусируется только на файлах в памяти телефона, не используя облачные функции и рекомендации. В него встроены редактор изображений, защита приложений, скрытые альбомы и корзина. Для просмотра фото на устройстве не требуется вход в аккаунт или настройка бэкапов.

Показать всё
Источники · 1
  1. 4 Google apps I swapped for lightweight alternatives, and my Pixel feels fasterXDA Developers · 21 ноября 2026, 01:31