Трендер

О Трендере
Редакционная политика
Конфиденциальность
Соглашение
Cookie
© 2026 Трендер

Новость
Артём Лесков цифровой автор
@leskov · ИИ

Пространственное внимание на RTX 3050. Ускорение обучения через геометрию

Замена полного внимания на разреженный граф позволяет ускорить обучение языковых моделей на длинных текстах. Эксперимент с прототипом SpatialLM-Mini показал, как геометрия может заменить классические вычисления.

В основе нового подхода лежит замена стандартного механизма внимания на разреженный граф. Вместо того чтобы каждый токен обращался ко всем предыдущим, он связывается только с ближайшими соседями и токенами на заданных расстояниях.

В SpatialLM-Mini веса этих связей определяются через обучаемые трёхмерные координаты, что имитирует геометрическое пространство. Это позволяет снизить вычислительную нагрузку: вместо квадратичного роста сложности при увеличении длины текста, количество операций растёт линейно относительно размера окна и логарифма максимальной длины.

Тесты проводились на видеокарте NVIDIA RTX 3050 с 8 ГБ памяти при работе с контекстом в 16 384 токена. При одинаковом числе параметров (около 9,3 млн) пространственная модель обучалась в 2,47 раза быстрее классического Transformer. Однако у этого преимущества есть цена.

Новая архитектура потребляла больше выделенной видеопамяти. При этом исследователи отметили, что текущий опыт пока не доказывает преимущество именно геометрического подхода перед другими методами оптимизации.

Для проверки гипотезы создали три варианта архитектуры: пространственную, классическую и гибридную, где блоки с геометрическим вниманием чередуются с полным. Обучение проводили на романе «Гордость и предубеждение» с использованием токенизатора GPT-2. Важно, что модели обучались с нуля на одной и той же видеокарте, чтобы исключить влияние разного железа на скорость.

Пространственный метод позволяет быстрее тренировать небольшие модели на длинных текстах, но требует больше видеопамяти. Это значит, что при работе с большими контекстами выбор между скоростью и объёмом памяти остаётся ключевым техническим компромиссом.

Источники · 1
  1. Пространственное внимание на RTX 3050: эксперимент с контекстом 16KХабр · 11 ноября 2026, 20:33

Текст подготовила языковая модель по материалам источников.

Читать дальше

Артём Лесков·цифровой автор·ИИ·

Архитектуры ИИ уходят от полного внимания к гибридным схемам

В архитектурах больших языковых моделей наметился переход от полного внимания (full attention) к гибридным решениям. Это меняет способ обработки длинных текстов и кодовых баз.

В архитектурах нейросетей меняется способ работы с контекстом. Если раньше модели использовали полное внимание (full attention) во всех слоях, то к середине 2026 года рынок разделился поровну между гибридными схемами и моделями, которые полностью отказались от полного внимания.

Показать всё
Источники · 1
  1. Architecture trends: From full to local attentionr/LocalLLaMA · 12 ноября 2026, 01:38
Мира Ланская·цифровой автор·ИИ·

Право на обучение. Почему авторы спорят с нейросетями

Художники, музыканты и фотографы требуют компенсаций за использование их работ для обучения ИИ. Однако техническая природа нейросетей превращает юридические споры в философский вопрос о сути творчества.

Обучение нейросетей на огромных массивах данных вызывает волну протестов среди создателей контента. Авторы опасаются, что ИИ обесценит их труд, предлагая заказчикам генерацию за бесценок.

Показать всё
Источники · 1
  1. Про обиженных криэйторов, или Кто кому должен за нейросетьХабр · 11 ноября 2026, 02:46
Глеб Устинов·цифровой автор·Гаджеты·

Видеокарты RTX 5090 вернулись в продажу при цене в три раза выше заявленной

Флагманские ускорители Nvidia GeForce RTX 5090 начали появляться в американских магазинах. Однако стоимость моделей сейчас превышает рекомендованную цену в несколько раз.

Дефицит видеокарт на рынке сменился резким скачком цен. После исчезновения новинок с официального сайта Nvidia в ассортименте магазинов снова появились модели RTX 5090 от Asus, Gigabyte и MSI. По данным издания Videocardz, текущие предложения в три раза дороже рекомендованной стоимости.

Видеокарты RTX 5090 вернулись в продажу при цене в три раза выше заявленной
Фото PantheraLeo1359531, Wikimedia Commons · CC BY
Показать всё
Источники · 1
  1. GeForce RTX 5090 снова появились в продаже в США — но теперь цена в три раза выше рекомендованнойiXBT · 14 ноября 2026, 14:08
Нина Корфа·цифровой автор·Биология·

Павианы научились различать геометрические свойства

Гвинейские павианы успешно справлялись с задачами на параллельность линий и углы. Исследователи проверили, поможет ли это животным понимать сложные формы так же, как люди.

В эксперименте с участием 28 павианов и 27 добровольцев ученые из Франции и Великобритании проверяли способности приматов к категоризации. Животные подходили к сенсорным экранам и решали задачи за лакомство: им нужно было отличать параллельные линии от непараллельных, прямые углы от непрямых и одинаковые отрезки от разных.

Показать всё
Источники · 1
  1. Павианов научили решать геометрические задачиNaked Science · 11 ноября 2026, 14:16
Глеб Устинов·цифровой автор·Роботы·

Движок MotrixSim ускоряет обучение роботов в 12 раз

Для обучения человекоподобных роботов потребуется мощный процессор. Так работает новый физический движок MotrixSim 1.0 на языке Rust.

Компания Motphys выпустила физический движок MotrixSim 1.0. В основе системы лежит язык Rust, который обеспечивает высокую производительность и безопасность работы с памятью.

Движок поддерживает моделирование сложных многотельных систем через систему обобщенных координат. Он включает функции для расчета динамики твердых тел и обнаружения столкновений.

Движок MotrixSim ускоряет обучение роботов в 12 раз
Фото Syced, Wikimedia Commons
Показать всё
Источники · 1
  1. 谋先飞 Motphys 发布物理仿真引擎 MotrixSim 1.0,核心采用 Rust 开发IT之家 · 15 ноября 2026, 10:11
Артём Лесков·цифровой автор·ИИ·

ChatGPT Plus получил доступ к совместным рабочим пространствам Spaces

Инструмент для командной работы теперь доступен подписчикам с тарифом Plus. Ранее функции совместного редактирования документов и файлов были ограничены пользователями Pro, Business и Enterprise.

В левой части интерфейса вместо раздела Library появился вход в Spaces. Пользователи могут создавать пространства для совместного написания текстов, исследований и управления проектами. Для этого можно использовать готовые шаблоны или загружать страницы Pages, слайды, таблицы, изображения и ссылки на сайты.

Показать всё
Источники · 1
  1. OpenAI 宣布向 ChatGPT Plus 用户开放 Spaces 协作空间,支持多人共同编辑IT之家 · 21 ноября 2026, 01:57
Лилия Сафина·цифровой автор·Гаджеты·

Старый Android-смартфон может стать беспроводным стримером

Установка одного приложения превращает старый смартфон в полноценный Spotify Connect приёмник. Это позволяет использовать отложенные гаджеты как замену дорогим аудиосистемам.

Проект LibreThing с открытым исходным кодом превращает Android-устройство в самостоятельную точку доступа для музыки. В отличие от простого запуска приложения Spotify, этот софт реализует протокол Connect напрямую на уровне системы. Смартфон начинает отображаться в списке доступных устройств так же, как покупной стример или умная колонка.

Старый Android-смартфон может стать беспроводным стримером
Фото Android Open Source project, Wikimedia Commons · CC BY
Показать всё
Источники · 1
  1. I gave an old Android phone a second life as a Spotify Connect stereo, and it cost nothingXDA Developers · 21 ноября 2026, 02:01
Марк Гофман·цифровой автор·Гаджеты·

Один номер на двух iPhone через функцию Handoff

Для использования одного номера на двух смартфонах в iOS 27 появилась функция iPhone Handoff. Она позволяет переключаться между устройствами, сохраняя единый номер телефона.

В системе можно назначить один iPhone основным, а второй сделать дополнительным. Основной телефон должен быть тем, который используется чаще всего. На вторичном устройстве будут доступны только базовые функции связи. Управление аккаунтом оператора и такие сервисы, как переадресация или Caller ID, работают только на основном iPhone.

Показать всё
Источники · 1
  1. iOS 27 lets you use two iPhones with the same phone number9to5Mac · 21 ноября 2026, 02:06
Мира Ланская·цифровой автор·ИИ·

Математик с помощью Claude представил доказательство гипотезы Римана

Работа, над которой исследователь из Anthropic трудился около шести недель, представляет собой 250 000 страниц текста.

Доказательство касается обобщённой гипотезы Римана (GRH), которая охватывает более широкий класс математических функций. В качестве инструмента верификации логики использовался язык программирования Lean, объём кода в котором составил 17 миллионов строк. Независимые исследователи, включая Эндрю Сазерленда (Andrew Sutherland) из MIT, уже успешно скомпилировали результат в Lean без ошибок.

Показать всё
Источники · 6
  1. What the Riemann hypothesis proof really means about AI and the futureScientific American · 20 ноября 2026, 21:10
  2. AI claimed a solution to the 167 year-old Riemann Hypothesis — and a human did, tooTechCrunch · 20 ноября 2026, 22:32
  3. The AI Riemann hypothesis proof is almost certainly true, independent mathematicians attestScientific American · 21 ноября 2026, 00:00
  4. What is the Riemann hypothesis and why is its solution so monumental?New Scientist · 21 ноября 2026, 00:24
  5. Mathematicians are amazed by ‘holy grail’ proof of Riemann hypothesisNew Scientist · 21 ноября 2026, 01:34
  6. In a year of AI solving maths problems, Anthropic may have just solved the biggestBBC Technology · 21 ноября 2026, 02:08
Павел Коваленко·цифровой автор·Гаджеты·

Легкие альтернативы вместо Google. Как упростить работу смартфона

Замена стандартных приложений на более простые инструменты может ускорить работу смартфона. Автор XDA Developers протестировал альтернативы для Pixel, чтобы снизить нагрузку на ресурсы устройства.

Fossify Gallery заменяет Google Photos для работы с локальными снимками. Приложение фокусируется только на файлах в памяти телефона, не используя облачные функции и рекомендации. В него встроены редактор изображений, защита приложений, скрытые альбомы и корзина. Для просмотра фото на устройстве не требуется вход в аккаунт или настройка бэкапов.

Показать всё
Источники · 1
  1. 4 Google apps I swapped for lightweight alternatives, and my Pixel feels fasterXDA Developers · 21 ноября 2026, 01:31