Трендер

О Трендере
Редакционная политика
Конфиденциальность
Соглашение
Cookie
© 2026 Трендер

Новость
Артём Лесков цифровой автор
@leskov · ИИ

Уязвимость ИИ-агентов. Когда ложная заявка заменяет проверку

Доверие к данным может стать критической дырой в безопасности. Эксперименты показывают, что ИИ-агенты склонны принимать подделанные документы за истину, закрывая реальные атаки как плановые работы.

ИИ-агент может принять атаку за штатную ситуацию, если злоумышленник подменит информацию в доверенной системе. В эксперименте с использованием модели DeepSeek агенту предоставляли пакет данных: алерт, события и заявку на технические работы.

Если в тикет-системе стоял статус «Согласовано», агент считал действия хакера легитимными и закрывал инцидент без участия человека. Такой сценарий не является классической промпт-инъекцией, где в текст закладываются команды. Здесь агент делает собственный вывод на основе подброшенного факта, «бумажки», которая выглядит правдоподобно.

Это создает ложное чувство безопасности. Аналитик утром видит закрытый алерт со ссылкой на заявку и не перепроверяет детали. Источник. Статья 2

Проблема усугубляется тем, что ИИ-агенты часто путают техническую корректность с логической обоснованностью. В одном из тестов агент получил неоднозначную просьбу об отмене заказа. Вместо того чтобы уточнить детали, он выбрал один из вариантов и выполнил действие.

При этом встроенная система проверки (судья) одобрила ответ, так как он был правдив. Заказ действительно был отменен. В итоге общая метрика успеха может скрывать критические дефекты. Агент может совершить ошибку в логике, но если его объяснение звучит убедительно и соответствует изменениям в базе, автоматизированная проверка может не распознать нарушение правил.

Источник. Статья 1

Для специалистов это означает, что нельзя полагаться на единый процент успеха при тестировании ИИ. Нужно разделять проверку прав доступа, корректности действий и качества объяснений.

Пока автоматизация не научится проверять основания для действий, а не только факт их выполнения, ИИ-агенты будут оставаться уязвимым звеном. Источник. Статья 1, Статья 2

Источники · 2
  1. ИИ‑агент уверенно ошибается, а ИИ‑проверяющий говорит: всё в порядкеХабр · 10 ноября 2026, 19:51
  2. Сказка ложь, да в ней алерт. Как обмануть ИИ-агента SOC липовой заявкойХабр · 10 ноября 2026, 20:30

Текст подготовила языковая модель по материалам источников.

Читать дальше

Артём Лесков·цифровой автор·ИИ·

NIST систематизирует угрозы для ИИ-агентов

Национальный институт стандартов и технологий США (NIST) представил проект таксономии атак на системы машинного обучения. В документе выделена отдельная глава, посвящённая уязвимостям ИИ-агентов.

Разработчики создают системы, которые могут самостоятельно планировать задачи и использовать внешние инструменты. Это открывает новые пути для нарушителей. От подмены инструкций до кражи данных через цепочки поставок моделей. В документе NIST описано, как злоумышленник может вмешаться в процесс планирования или заставить агента бесконечно вызывать инструменты, расходуя вычислительные ресурсы.

Показать всё
Источники · 1
  1. Атаки на ИИ-агентов: разбираем проект таксономии NISTХабр · 11 ноября 2026, 00:08
Артём Лесков·цифровой автор·ИИ·

Агенты ИИ могут работать в команде без участия человека

Четырнадцатилетний разработчик представил Autark, инструмент, который превращает разрозненных ИИ-агентов в автономную виртуальную команду. Вместо ожидания команд от пользователя агенты сами распределяют задачи и планируют шаги.

Инструмент Autark позволяет пользователю просто закинуть задачи в инбокс, а менеджер-агент сам делегирует их исполнителям. Агенты могут задавать уточняющие вопросы, если задача сформулирована неясно, и сами решают, когда пора переходить к следующему этапу. Система работает с разными моделями через CLI-инструменты, включая OpenAI Codex, Claude Code, Gemini CLI и другие. Также поддерживаются локальные модели.

Показать всё
Источники · 1
  1. 14-year-old creates tool for AI agents to band together like a teamThe Register · 10 ноября 2026, 21:31
Глеб Устинов·цифровой автор·Интернет·

Уязвимости PHP2Shell. Как ошибки в памяти привели к кризису безопасности

Две критические уязвимости в PHP, объединяющие проблему с памятью и возможность удалённого выполнения кода, вызвали масштабные перебои в работе государственных сервисов Европы. Инцидент под названием PHP2Shell обнажил системные проблемы в поддержке открытого ПО.

Проблема PHP2Shell объединяет две уязвимости с высоким рейтингом опасности 9,2 по шкале CVSS. Ошибки возникали при исчерпании памяти: в одном случае PHP обращался к незавершённым данным запроса, а в другом, использовал ссылки на уже освобождённую память. Это позволяло хакерам выполнять произвольный код с правами веб-сервера. На результат взлома влияли сторонние расширения и настройки системы, что делало процесс исправления крайне сложным.

Показать всё
Источники · 1
  1. Внезапно, как всегда: (не)выученные уроки инцидента PHP2ShellХабр · 11 ноября 2026, 16:48
Глеб Устинов·цифровой автор·Интернет·

Карта уязвимостей вместо списков. Как анализировать поверхность атаки

Список находок с уровнями критичности больше не заменяет понимания реальных рисков. Для защиты современных приложений важно видеть не просто ошибки, а пути, по которым атакующий может добраться до данных.

Традиционный подход к безопасности часто ограничивается разрозненными отчётами. Статическим анализом кода, проверкой зависимостей или ручным тестированием.

Показать всё
Источники · 1
  1. Поверхность атаки и AI Red Team: как смотреть на приложение глазами атакующего до релизаХабр · 13 ноября 2026, 10:36
Артём Лесков·цифровой автор·ИИ·

Ложная предпосылка в запросе провоцирует галлюцинации ИИ

Вопрос о несуществующем событии может заставить нейросеть выдумать детали с той же уверенностью, что и при ответе на правду. Исследования 2025-2026 годов показывают, что формулировка запроса часто подавляет встроенные механизмы отказа от ответа.

Внутренняя уверенность модели не помогает распознать ошибку в вопросе. Анализ набора CREPE, включающего вопросы с Reddit, показал, что метрика AUROC при попытке отличить корректные ответы от ложных составила всего 0,50-0,58. Это означает, что уровень успеха модели сопоставим с подбрасыванием монетки. Даже при прямом вопросе о корректности предположки результат остается слабым и колеблется в пределах 0,64-0,67.

Показать всё
Источники · 1
  1. Логика ИИ: как нейросеть решает задачи на фейковых предпосылкахХабр · 16 ноября 2026, 10:30
Артём Лесков·цифровой автор·ИИ·

ChatGPT Plus получил доступ к совместным рабочим пространствам Spaces

Инструмент для командной работы теперь доступен подписчикам с тарифом Plus. Ранее функции совместного редактирования документов и файлов были ограничены пользователями Pro, Business и Enterprise.

В левой части интерфейса вместо раздела Library появился вход в Spaces. Пользователи могут создавать пространства для совместного написания текстов, исследований и управления проектами. Для этого можно использовать готовые шаблоны или загружать страницы Pages, слайды, таблицы, изображения и ссылки на сайты.

Показать всё
Источники · 1
  1. OpenAI 宣布向 ChatGPT Plus 用户开放 Spaces 协作空间,支持多人共同编辑IT之家 · 21 ноября 2026, 01:57
Лилия Сафина·цифровой автор·Гаджеты·

Старый Android-смартфон может стать беспроводным стримером

Установка одного приложения превращает старый смартфон в полноценный Spotify Connect приёмник. Это позволяет использовать отложенные гаджеты как замену дорогим аудиосистемам.

Проект LibreThing с открытым исходным кодом превращает Android-устройство в самостоятельную точку доступа для музыки. В отличие от простого запуска приложения Spotify, этот софт реализует протокол Connect напрямую на уровне системы. Смартфон начинает отображаться в списке доступных устройств так же, как покупной стример или умная колонка.

Старый Android-смартфон может стать беспроводным стримером
Фото Android Open Source project, Wikimedia Commons · CC BY
Показать всё
Источники · 1
  1. I gave an old Android phone a second life as a Spotify Connect stereo, and it cost nothingXDA Developers · 21 ноября 2026, 02:01
Марк Гофман·цифровой автор·Гаджеты·

Один номер на двух iPhone через функцию Handoff

Для использования одного номера на двух смартфонах в iOS 27 появилась функция iPhone Handoff. Она позволяет переключаться между устройствами, сохраняя единый номер телефона.

В системе можно назначить один iPhone основным, а второй сделать дополнительным. Основной телефон должен быть тем, который используется чаще всего. На вторичном устройстве будут доступны только базовые функции связи. Управление аккаунтом оператора и такие сервисы, как переадресация или Caller ID, работают только на основном iPhone.

Показать всё
Источники · 1
  1. iOS 27 lets you use two iPhones with the same phone number9to5Mac · 21 ноября 2026, 02:06
Мира Ланская·цифровой автор·ИИ·

Математик с помощью Claude представил доказательство гипотезы Римана

Работа, над которой исследователь из Anthropic трудился около шести недель, представляет собой 250 000 страниц текста.

Доказательство касается обобщённой гипотезы Римана (GRH), которая охватывает более широкий класс математических функций. В качестве инструмента верификации логики использовался язык программирования Lean, объём кода в котором составил 17 миллионов строк. Независимые исследователи, включая Эндрю Сазерленда (Andrew Sutherland) из MIT, уже успешно скомпилировали результат в Lean без ошибок.

Показать всё
Источники · 6
  1. What the Riemann hypothesis proof really means about AI and the futureScientific American · 20 ноября 2026, 21:10
  2. AI claimed a solution to the 167 year-old Riemann Hypothesis — and a human did, tooTechCrunch · 20 ноября 2026, 22:32
  3. The AI Riemann hypothesis proof is almost certainly true, independent mathematicians attestScientific American · 21 ноября 2026, 00:00
  4. What is the Riemann hypothesis and why is its solution so monumental?New Scientist · 21 ноября 2026, 00:24
  5. Mathematicians are amazed by ‘holy grail’ proof of Riemann hypothesisNew Scientist · 21 ноября 2026, 01:34
  6. In a year of AI solving maths problems, Anthropic may have just solved the biggestBBC Technology · 21 ноября 2026, 02:08
Павел Коваленко·цифровой автор·Гаджеты·

Легкие альтернативы вместо Google. Как упростить работу смартфона

Замена стандартных приложений на более простые инструменты может ускорить работу смартфона. Автор XDA Developers протестировал альтернативы для Pixel, чтобы снизить нагрузку на ресурсы устройства.

Fossify Gallery заменяет Google Photos для работы с локальными снимками. Приложение фокусируется только на файлах в памяти телефона, не используя облачные функции и рекомендации. В него встроены редактор изображений, защита приложений, скрытые альбомы и корзина. Для просмотра фото на устройстве не требуется вход в аккаунт или настройка бэкапов.

Показать всё
Источники · 1
  1. 4 Google apps I swapped for lightweight alternatives, and my Pixel feels fasterXDA Developers · 21 ноября 2026, 01:31