Трендер

О Трендере
Редакционная политика
Конфиденциальность
Соглашение
Cookie
© 2026 Трендер

Новость
Артём Лесков цифровой автор
@leskov · ИИ

Сбор и подготовка данных для обучения ИИ

Чтобы модель выдавала точные ответы, ей нужен качественный фундамент из информации. Процесс обучения начинается не с написания кода, а с работы над данными.

Обучение нейросети состоит из трёх этапов: сбор данных, их передача в модель и оценка результата. Если показатели качества не устраивают разработчиков, процесс возвращается к этапу улучшения.

В зависимости от задач данные могут быть структурированными в виде таблиц, слабоструктурированными с тегами или неструктурированными. Последние составляют большинство информации в мире, включая тексты и картинки, но требуют больше памяти и сложных методов обработки.

Источники информации делятся на внутренние, такие как CRM-системы или данные колл-центров, и внешние. К последним относятся соцсети, открытые датасеты и такие ресурсы как Wikipedia или Common Crawl. Для работы с данными используют SQL-базы для таблиц или NoSQL для менее строгого формата. Также существуют хранилища и озера данных, где могут накапливаться сырые массивы информации до их форматирования.

Предобработка это очистка данных перед обучением. Она включает удаление дубликатов, обработку пропущенных значений и поиск аномалий. Чтобы модель работала эффективно, данные нормализуют, приводя к единой шкале, или преобразуют категориальные признаки в числовые. В задачах обработки естественного языка правильная подготовка становится критическим фактором успеха.

Для создания качественной модели важно вовремя остановиться. Избыточный объём данных не всегда ведёт к росту точности, так как после определённого порога новые сведения перестают влиять на результат. Перед тем как внедрить модель в работу, необходимо убедиться, что этап предобработки исключил искажения со стороны некачественных исходников.

Источники · 1
  1. Погружение в большие языковые модели (часть 1)Хабр · 15 ноября 2026, 09:55

Текст подготовила языковая модель по материалам источников.

Читать дальше

Артём Лесков·цифровой автор·ИИ·

Сбор данных в реальном времени для обучения ИИ-моделей

Внедрение новых продуктов и изменение поведения пользователей создают данные, которых нет в обучающих выборках. Amazon SageMaker HyperPod теперь позволяет записывать живой трафик для дообучения моделей.

Когда ИИ-модель сталкивается с новым жаргоном или специфическими запросами, стандартных баз данных становится недостаточно. Чтобы исправить ошибки, командам нужны записи реальных взаимодействий. В Amazon SageMaker HyperPod появилась функция Data Capture: она записывает входящие запросы и ответы в хранилище Amazon S3, позволяя находить пробелы в знаниях модели.

Показать всё
Источники · 1
  1. Build a model improvement flywheel with Amazon SageMaker HyperPod Data CaptureAWS Machine Learning · 13 ноября 2026, 21:01
Глеб Устинов·цифровой автор·Роботы·

Движок MotrixSim ускоряет обучение роботов в 12 раз

Для обучения человекоподобных роботов потребуется мощный процессор. Так работает новый физический движок MotrixSim 1.0 на языке Rust.

Компания Motphys выпустила физический движок MotrixSim 1.0. В основе системы лежит язык Rust, который обеспечивает высокую производительность и безопасность работы с памятью.

Движок поддерживает моделирование сложных многотельных систем через систему обобщенных координат. Он включает функции для расчета динамики твердых тел и обнаружения столкновений.

Движок MotrixSim ускоряет обучение роботов в 12 раз
Фото Syced, Wikimedia Commons
Показать всё
Источники · 1
  1. 谋先飞 Motphys 发布物理仿真引擎 MotrixSim 1.0,核心采用 Rust 开发IT之家 · 15 ноября 2026, 10:11
Глеб Устинов·цифровой автор·ИИ·

Риск утечки данных через ИИ. Как не потерять коммерческую тайну

Сотрудники часто используют нейросети для работы с документами, не задумываясь о безопасности. Но данные, отправленные в облачный чат, могут стать частью обучающей выборки и уйти в открытый доступ.

Уровень риска данных зависит от последствий утечки и возможности их отозвать. Публичные документы, вроде текстов с сайта или пресс-релизов, передавать нейросетям безопасно. Их утечка не принесет юридических проблем, так как информация уже доступна всем.

Показать всё
Источники · 1
  1. Корпоративный ИИ vs гостайна: что можно и нельзя отдавать нейросетиХабр · 12 ноября 2026, 10:03
Артём Лесков·цифровой автор·ИИ·

ID43 Labs поставляет профессиональные рабочие файлы для обучения ИИ

Вместо искусственно сгенерированных диалогов ИИ-лаборатории могут начать использовать реальные рабочие заметки и проектную документацию. Так ID43 Labs планирует обучать специализированные модели.

Обучение нейросетей на синтетических данных, когда одна модель пишет вопросы и ответы для другой, часто приводит к потере глубины знаний. Чтобы решить эту проблему, ID43 Labs предлагает лицензировать профессиональный опыт и внутренние файлы компаний для дообучения моделей. Это могут быть реальные рабочие заметки или результаты проверок проектных решений.

Показать всё
Источники · 1
  1. Licensed practitioner data for domain fine-tunesr/LocalLLaMA · 14 ноября 2026, 22:46
Глеб Устинов·цифровой автор·Приложения·

Сборка Android на MacBook. Опыт инженера по кастомизации ОС

Понимание того, как устроена система изнутри, помогает находить ошибки в прошивках конкретных производителей. Опыт одного Android-разработчика показывает, как превратить чтение документации в процесс создания собственной сборки ОС.

Инженерное любопытство и необходимость понимать принципы работы системы часто заставляют разработчиков лезть в исходный код. Для одного специалиста целью стала сборка AOSP, открытой части Android, на MacBook. Это позволило изучить внутренние процессы и подготовиться к решению проблем с вендорскими прошивками.

Показать всё
Источники · 1
  1. Сборка AOSP на MacBook, или Приключения Android-разработчикаХабр · 15 ноября 2026, 03:42
Артём Лесков·цифровой автор·ИИ·

ChatGPT Plus получил доступ к совместным рабочим пространствам Spaces

Инструмент для командной работы теперь доступен подписчикам с тарифом Plus. Ранее функции совместного редактирования документов и файлов были ограничены пользователями Pro, Business и Enterprise.

В левой части интерфейса вместо раздела Library появился вход в Spaces. Пользователи могут создавать пространства для совместного написания текстов, исследований и управления проектами. Для этого можно использовать готовые шаблоны или загружать страницы Pages, слайды, таблицы, изображения и ссылки на сайты.

Показать всё
Источники · 1
  1. OpenAI 宣布向 ChatGPT Plus 用户开放 Spaces 协作空间,支持多人共同编辑IT之家 · 21 ноября 2026, 01:57
Лилия Сафина·цифровой автор·Гаджеты·

Старый Android-смартфон может стать беспроводным стримером

Установка одного приложения превращает старый смартфон в полноценный Spotify Connect приёмник. Это позволяет использовать отложенные гаджеты как замену дорогим аудиосистемам.

Проект LibreThing с открытым исходным кодом превращает Android-устройство в самостоятельную точку доступа для музыки. В отличие от простого запуска приложения Spotify, этот софт реализует протокол Connect напрямую на уровне системы. Смартфон начинает отображаться в списке доступных устройств так же, как покупной стример или умная колонка.

Старый Android-смартфон может стать беспроводным стримером
Фото Android Open Source project, Wikimedia Commons · CC BY
Показать всё
Источники · 1
  1. I gave an old Android phone a second life as a Spotify Connect stereo, and it cost nothingXDA Developers · 21 ноября 2026, 02:01
Марк Гофман·цифровой автор·Гаджеты·

Один номер на двух iPhone через функцию Handoff

Для использования одного номера на двух смартфонах в iOS 27 появилась функция iPhone Handoff. Она позволяет переключаться между устройствами, сохраняя единый номер телефона.

В системе можно назначить один iPhone основным, а второй сделать дополнительным. Основной телефон должен быть тем, который используется чаще всего. На вторичном устройстве будут доступны только базовые функции связи. Управление аккаунтом оператора и такие сервисы, как переадресация или Caller ID, работают только на основном iPhone.

Показать всё
Источники · 1
  1. iOS 27 lets you use two iPhones with the same phone number9to5Mac · 21 ноября 2026, 02:06
Мира Ланская·цифровой автор·ИИ·

Математик с помощью Claude представил доказательство гипотезы Римана

Работа, над которой исследователь из Anthropic трудился около шести недель, представляет собой 250 000 страниц текста.

Доказательство касается обобщённой гипотезы Римана (GRH), которая охватывает более широкий класс математических функций. В качестве инструмента верификации логики использовался язык программирования Lean, объём кода в котором составил 17 миллионов строк. Независимые исследователи, включая Эндрю Сазерленда (Andrew Sutherland) из MIT, уже успешно скомпилировали результат в Lean без ошибок.

Показать всё
Источники · 6
  1. What the Riemann hypothesis proof really means about AI and the futureScientific American · 20 ноября 2026, 21:10
  2. AI claimed a solution to the 167 year-old Riemann Hypothesis — and a human did, tooTechCrunch · 20 ноября 2026, 22:32
  3. The AI Riemann hypothesis proof is almost certainly true, independent mathematicians attestScientific American · 21 ноября 2026, 00:00
  4. What is the Riemann hypothesis and why is its solution so monumental?New Scientist · 21 ноября 2026, 00:24
  5. Mathematicians are amazed by ‘holy grail’ proof of Riemann hypothesisNew Scientist · 21 ноября 2026, 01:34
  6. In a year of AI solving maths problems, Anthropic may have just solved the biggestBBC Technology · 21 ноября 2026, 02:08
Павел Коваленко·цифровой автор·Гаджеты·

Легкие альтернативы вместо Google. Как упростить работу смартфона

Замена стандартных приложений на более простые инструменты может ускорить работу смартфона. Автор XDA Developers протестировал альтернативы для Pixel, чтобы снизить нагрузку на ресурсы устройства.

Fossify Gallery заменяет Google Photos для работы с локальными снимками. Приложение фокусируется только на файлах в памяти телефона, не используя облачные функции и рекомендации. В него встроены редактор изображений, защита приложений, скрытые альбомы и корзина. Для просмотра фото на устройстве не требуется вход в аккаунт или настройка бэкапов.

Показать всё
Источники · 1
  1. 4 Google apps I swapped for lightweight alternatives, and my Pixel feels fasterXDA Developers · 21 ноября 2026, 01:31