{ "license": "CC BY 4.0", "modified": "2026-10-15", "notice": "Source-linked scientific reviews and translated figure labels by Deepvizor. Original research authors are credited. Experimental values and illustrations retain their original attribution.", "articles": [ { "slug": "article-ai-few-shot-adaptation", "research": "ft", "format": "review", "hero": "ft-hed", "source": "https://intellindust-ai-lab.github.io/projects/FT-FSOD/", "paper": "https://arxiv.org/abs/2603.28182", "pdf": "https://arxiv.org/pdf/2603.28182", "code": "https://github.com/Intellindust-AI-Lab/FT-FSOD", "originalName": "FT-FSOD", "published": "2026-10-15", "licenseUrl": "https://creativecommons.org/licenses/by/4.0/", "authors": [ "Xuanlong Yu", "Youyang Sha", "Longfei Liu", "Xi Shen", "Di Yang" ], "affiliations": "Intellindust AI Lab · Suzhou Institute for Advanced Research, USTC", "ru": { "category": "АДАПТАЦИЯ ДЕТЕКТОРОВ / FT-FSOD", "title": "Обучение детектора по нескольким примерам: метод FT-FSOD", "description": "Как адаптировать детектор объектов к новым условиям при малом объёме данных. Разбор FT-FSOD: донастройка, параллельный декодер и результаты CVPR 2026.", "summary": "Как перенести распознавание в новый цех или на новый тип объектов, когда размеченных примеров мало. Разбираем FT-FSOD и условия его проверки.", "lead": "Новый ракурс, промышленная сцена или незнакомый тип оборудования меняют условия распознавания. Работа FT-FSOD показывает, как донастраивать готовый детектор по небольшому набору примеров и проверять его устойчивость.", "takeaway": "Малый набор данных требует аккуратной адаптации. FT-FSOD сочетает прогрессивную донастройку и гибридный ансамблевый декодер, который разнообразит предсказания без добавления параметров.", "figureTitle": "Гибридный ансамблевый декодер FT-FSOD", "figureCaption": "Рисунок 2 из оригинальной научной статьи. Слева — детектор на трансформере, в центре — последовательный декодер, справа — предложенный HED. Подписи переведены; структура, связи и условные обозначения сохранены." }, "en": { "category": "DETECTOR ADAPTATION / FT-FSOD", "title": "Training an object detector from a few examples: FT-FSOD", "description": "Adapting object detectors to new conditions with limited data. FT-FSOD explained: progressive fine-tuning, hybrid ensemble decoding and CVPR 2026 results.", "summary": "Adapting recognition to a new factory or object category with limited annotations. The FT-FSOD method and how to evaluate its transfer.", "lead": "A new viewpoint, industrial scene or unfamiliar equipment category can change recognition conditions. FT-FSOD studies how to fine-tune a pretrained detector with a small support set and evaluate robustness.", "takeaway": "Small datasets need careful adaptation. FT-FSOD combines progressive fine-tuning with a hybrid ensemble decoder that diversifies predictions without adding parameters.", "figureTitle": "FT-FSOD hybrid ensemble decoder", "figureCaption": "Figure 2 from the original paper: a transformer-based detector, a sequential decoder and the proposed HED. Original structure and symbols are preserved." }, "bibtex": "@inproceedings{yu2026acloser,\n title={A Closer Look at Cross-Domain Few-Shot Object Detection: Fine-Tuning Matters and Parallel Decoder Helps},\n author={Yu, Xuanlong and Sha, Youyang and Liu, Longfei and Shen, Xi and Yang, Di},\n booktitle={CVPR},\n year={2026}\n}", "sections": [ { "ru": { "title": "Почему распознавание меняется на новом объекте", "paragraphs": [ "Обучение детектора объектов обычно опирается на размеченные изображения: на них указаны классы и координаты рамок. На предприятии условия могут заметно отличаться от исходных данных. Промышленная деталь, камера под потолком и слабое освещение дают другую картину, чем привычные фотографии из открытых наборов.", "Такое изменение называют сдвигом домена. Детектор может узнавать нужный класс в одном окружении и ошибаться в другом. В задаче cross-domain few-shot object detection одновременно мало примеров и велико отличие новой сцены. Поэтому вопрос состоит не только в количестве разметки, но и в способе адаптации модели.", "FT-FSOD исследует донастройку предобученных детекторов в этих условиях. Научная работа принята на CVPR 2026. Ниже — её методы и результаты, а затем практические выводы для проверки видеоаналитики на предприятии." ] }, "en": { "title": "Why recognition changes at a new site", "paragraphs": [ "Object detectors are usually trained using annotated images with class labels and bounding boxes. Enterprise conditions may differ substantially: industrial components, ceiling-mounted cameras and poor lighting do not resemble ordinary benchmark photographs.", "This change is called domain shift. A detector may recognize a class in one environment and fail in another. Cross-domain few-shot detection combines limited examples with a substantial change of scene, so the adaptation procedure matters as well as annotation volume.", "FT-FSOD studies fine-tuning pretrained detectors in this setting. The paper was accepted at CVPR 2026. This review presents the method and results, followed by practical implications for enterprise evaluation." ] } }, { "ru": { "title": "Как работает гибридный ансамблевый декодер", "paragraphs": [ "В детекторах семейства DETR признаки изображения взаимодействуют с обучаемыми объектными запросами. Слои декодера уточняют класс и положение объекта. В обычной последовательной схеме каждый следующий слой получает выход предыдущего.", "Hybrid Ensemble Decoder, или HED, сохраняет общие начальные слои и переводит часть последующих слоёв в параллельные ветви. Их предсказания объединяются. Разные ветви дают более разнообразные оценки одной сцены, что помогает обобщению при переходе к новому домену.", "Для обучения используются также запросы с шумом — denoising queries, обозначенные DN. Часть запросов наследуется, часть переинициализируется. Это добавляет разнообразие входов параллельных ветвей. Метод переиспользует предобученные веса без добавления параметров, а не строит несколько независимых больших моделей.", "На переведённой схеме в начале статьи цветные квадраты обозначают объектные запросы, серые — запросы с шумом, коричневые — начальные шумовые запросы. Буквы a, b и c обозначают предсказания класса и координат, а не реальные названия классов." ] }, "en": { "title": "How the hybrid ensemble decoder works", "paragraphs": [ "DETR-family detectors use learned object queries to interact with image features. Decoder layers refine object classes and positions. A sequential decoder passes each layer’s output to the next.", "HED keeps shared early layers and rearranges some later layers into parallel branches whose predictions are aggregated. Different branches provide more diverse predictions, supporting generalization under domain shift.", "Training also uses denoising queries, abbreviated DN. Some are inherited and others are reinitialized to diversify parallel-branch inputs. Pretrained weights are reused without additional parameters; the method does not train several independent large networks.", "In the original diagram, colored squares are object queries, gray squares are denoising queries and brown squares are initialized denoising queries. The letters a, b and c represent class-and-position predictions, not actual class names." ] } }, { "ru": { "title": "Прогрессивная донастройка по небольшому набору данных", "paragraphs": [ "На первом этапе энкодер заморожен: обучение меняет оставшиеся части детектора, сохраняя исходное представление изображения. Когда улучшение выходит на плато, энкодер размораживается. Так модель получает возможность адаптировать признаки после более осторожного начального этапа.", "Скорость обучения управляется с учётом плато. Авторы используют общий подход для разных наборов вместо отдельного большого поиска гиперпараметров для каждой задачи. Сложная генерация дополнительных данных не является обязательной частью предложенного рецепта.", "Важно различать few-shot и работу без обучения. FT-FSOD меняет веса модели на размеченных примерах. Ранее разобранный FSOD-VFM, напротив, использует базовые модели и графовую диффузию без дополнительного обучения детектора. Это два разных способа адаптации, и сравнивать их следует с учётом подготовки данных и ресурсов." ] }, "en": { "title": "Progressive fine-tuning with limited data", "paragraphs": [ "The encoder is frozen initially. Training adapts the remaining detector components while preserving its image representation. After the first optimization plateau, the encoder is unfrozen so its features can adapt after the cautious initial stage.", "The learning rate follows a plateau-aware schedule. The authors use a unified procedure across datasets instead of extensive task-specific hyperparameter searches. Complex data generation is not a required part of the recipe.", "Few-shot is different from training-free inference. FT-FSOD updates model weights using annotated examples, while FSOD-VFM uses foundation models and graph diffusion without additional detector training. Data preparation and computational requirements differ." ] }, "links": [ { "url": "./article-ai-few-shot-detection.html", "label": { "ru": "FSOD-VFM: обнаружение без дообучения", "en": "FSOD-VFM: detection without fine-tuning" } } ] }, { "ru": { "title": "Что показали научные эксперименты", "paragraphs": [ "Авторы проверяют метод на CD-FSOD, ODinW-13 и RF100-VL. Набор RF100-VL объединяет 100 разнородных задач. В режиме 10-shot итоговый средний mAP предложенного подхода составляет 41,9; в том же сравнении для SAM3 приведено 35,7. Разница равна 6,2 пункта mAP.", "10-shot означает десять размеченных примеров на класс в протоколе исследования. Это не обещание, что десяти кадров достаточно для любой заводской камеры. Также в оригинальной таблице отмечены различия процедур выбора моделей: полные условия сравнения приведены в работе.", "mAP усредняет точность обнаружения по правилам конкретного теста. Эту метрику нельзя напрямую читать как долю правильно доставленных тревог или заменять ею оценку рабочего сценария предприятия." ] }, "en": { "title": "What the research experiments show", "paragraphs": [ "The authors evaluate CD-FSOD, ODinW-13 and RF100-VL. RF100-VL combines 100 heterogeneous tasks. At 10 shots, the proposed method reaches 41.9 average mAP; SAM3 is reported at 35.7 in the comparison, a difference of 6.2 mAP points.", "Ten-shot means ten annotated examples per class under the research protocol, not a guarantee that ten frames suffice for any industrial camera. The original table also notes differences in model-selection procedures; full conditions are in the paper.", "mAP averages detection precision under a specific test protocol. It is not the share of correctly delivered alarms and does not replace evaluation of an operational enterprise scenario." ] }, "customTable": { "title": "RF100-VL · 10-shot · mAP ↑", "headers": { "ru": [ "Метод", "Средний mAP" ], "en": [ "Method", "Mean mAP" ] }, "rows": [ [ "SAM3", "35.7" ], [ "FT-FSOD · MMGDINO-L", "41.9" ] ] } }, { "ru": { "title": "Незнакомые данные и слишком уверенные ошибки", "paragraphs": [ "Для проверки устойчивости авторы строят CD-Mixed: изображения целевого домена смешиваются с данными из других доменов. Модель, адаптированная к одному набору, встречает посторонние сцены. Это проверяет, не выдаёт ли она уверенные рамки там, где целевого объекта нет.", "На исходном графике для 10 примеров базовая модель имеет 47,38 mAP без OOD и 38,04 с OOD. Полный FT-FSOD — 48,20 и 40,34 соответственно. График сохраняет все пять стратегий обучения, численные значения и процент снижения из оригинала. Прогрессивная донастройка сама по себе не улучшает каждый показатель одинаково: важна совместная оценка компонентов.", "В пилоте этот принцип означает проверку обычной рабочей сцены без нарушения, соседнего оборудования и похожих объектов. Видеоклипы без целевого события помогают увидеть лишние срабатывания, которые не заметны на подборке успешных обнаружений." ] }, "en": { "title": "Unfamiliar data and overconfident errors", "paragraphs": [ "The authors construct CD-Mixed by combining target-domain images with other domains. A detector fine-tuned on one domain encounters unrelated scenes, testing whether it produces confident boxes where the target is absent.", "At 10 shots, the original chart reports 47.38 mAP without OOD and 38.04 with OOD for the baseline, versus 48.20 and 40.34 for full FT-FSOD. All five strategies, numeric values and reported reductions are preserved. Progressive fine-tuning alone does not improve every metric equally; components need joint evaluation.", "For a pilot, this principle means testing ordinary non-violation scenes, nearby equipment and confusing objects. Negative clips reveal false positives that a selection of successful detections would miss." ] }, "figure": "ft-ood", "caption": { "ru": "Исходный график из работы FT-FSOD. OOD — данные вне целевого распределения; DN — запросы с шумом. Подписи переведены, числа и относительные изменения сохранены.", "en": "Original FT-FSOD chart. OOD means out-of-distribution inputs; DN means denoising queries. Values and relative changes are preserved." } }, { "ru": { "title": "Как готовить данные для адаптации видеоаналитики", "paragraphs": [ "Начните с определения класса и правила события. Например, «погрузчик в зоне» включает обнаружение техники, её положение и проверку границ. Даже хорошая адаптация детектора решает только часть этой цепочки.", "Соберите разные независимые эпизоды: несколько ракурсов, рабочие расстояния, перекрытия и освещение. В разметке придерживайтесь одного правила рамки и названия класса. Для проверки оставьте другой день или отдельную камеру, чтобы соседние кадры одной записи не оказались одновременно в подготовке и испытании.", "Оценивайте пропуски и ложные обнаружения вместе. После этого подключите правило события, личный кабинет и нужный канал реакции. Данные научного теста служат основанием для выбора подхода; результат внедрения подтверждают на камерах вашего объекта." ] }, "en": { "title": "Preparing data for video analytics adaptation", "paragraphs": [ "Define the class and event rule first. “Forklift inside a zone” includes recognizing the vehicle, locating it and checking zone boundaries. Detector adaptation solves only part of that chain.", "Collect independent episodes across viewpoints, working distances, occlusions and lighting. Apply consistent bounding-box and class-label rules. Reserve a different day or camera for evaluation so neighboring frames do not leak between preparation and testing.", "Evaluate misses and false detections together, then connect the event rule, dashboard and response channel. Research benchmarks inform approach selection; deployment performance must be measured on site cameras." ] }, "links": [ { "url": "./detector-zone-intrusion.html", "label": { "ru": "Вторжение в зону", "en": "Zone intrusion" } }, { "url": "./article-ai-alert-reliability.html", "label": { "ru": "Совместная оценка надёжности: SURE+", "en": "Joint reliability assessment: SURE+" } } ] }, { "ru": { "title": "Вопросы об обучении детектора", "paragraphs": [ "Сколько примеров нужно? В статье исследуются режимы 1, 5 и 10 примеров и дополнительные бенчмарки. Для предприятия объём данных зависит от разнообразия объекта и условий съёмки; число из бенчмарка не задаёт готовый норматив.", "Нужно ли размечать видео целиком? Для донастройки детектора нужны размеченные изображения с целевыми объектами. Для проверки временного сценария дополнительно нужны полные эпизоды. Подготовку обучения и проверку событий удобно вести отдельно.", "Что выбрать: донастройку или готовый детектор? Сначала проверьте существующий детектор на своих камерах. Если проблема связана с плохим ракурсом, адаптация модели не вернёт отсутствующие детали. Если условия и класс действительно новые, обсуждают подготовку данных и донастройку." ] }, "en": { "title": "Questions about detector training", "paragraphs": [ "How many examples are needed? The paper studies 1-, 5- and 10-shot settings and additional benchmarks. Enterprise data requirements depend on object and capture diversity; a benchmark number is not a deployment standard.", "Must the entire video be annotated? Detector fine-tuning requires annotated images with target objects. Temporal event evaluation also requires complete episodes. It helps to keep training preparation and event validation separate.", "Should an existing detector be tried first? Yes: evaluate it on the actual cameras. Adaptation cannot recover detail missing because of a poor viewpoint. If classes and conditions are genuinely new, discuss data preparation and fine-tuning." ] }, "citation": true } ] }, { "slug": "article-ai-image-segmentation", "research": "gtr", "format": "review", "hero": "gtr-semseg", "source": "https://intellindust-ai-lab.github.io/projects/GTR/", "paper": "https://arxiv.org/abs/2609.26590v2", "pdf": "https://arxiv.org/pdf/2609.26590v2", "code": "https://github.com/Intellindust-AI-Lab/GTR", "originalName": "GTR", "published": "2026-10-15", "licenseUrl": "https://creativecommons.org/licenses/by/4.0/", "authors": [ "Zhe Feng", "Longfei Liu", "Wei Liu", "Kai Chen", "Jiangang Kong", "Wei Zhou", "Yifeng Qian", "Dexiong Chen", "Xuanlong Yu", "Xi Shen" ], "affiliations": "Didi · Intellindust AI Lab · Institute of Automation, Chinese Academy of Sciences · HKUST (Guangzhou)", "ru": { "category": "СЕГМЕНТАЦИЯ / GTR", "title": "Сегментация изображений в видеоаналитике: метод GTR", "description": "Что такое сегментация изображений и чем маска отличается от рамки. Разбор GTR: линейное внимание, исходные примеры, точность и скорость модели.", "summary": "ИИ может выделять границы объектов и области сцены по пикселям. Исследование GTR объясняет, как сочетать такую детализацию с быстрой обработкой.", "lead": "Рамка показывает, где находится объект. Сегментация уточняет, какие пиксели ему принадлежат. Исследование GTR объединяет эффективное извлечение признаков с несколькими задачами компьютерного зрения — от масок до оценки позы.", "takeaway": "Сегментация описывает форму и области сцены, а не только рамки. GTR исследует общий дизайн извлечения признаков с линейным вниманием для отдельных моделей под разные задачи.", "figureTitle": "Семантическая сегментация GTR-X на Cityscapes", "figureCaption": "Рисунок 11 из оригинальной работы GTR. Слева — исходное изображение, в центре — предсказание GTR-X, справа — эталонная разметка. Русские подписи добавлены над исходной иллюстрацией; пиксели примеров сохранены." }, "en": { "category": "SEGMENTATION / GTR", "title": "Image segmentation in video analytics: the GTR method", "description": "What image segmentation means and how masks differ from bounding boxes. GTR explained: linear attention, original examples, accuracy and model latency.", "summary": "AI can assign pixels to objects and scene regions. GTR explores how detailed visual understanding can be combined with efficient processing.", "lead": "A bounding box locates an object; segmentation identifies the pixels belonging to it. GTR combines efficient feature extraction with several vision tasks, from masks to pose estimation.", "takeaway": "Segmentation describes shapes and scene regions beyond bounding boxes. GTR studies a shared linear-attention backbone design used in separate task-specific models.", "figureTitle": "GTR-X semantic segmentation on Cityscapes", "figureCaption": "Figure 11 from the GTR paper: input image, GTR-X prediction and ground truth. Column labels are added above the unchanged original figure." }, "bibtex": "@article{gtr2026feng,\n title={GTR: Gated Token Recurrence for Efficient Dense Prediction},\n author={Feng, Zhe and Liu, Longfei and Liu, Wei and Chen, Kai and Kong, Jiangang and Zhou, Wei and Qian, Yifeng and Chen, Dexiong and Yu, Xuanlong and Shen, Xi},\n journal={arXiv preprint arXiv:2609.26590},\n year={2026}\n}", "sections": [ { "ru": { "title": "Что такое сегментация изображения", "paragraphs": [ "Обнаружение объектов возвращает класс и прямоугольную рамку. Сегментация работает подробнее: она присваивает пикселям метки или объединяет их в маску объекта. На исходных примерах GTR видны области людей, транспорта, дороги и окружающей сцены.", "При семантической сегментации каждый пиксель получает класс: например, «человек» или «дорога». При сегментации экземпляров система дополнительно разделяет разные объекты одного класса. Два человека могут иметь одну семантическую метку, но две отдельные маски.", "Выбор зависит от задачи. Для подсчёта или пересечения линии часто достаточно рамки и сопровождения объекта. Если нужно точнее описать занятую область или форму, маска даёт более подробное представление. Прикладное правило всё равно задаётся отдельно." ] }, "en": { "title": "What image segmentation means", "paragraphs": [ "Object detection returns a class and rectangular bounding box. Segmentation assigns pixel labels or groups pixels into an object mask. GTR’s original examples show people, vehicles, roads and surrounding scene regions.", "Semantic segmentation assigns a class such as “person” or “road” to each pixel. Instance segmentation also separates individual objects of the same class: two people can share a semantic label while having two distinct masks.", "The appropriate representation depends on the task. Counting or line crossing often needs boxes and tracking. A mask provides more detail when shape or occupied area matters. The operational rule still has to be defined separately." ] } }, { "ru": { "title": "Почему подробное изображение увеличивает нагрузку", "paragraphs": [ "В трансформерных моделях изображение делится на фрагменты — токены. Глобальное softmax-внимание сопоставляет токены между собой. При росте разрешения число токенов увеличивается, а стоимость такого взаимодействия растёт квадратично.", "Gated Token Recurrence, или GTR, заменяет глобальное softmax-внимание рекуррентным обменом информации с управляемыми шлюзами и линейным вниманием GLA. При фиксированной ширине модели зависимость от числа токенов становится линейной. Это создаёт другой баланс детализации, памяти и вычислений.", "В работе изучается архитектура извлечения признаков, а не готовая система управления тревогами. Работа опубликована как препринт arXiv в сентябре 2026 года; протоколы и ограничения экспериментов доступны по ссылке на полный текст." ] }, "en": { "title": "Why detailed images increase computation", "paragraphs": [ "Transformer models divide images into patches, or tokens. Global softmax attention compares tokens with one another. Increasing resolution creates more tokens and quadratically increases the cost of these interactions.", "GTR replaces global softmax attention with gated recurrence and gated linear attention (GLA). At a fixed model width, its dependence on token count is linear, offering a different trade-off between detail, memory and computation.", "The work studies a feature-extraction architecture rather than a complete alarm-management system. It was published as an arXiv preprint in September 2026; full protocols and limitations are linked." ] } }, { "ru": { "title": "Как GTR собирает контекст сцены", "paragraphs": [ "Модель сохраняет одну сетку фрагментов с шагом 16 через 12 блоков. Каждый блок делает один направленный обход. Последовательные блоки меняют направления: слева направо, справа налево, сверху вниз и снизу вверх. Так признаки получают пространственный контекст с разных сторон.", "Это обход частей одного изображения, а не память между видеокадрами. Для анализа действия во времени необходим дополнительный временной подход. Рекуррентность в названии GTR сама по себе не означает распознавание падения или последовательности действий.", "Модуль Spatial SwiGLU дополняет обмен токенами локальным пространственным смешиванием. Признаки из блоков 4, 8 и 12 поступают в лёгкую пирамиду масштабов. Для обнаружения далее используется декодер типа DETR с 300 запросами.", "На переведённой схеме сохранены стрелки обхода, номера блоков и математические обозначения. GLA, RMSNorm, LayerNorm, SiLU и SwiGLU оставлены как названия методов, чтобы их можно было найти в исходном коде." ] }, "en": { "title": "How GTR gathers scene context", "paragraphs": [ "The model keeps a stride-16 patch grid through 12 blocks. Each block uses one directional scan; successive blocks cycle left-to-right, right-to-left, top-to-bottom and bottom-to-top to gather complementary spatial context.", "This recurrence traverses patches in a single image; it is not memory between video frames. Recognizing temporal actions requires an additional temporal method. The name GTR alone does not imply fall or action-sequence recognition.", "Spatial SwiGLU adds local spatial mixing. Features from blocks 4, 8 and 12 feed a lightweight multi-scale pyramid. Detection then uses a DETR-style decoder with 300 queries.", "The original diagram preserves scan arrows, block numbers and mathematical symbols. GLA, RMSNorm, LayerNorm, SiLU and SwiGLU remain as method names for comparison with the source code." ] }, "figure": "gtr-pipeline", "caption": { "ru": "Исходная схема архитектуры GTR с русскими подписями. Геометрия, стрелки, номера и условные обозначения сохранены.", "en": "Original GTR architecture diagram. Geometry, arrows, numbers and symbols are preserved." } }, { "ru": { "title": "Дистилляция: как передаются признаки сильной модели", "paragraphs": [ "В качестве учителя используется DINOv3, специализированный для обнаружения по рецепту EdgeCrafter. Его параметры заморожены. Учитель и GTR получают одно полное изображение, поэтому позиции фрагментов совпадают.", "Обучаемая линейная проекция согласует размерности признаков. Единственная цель дистилляции — квадратичная ошибка между финальными признаками фрагментов ученика и учителя. В этом этапе нет маскирования входа и отдельных потерь для промежуточных слоёв.", "Дистилляция даёт начальное представление, после чего модели обучаются под конкретные задачи. Общий дизайн применяется к обнаружению, сегментации экземпляров, оценке позы, ориентированным рамкам, семантической сегментации и глубине. Это отдельные модели под задачи, а не утверждение об одной модели, выполняющей всё одновременно." ] }, "en": { "title": "Distillation: transferring a strong model’s features", "paragraphs": [ "The teacher is a DINOv3 backbone specialized for detection using the EdgeCrafter recipe. Its weights are frozen. Both teacher and GTR process the same full image, aligning patch locations.", "A learned linear projection aligns feature dimensions. The distillation objective is a squared error between final student and teacher patch features, without input masking or intermediate-layer losses.", "Distillation supplies an initial representation before task-specific training. The shared design supports detection, instance segmentation, pose, oriented detection, semantic segmentation and depth in separate task-specific models, rather than one model executing every task simultaneously." ] }, "links": [ { "url": "./article-ai-edge-processing.html", "label": { "ru": "Локальная видеоаналитика и идея EdgeCrafter", "en": "On-site video analytics and EdgeCrafter" } } ] }, { "ru": { "title": "Точность, разрешение и скорость: что измерено", "paragraphs": [ "Для обнаружения GTR-L с предварительным обучением детектора на Objects365 получает 58,9 box AP на COCO val2017. Медиана одного прямого прохода — 1,908 мс на RTX 4090: FP16, batch 1, torch.compile и CUDA Graphs. Это время модели по заданному протоколу, не задержка всей системы от камеры до уведомления.", "При увеличении входа GTR-S с 640 × 640 до 1280 × 1280 точность обнаружения растёт с 53,6 до 57,0 AP. Для мелких объектов APS увеличивается с 36,4 до 42,4. Медиана прохода меняется с 1,225 до 2,529 мс, пиковая память — с 0,096 до 0,249 ГБ. Эти показатели относятся к ветви обнаружения, не являются метриками сегментации.", "Отдельное развёртывание TensorRT на DRIVE AGX Thor проверено для шести задач и четырёх размеров модели. Таблица ниже содержит исходные медианы batch 1 в миллисекундах. Для ориентированных рамок и семантической сегментации использован вход 1024 × 1024, для остальных задач — 640 × 640." ] }, "en": { "title": "Accuracy, resolution and speed: what was measured", "paragraphs": [ "With Objects365 detector pretraining, GTR-L reaches 58.9 box AP on COCO val2017. Median forward-pass latency is 1.908 ms on RTX 4090 using FP16, batch one, torch.compile and CUDA Graphs. This measures the network under a specific protocol, not camera-to-notification latency.", "Increasing GTR-S input from 640 × 640 to 1280 × 1280 raises detection accuracy from 53.6 to 57.0 AP, and small-object APS from 36.4 to 42.4. Median latency increases from 1.225 to 2.529 ms and peak memory from 0.096 to 0.249 GB. These are detection-branch measurements, not segmentation metrics.", "A separate TensorRT deployment on DRIVE AGX Thor evaluates six tasks and four model scales. The table preserves batch-one medians in milliseconds. Oriented detection and semantic segmentation use 1024 × 1024 inputs; other tasks use 640 × 640." ] }, "customTable": { "title": "DRIVE AGX Thor · TensorRT · batch 1 · ms", "headers": { "ru": [ "Задача", "Вход", "GTR-S", "GTR-M", "GTR-L", "GTR-X" ], "en": [ "Task", "Input", "GTR-S", "GTR-M", "GTR-L", "GTR-X" ] }, "rowsByLanguage": { "ru": [ [ "Обнаружение", "640²", "2.282", "2.721", "3.527", "4.080" ], [ "Сегментация экземпляров", "640²", "3.474", "4.363", "5.130", "5.703" ], [ "Оценка позы", "640²", "2.459", "3.082", "3.909", "4.455" ], [ "Ориентированные рамки", "1024²", "4.310", "5.491", "7.602", "8.769" ], [ "Семантическая сегментация", "1024²", "3.579", "4.655", "6.792", "7.916" ], [ "Монокулярная глубина", "640²", "2.675", "3.071", "3.872", "4.389" ] ], "en": [ [ "Detection", "640²", "2.282", "2.721", "3.527", "4.080" ], [ "Instance segmentation", "640²", "3.474", "4.363", "5.130", "5.703" ], [ "Pose estimation", "640²", "2.459", "3.082", "3.909", "4.455" ], [ "Oriented detection", "1024²", "4.310", "5.491", "7.602", "8.769" ], [ "Semantic segmentation", "1024²", "3.579", "4.655", "6.792", "7.916" ], [ "Monocular depth", "640²", "2.675", "3.071", "3.872", "4.389" ] ] } } }, { "ru": { "title": "Как проверять сегментацию на камерах предприятия", "paragraphs": [ "Сначала решите, что должно возвращать распознавание: рамку, отдельную маску объекта или карту классов всей сцены. Например, для контроля занятой области важно заранее определить, какие пиксели считать объектом и как измерять пересечение с зоной.", "Проверяйте границы на сложных случаях: человек рядом с техникой, частичное перекрытие, отражение, маленький объект вдали. Подготовьте эталонную разметку и оценивайте не только красивый цветной слой, но и ошибки на границах и пропущенные объекты.", "Нагрузку измеряют при всех нужных потоках: получение видео, декодирование, обработка и передача события. Показатель на RTX 4090 или Thor не переводится автоматически в число камер микросервера. После проверки распознавания добавляют правила, уведомления и реакцию периферии." ] }, "en": { "title": "Evaluating segmentation on enterprise cameras", "paragraphs": [ "First decide whether the task needs boxes, individual object masks or a whole-scene class map. For occupied-area checks, define which pixels count as the object and how overlap with a zone is measured.", "Test boundaries in difficult cases: people beside equipment, occlusions, reflections and small distant objects. Use reference annotations and assess boundary errors and missed objects, rather than judging only the colored visualization.", "Measure all required streams through reception, decoding, processing and event delivery. RTX 4090 or Thor latency cannot automatically be converted into a microserver camera capacity. Event rules, notifications and peripheral responses follow recognition validation." ] }, "links": [ { "url": "./article-ai-object-detection.html", "label": { "ru": "Как камеры распознают объекты", "en": "How cameras recognize objects" } }, { "url": "./device-dv-aibox-c-8.html", "label": { "ru": "Микросервер DV-AIBOX-C-8", "en": "DV-AIBOX-C-8 microserver" } } ] }, { "ru": { "title": "Вопросы о сегментации и видеоаналитике", "paragraphs": [ "Всегда ли маска лучше рамки? Нет. Маска даёт форму объекта, но добавляет требования к разметке и оценке. Для части сценариев достаточно рамки и сопровождения. Выбор определяется бизнес-правилом и условиями камеры.", "Сегментация сама распознаёт действие? Она описывает область и форму в изображении. Действие требует изменений во времени, поэтому для анализа эпизода нужен видеоряд и подходящий временной метод.", "Можно ли обрабатывать видео локально? Архитектуру можно построить с вычислителем в сети объекта. Конкретную модель, ускоритель и число потоков подбирают по совместимости и испытаниям; опубликованный бенчмарк GTR описывает собственные аппаратные конфигурации." ] }, "en": { "title": "Questions about segmentation and video analytics", "paragraphs": [ "Is a mask always better than a box? No. Masks describe shape but add annotation and evaluation requirements. Some scenarios only need boxes and tracking. Choose based on the operational rule and camera conditions.", "Does segmentation recognize an action by itself? It describes regions and shapes in an image. Actions depend on changes over time, requiring a video sequence and an appropriate temporal method.", "Can processing run locally? A system can use an on-site networked compute device. Model compatibility, accelerator choice and stream capacity require testing; GTR benchmarks describe specific research hardware configurations." ] }, "citation": true } ] } ] }