Оцінка дорожньо-транспортних пригод за допомогою LLM
Складання документів щодо розгляду дорожньо-транспортних пригод традиційно є трудомістким процесом і пов'язане з високою ймовірністю помилок. Кожен документ вимагає суворого дотримання юридичної термінології, нормативних вимог і логічної послідовності. Ручний підхід часто передбачає багаторазові перевірки, що забирає дорогоцінний час, знижує ефективність і підриває довіру громадськості до справедливості.
Завдяки впровадженню технологій штучного інтелекту та великих мовних моделей (LLM) регуляторні органи можуть оптимізувати цей процес. LLM аналізують мультимодальні дані про ДТП, включаючи текстові звіти, відео та зображення, витягують важливу інформацію та автоматично генерують структуровані результати, такі як аналітичні, звіти про зіткнення та страхові заяви. Такий підхід значно підвищує точність, ефективність та використання ресурсів.
Завдання
Клієнт з Тайваню запросив рішення на основі LLM для вирішення наступних завдань:
- Високі витрати на забезпечення безпеки даних: управління конфіденційними юридичними даними на хмарних платформах вимагає значних інвестицій у захист конфіденційності та безпечну передачу даних.
- Інтеграція знань: включення складних внутрішніх баз знань вимагає значних зусиль і часу, що знижує загальну ефективність.
- Постійна точність: вкрай важливо забезпечити відповідність LLM суворим правовим нормам, вимогам безпеки даних і конфіденційності. Для підтримки точності та надійності необхідне рішення для тонкого налаштування.
Рішення Advantech
Advantech надає комплексні локальні інтегровані апаратно-програмні рішення LLM для документування дорожньо-транспортних пригод, включаючи високопродуктивну систему інференції LLM AIR-030, систему тонкого налаштування LLM AIR-520 (що підтримує Gemma 3 27B) і Edge AI SDK/GenAI Studio. Ці рішення повністю розгорнуті на периферії, що забезпечує безпеку та конфіденційність даних.
Advantech GenAI Studio пропонує повний робочий процес для донавчання (fine-tuning) і навчання LLM, дозволяючи замовнику організовувати довідкові матеріали — такі як правила дорожнього руху, записи про ДТП, рекомендації комітетів і звіти щодо судових рішеннь — в структурований датасет «питання–матеріал» (Question-Asset) на edge AI платформі AIR-520. За допомогою GenAI Studio замовник може завантажити модель Gemma 3 27B і виконати її донавчання. Після завершення навчання перевірка і тестування моделі можуть бути виконані безпосередньо в системі. Перед розгортанням донавченої моделі в сервіс інференсу для чат-бота GenAI Studio також підтримує конвертацію моделі в квантовану версію INT4, що значно підвищує ефективність інференсу.
Весь процес — від підготовки набору даних, навчання та валідації до розгортання — був повністю виконаний на edge-сервері AIR-520, оснащеному процесором AMD EPYC 7003, двома графічними прискорювачами NVIDIA RTX™ 6000 Ada та AI SSD-накопичувачами ai100 об'ємом 2 ТБ. AIR-520 допомагає знизити витрати за рахунок розширення обсягу відеопам'яті GPU. Інтегрований блок живлення потужністю 1200 Вт (загальна вихідна потужність 700 Вт) забезпечує надійну цілодобову роботу 24/7.
Потім налагоджена модель розгортається на граничній системі штучного інтелекту AIR-030, прискореній NVIDIA Jetson AGX Orin™, разом з Edge AI SDK, для розміщення налагодженої і квантованої моделі Gemma 3 27B і надання спеціальних послуг з виведення LLM. В цілому, інтегроване рішення Advantech не тільки оптимізує процес перевірки документів, вилучення даних і генерації звітів, але і забезпечує економічну ефективність при масштабуванні на декількох майданчиках.
Переваги
- Очікується, що ефективність роботи підвищиться більш ніж на 60%, скоротивши час на складання документів за судовими рішеннями з годин/днів до хвилин.
- Зниження рівня помилок, мінімізація суперечок, викликаних помилками при ручному складанні документів або помилками в судженнях.
- Юристи можуть зосередитися на більш складному аналізі справ, що дозволяє дійсно оптимізувати розподіл людських ресурсів.
- Підвищення довіри з боку громадськості, забезпечення централізованої обробки даних і формування іміджу уряду.