Додаток для розпізнавання жестової мови (CV App).
Додаток для вивчення жестової мови та розпізнавання жестів на основі комп’ютерного зору
11 клас
ВугледарЧому Mykyta Telychko створив винахід «Додаток для розпізнавання жестової мови (CV App)».
Наразі понад 430 мільйонів людей у всьому світі мають інвалідизуючу втрату слуху. Для багатьох із них жестова мова є важливою частиною спілкування, освіти та повсякденного життя. Однак вивчати жестову мову буває складно, коли є обмежені можливості для регулярної практики, особливо для тих, хто навчається самостійно або живе далеко від спільнот, де жестова мова широко використовується.Виклик стає ще більшим, коли хтось хоче вивчити жестову мову, яку рідко викладають у їхній місцевості. Доступ до кваліфікованих викладачів, можливостей для практики та навчальних ресурсів може сильно відрізнятися між країнами та спільнотами. Через це перші кроки у вивченні нової жестової мови можуть бути виснажливими та важкими для підтримання мотивації.Виростаючи у Вугледарі, невеликому місті Донецької області, я з раннього віку зацікавився програмуванням і технологіями. Я хотів використати ці навички, щоб вирішити проблему, яка стосується мільйонів людей, і дослідити, як технології можуть зробити вивчення жестової мови доступнішим для кожного, хто хоче навчитися
Як працює Додаток для розпізнавання жестової мови (CV App).
Робота додатку починається з еталонного жесту, продемонстрованого у відео. Користувач обирає слово, яке хоче вивчити, і переглядає, як виконується відповідний жест.Коли користувач повторює жест перед камерою, система комп’ютерного зору за допомогою MediaPipe виявляє 21 ключову точку на руках. Вона відстежує положення цих точок у реальному часі та використовує їхні координати X та Y для опису структури жесту.Далі математичний алгоритм порівнює відстані між виявленими точками з еталонним жестом. Це дозволяє системі оцінити, наскільки точно положення руки користувача відповідає цільовому жесту, і надати візуальний зворотний зв’язок щодо результату.Систему протестували на 20 учасниках, включно з одним учасником із порушенням слуху. Кожен учасник виконав 150 жестів, що в сумі становить 3000 оцінених жестів. Середня точність розпізнавання жестів сягнула 96,3%.
Ти школяр-винахідник?
Якщо у вас є ідея, як вирішити реальну проблему вашої громади, ми хочемо про неї почути.
0 comments.
Увійдіть, щоб долучитися до обговорення.