A Babel projekt célja, hogy rendezvények, szentmisék, előadások és egyéb élő események során valós időben tegye lehetővé a beszéd több nyelvre történő fordítását és feliratozását. A megoldás hozzájárulhat a nyelvi akadályok leküzdéséhez, és lehetővé teszi, hogy az élő események tartalma minél szélesebb közönség számára hozzáférhetővé váljon.
A rendszer az elhangzott beszédet felismeri, feldolgozza és a kiválasztott nyelvre fordítja, majd a lefordított szöveget rövid időn belül megjeleníti a résztvevők számára.
A projekt olyan helyzetekre kínál megoldást, amikor egy esemény résztvevői különböző nyelveket beszélnek, és emiatt nem mindenki számára érthető az elhangzó tartalom. A valós idejű fordítás és feliratozás segítségével a résztvevők saját nyelvükön követhetik az eseményt anélkül, hogy külön tolmácsra vagy előre elkészített fordításra lenne szükség.
A Babel különösen olyan közösségek és események esetében lehet hasznos, ahol rendszeresen találkoznak különböző anyanyelvű résztvevők. Ilyenek lehetnek például nemzetközi közösségek, egyházi események, kulturális rendezvények, oktatási programok és konferenciák. A rendszer célja, hogy a nyelvi különbségekből adódó kommunikációs nehézségeket csökkentse, és egyszerűbbé tegye az élő események tartalmának követését.
A projekt további célja annak vizsgálata, hogy a beszédfelismerés, a gépi fordítás és az automatikus feliratozás együttes alkalmazása milyen módon használható fel valós idejű események támogatására. A fejlesztés során fontos szempont a fordítás gyorsasága, a feliratok érthetősége, valamint az, hogy a megoldás különböző típusú események során is alkalmazható legyen.
Technológiák:
- Frontend: React, TypeScript
- Backend: Python, FastAPI, SQLAlchemy
- Adatbázis: MySQL
- Streaming infrastruktúra: MediaMTX
- Streaming protokollok: WebRTC, RTMP
- AI-technológiák: Speech-to-Text, Text-to-Speech és gépi fordítás
- Deployment / Cloud: Microsoft Azure
Csapattagok:
Bence, Peti
Mentorok:
Ákos, Huni, Norbi
