|
Általános áttekintés Az OTP Bank egyik AI projektje egy magyar nyelvű NLP (Natural Language Processing) modell létrehozása. A Szofi Algorithmic Research, mint az OTP Bank egyik beszállítója a modell-kvantálási feladat POC-ját valósította meg A sokszáz-milliárdos, nagy paraméterszámú AI modellek egyik kérdése, hogy az adatok milyen bitszélességen legyenek tárolva. Kérdés, hogy a 32 bites betanított modell pontossága milyen mértékben romlik, ha 16-, 8-, vagy akár 4-biten tároljuk az adatokat. A modell kvantálása az a folyamat, amikor egy pre-trained model adatainak bitszélességét redukáljuk. |