Baidu официално отвори своята серия Ernie 4.5, пускайки 10 модела на прегръщащо лице, GitHub и собствена екосистема Paddlepaddle. Съставът включва мащабни модели на MOE (смес от експерти) с размери на активирани параметри от 47 милиарда и 3 милиарда (общи параметри до 424 милиарда), плюс по-малки плътни модели на 0,3 милиарда параметри. Основна характеристика е мултимодален хетерогенен дизайн на MOE, който споделя параметри в модалностите, като същевременно резервира специални пространства, насочени към подобряване на задачите като езиково разсъждение, без да се жертва текстовата ефективност. Моделите бяха обучени и оптимизирани с помощта на Paddlepaddle, като Baidu отчита MFU (използване на моделни флопи) до 47%. Теглата се освобождават под Apache 2.0, насочвайки се към научни изследвания и търговска употреба. Подкрепящите инструменти като Erniekit и FastDeploy опростяват фина настройка и разгръщане на много твърди софтуер. [Baidu, in Chinese]
Свързани
Нашия източник е Българо-Китайска Търговско-промишлена палaта