По мере роста сложности языковых моделей и расширения их контекстных окон подключаемая к GPU память с высокой пропускной способностью (HBM) становится узким местом, вынуждая системы неоднократно пересчитывать данные, которые уже не помещаются в встроенную HBM. Компания Pliops решила эту проблему с помощью своего устройства XDP LightningAI и программного обеспечения FusIOnX, которые хранят предварительно вычисленный контекст на быстрых твердотельных. ..
Читать далее
Свежие комментарии