AMD покупает Taalas, чтобы ускорить инференс, «выжигая» модели прямо в кремнии
AMD приобрела стартап Taalas, который записывает веса моделей прямо в кремний, обещая ускорить инференс на порядок и более. Ранние демонстрации показывают до 17 000 токенов в секунду на специализированных под конкретную модель микросхемах.