Qualcomm ha actualizado AI Hub para incluir soporte para dispositivos con Snapdragon X Elite, permitiendo a desarrolladores probar modelos y técnicas como la cuantificación.
Los modelos de lenguaje grande requieren mucho procesamiento y energía, limitando su uso en dispositivos menos potentes como móviles.
La cuantificación reduce la precisión de los cálculos en los LLM, disminuyendo el tamaño del modelo y los recursos necesarios para su ejecución, según explicó Qualcomm.
SE FACILITA EL USO EN DIVERSOS MÓVILES
La cuantificación de modelos de IA reduce el tamaño y las demandas computacionales, facilitando su uso en una amplia gama de dispositivos, según expertos de Qualcomm.
Entre las técnicas, la cuantización vectorial destaca por su eficiencia en la compresión y menor pérdida de información.
Los desarrolladores pueden acceder a estas herramientas a través del AI Model Efficiency Toolkit y Qualcomm AI Hub.
MÁS DE CIEN MODELOS OPTIMIZADOS
Así se ofrece más de cien modelos optimizados y soporte para modelos personalizados.
Snapdragon X Elite, de Qualcomm, está diseñado para ejecutar modelos de IA con más de 13.000 millones de parámetros en dispositivos.
COMPATIBILIDAD CON VARIAS TECNOLOGÍAS
Este procesador es compatible con varias tecnologías avanzadas como Facebook Denoiser, OpenAI Clip y Whisper.
Ha sido lanzado recientemente, impulsando una nueva generación de ordenadores como los Copilot+ PC de Microsoft Windows, diseñados para la era de la IA.
Fuente: EP.