Cargando...
Artículos sobre quantization
Artículos, guías y noticias sobre inteligencia artificial y herramientas de IA. Mantente al día con las últimas tendencias.
2 artículos
NoticiasBonsai 27BPrismMLQwen 3.6
Bonsai 27B: el modelo de 27B parámetros que cabe en 3.9 GB y corre en un iPhone (guía completa)
PrismML comprimió Qwen3.6-27B de 54GB a 3.9GB usando pesos de 1-bit, manteniendo 89.5% del rendimiento original. Corre a 11 tok/s en iPhone 17 Pro Max. Dos variantes, benchmarks por categoría, VRAM real, troubleshooting y comparativa con quantization convencional.
23 de julio de 2026
TutorialesvLLMLLM InferenceProducción
vLLM: cómo desplegar LLMs open source en producción con máxima throughput (2026)
Guía completa para desplegar LLMs open source en producción con vLLM. PagedAttention, continuous batching, cuantización AWQ/GPTQ/FP8, multi-GPU, Kubernetes, Docker y API OpenAI-compatible.
2 de julio de 2026