Etiqueta: local-llm
Explora 3 recursos prácticos de ingeniería de software etiquetados con "local-llm". Descubre recetas de código, patrones de diseño, plantillas de documentación y guías detalladas para ayudarte a construir, desplegar y mantener soluciones listas para producción con local-llm.
LLMs Locales
Los LLMs locales ejecutan modelos de lenguaje en tu propio hardware. Ofrecen privacidad, uso offline y control de costos pero requieren optimizacion para maquinas mas pequenas.
Los recursos a continuacion cubren cuantizacion, Ollama, llama.cpp, inferencia local y seleccion de modelos. Cada guia te ayuda a desplegar y usar modelos de lenguaje locales.
Cada recurso incluye explicaciones claras, ejemplos de codigo y advertencias sobre errores comunes. Usa estos materiales para tomar decisiones informadas, evitar problemas en produccion y acelerar tu flujo de trabajo. Si estas empezando, lee primero los articulos marcados como principiante; si ya tienes experiencia, ve directo a los patrones avanzados y las guias de arquitectura.
Ejecuta LLMs localmente con Ollama para inferencia privada
Instala y usa Ollama para ejecutar LLMs open-source localmente con Python, incluyendo streaming,...
Construir un pipeline RAG local con ChromaDB y Sentence
Implementa retrieval-augmented generation localmente con ChromaDB, embeddings de...
Despliegue Local de LLM: Ollama, vLLM y llama.cpp
Desplegá modelos grandes de lenguaje localmente y on-premise. Cubre Ollama, vLLM, llama.cpp,...