Modelo de Pensamiento Local: MiniCPM5-1B de OpenBMB Ajustado con Datos de Claude Fable 5

Un desarrollador de la comunidad, conocido como GnLOLot, ha presentado un nuevo modelo local llamado MiniCPM5-1B-Claude-Opus-Fable5-Thinking. Este modelo, que tiene un tamaño de 1B, funciona de manera independiente en hardware local y no necesita claves de API ni conectividad en la nube. Basado en el marco OpenBMB MiniCPM5-1B, cuenta con una arquitectura robusta de 1.08 mil millones de parámetros, 24 capas y una longitud de contexto de 131,072 tokens. El modelo está diseñado para facilitar el razonamiento a través de un interruptor enable_thinking, permitiendo a los usuarios alternar entre diferentes modos de pensamiento. El desarrollador ha ajustado el modelo utilizando datos de Fable 5, mejorando así sus habilidades de codificación y cumplimiento de instrucciones. A diferencia de los métodos de destilación tradicionales, este enfoque implica generar conversaciones con un modelo maestro y ajustar el modelo más pequeño en función de esas salidas. El modelo resultante aprende a replicar el estilo de respuesta sin heredar las capacidades completas del maestro. El modelo está disponible en varios formatos cuantizados, siendo la versión más pequeña de aproximadamente 657 MB. Los usuarios pueden ejecutarlo a través de plataformas como llama.cpp y Ollama, siguiendo instrucciones específicas proporcionadas en el repositorio.