vstash: Un Sistema de Recuperación Híbrido Local-First para Agentes LLM

Presentamos vstash, un sistema de memoria documental innovador que combina búsqueda por similitud vectorial con coincidencia de palabras clave.

3 min readTecnología

El sistema vstash representa un enfoque innovador para la memoria documental, priorizando el almacenamiento local de datos mientras combina eficazmente la búsqueda por similitud vectorial con la coincidencia de palabras clave. Utilizando la Fusión de Rango Recíproco (RRF) y un ponderador IDF adaptativo para consultas individuales, opera en un único archivo SQLite, aprovechando sqlite-vec para búsquedas de vecinos aproximados y FTS5 para la recuperación de palabras clave.

Las contribuciones clave incluyen: (1) Refinamiento auto-supervisado de embeddings a través del desacuerdo en la recuperación híbrida, revelando que el 74.5% de 753 consultas BEIR muestran discrepancias en los top-10 entre búsquedas centradas en vectores y búsquedas centradas en FTS. Esto ofrece una señal de entrenamiento valiosa sin necesidad de anotaciones humanas. El ajuste del modelo BGE-small en 76K pares de desacuerdo mejora el NDCG@10 en todos los conjuntos de datos. (2) La introducción de RRF adaptativo con ponderación IDF por consulta aumenta significativamente el NDCG@10, alcanzando un puntaje de 0.7263 en SciFact. (3) Los intentos de mejorar la puntuación post-RRF a través de varios métodos no produjeron resultados positivos. (4) Un marco de producción robusto con verificaciones de integridad y diagnósticos de clasificación ha sido validado en más de 50,000 consultas juzgadas por relevancia. El sistema mantiene una latencia de búsqueda mediana de 20.9 ms con un rendimiento NDCG constante, y el modelo ajustado está disponible en HuggingFace.

Tecnología