K-means на протяжении долгого времени был основным инструментом в предварительной обработке данных, но его применение изменилось с ростом ИИ. Исследователи из UC Berkeley и UT Austin разработали Flash-KMeans, инновационную библиотеку с открытым исходным кодом, предназначенную для использования в реальном времени в циклах обучения и вывода ИИ. В отличие от традиционных реализаций, Flash-KMeans оптимизирует перемещение данных на GPU, не изменяя при этом математические основы алгоритма k-means Ллойда. Библиотека демонстрирует впечатляющую производительность, достигая ускорения более чем в 200 раз по сравнению с FAISS на GPU NVIDIA.
Flash-KMeans работает за счет двух основных улучшений: FlashAssign и Sort-Inverse Update. FlashAssign упрощает этап присвоения, избегая построения полной матрицы расстояний, что значительно снижает сложность IO. В то же время Sort-Inverse Update оптимизирует обновления центроидов, минимизируя атомарное содержание, что приводит к более быстрым временам обработки. Тесты производительности показывают, что Flash-KMeans может эффективно обрабатывать большие наборы данных, что делает его подходящим для различных приложений, включая индексирование векторного поиска и кластеризацию в реальном времени в моделях ИИ.
Эта библиотека, доступная под лицензией Apache 2.0, может быть легко установлена через pip и готова изменить способ использования k-means в современных рабочих процессах ИИ.