Создание отслеживаемых LLM рабочих процессов с использованием Promptflow, Prompty и OpenAI

В этом руководстве мы построим комплексный рабочий процесс LLM, используя Promptflow в среде Google Colab. Мы начнем с установки бэкенда keyring, чтобы избежать проблем с зависимостями ОС, а затем безопасно настроим наше соединение с OpenAI. Затем мы создадим выделенное рабочее пространство и определим структурированный файл Prompty, который будет основным компонентом LLM нашего рабочего процесса. Мы разработаем класс-ориентированный поток, который объединяет детерминированную предварительную обработку с рассуждением LLM, позволяя внедрять вычисленные подсказки в ответы модели. Кроме того, мы реализуем отслеживание, чтобы контролировать каждый шаг выполнения, позволяя как одиночные, так и пакетные запросы, и генерируя выходные данные в структурированном формате. Наконец, мы расширим систему с помощью оценочного конвейера, который использует LLM в качестве судьи для оценки ответов по сравнению с ожидаемыми результатами.