AptSelect
Dev Tools
Описание
A local LLM client for parallel testing and evaluation — I built AptSelect to stop writing throwaway scripts every time I needed to test how different LLMs handle specific instructions and prompt edge cases.What it does:Parallel Execution: Send a single prompt to OpenAI, Anthropic, Mistral, and Gemini simultaneously. Compare the outputs, latency, and exact token usage side-by-side.Batch Evaluations: Upload a CSV dataset to run bulk tests across multiple models at once.Manual Diagnostics: Grade outputs manually (Pass/Fail) and assign diagnostic tags (e.g., Hallucination, Format Error) to b
Проблема
Необходимость писать одноразовые скрипты для тестирования разных LLM на специфических инструкциях и кейсах.
Решение
Параллельное выполнение запросов в OpenAI, Anthropic, Mistral и Gemini с сравнением результатов, задержек и использования токенов.
Для кого
Разработчики и исследователи LLM
Идея для адаптации в РБ
Можно адаптировать AptSelect для резидентов Парка высоких технологий, чтобы тестировать LLM-модели для задач автоматизации документооборота (например, интеграция с e-doc.by) или обработки запросов клиентов через ERIP. Также инструмент может быть полезен для локальных IT-компаний, разрабатывающих чат-боты для ритейла (евроопт, белвест) или банковских сервисов (Беларусбанк, ВТБ-РБ).
⚠ AI-черновик. Используй как seed для собственных идей — конкретные цифры, ниши и партнёров проверяй сам.