
Разделите обязательное и желательное
Обязательное условие определяет, можно ли вообще использовать модель: поддержка нужного ввода, допустимый объём или формат результата. Желательное помогает выбрать между подходящими вариантами: скорость, стоимость и удобство.
Не начинайте с длинной таблицы характеристик без задачи. Для короткой классификации не обязательно нужен тот же режим, что для большого многоэтапного анализа.
Подготовьте три типа примеров
Возьмите обычный случай, неполные данные и неоднозначный материал. Для каждого заранее запишите ожидаемое поведение: правильное решение, честное обозначение пропуска или запрос уточнения.
Из описания выдели цель, исходные данные и недостающие условия. Не решай задачу, пока не перечислишь, какие сведения действительно есть. Пропуски пометь явно. Описание: [ваш пример].
Это учебное задание для собственного теста. Оно не является доказательством качества конкретной модели.
Сравнивайте на равных условиях
Используйте одинаковые исходные данные, требования и критерии. Если интерфейсы позволяют разные инструменты, отметьте это отдельно: результат может зависеть от доступа к инструменту, а не только от модели.
Фиксируйте фактическую версию, настройки, время ответа и смысловые исправления. Красивый стиль не должен скрывать отсутствие ответа на обязательный вопрос.
Вернитесь к проверке после обновления
Название платформы остаётся прежним, а модели и параметры могут меняться. Сохраните контрольные примеры и повторите их после смены версии или поставщика.
Для приложения добавьте тест структуры, отказов и неполного ответа. Такие вопросы разобраны в API-разделе. Расходы сравнивайте по принятому результату, включая повторы.