phone+7 (495) 252-1999
info@reksoft.com

Как тестировщику упростить и ускорить свою работу с помощью AI?

Знакомство

Шарковская Анна
Lead Software Testing Engineer

  • С 2008 года в ИТ.
  • 17+ лет в Тестировании ПО.
  • Профессионально занимаюсь обеспечением качества в ИТ, специализируясь на системном тестировании, анализе требований и построении эффективных процессов, с опытом реализации проектов разного масштаба и архитектуры для российских и международных заказчиков.

Ключевые принципы, чтобы «выжать максимум» из LLM

  • Четко обозначьте роль модели. Попросите ее «вжиться» в нужную роль: аналитик, архитектор, юрист, преподаватель.
  • Определите цель запроса. Что именно вы хотите на выходе? Ответ, план, совет, код, шаблон?
  • Задайте формат. Таблица? Список? Диалог? Документ?
  • Ограничьте или расширьте контекст. Уточните, что учитывать, а что — нет. Например: «не используй фреймворки», «работай с русскоязычным текстом».
  • Добавьте стиль и тональность. Кратко и по делу? Или дружелюбно и с примерами?
  • Итеративно уточняйте. LLM хорошо отвечает на уточняющие вопросы. Вы можете начать с общего, а потом задавать уточнения: «расширь 3 пункт», «поясни пример», «переведи на английский».

Частые ошибки при работе с LLM

01
Слишком общий запрос
Модель «не понимает», чего от нее хотят.
02
Слишком длинный ввод без структуры
Даже умная LLM устанет читать полотный текст без абзацев.
03
Неполная информация
Отсутствие контекста, цели или ограничений ведет к неточным ответам.
04
Нежелание корректировать
Первый ответ — это черновик. Запросы к LLM нужно дорабатывать и уточнять.

Шпаргалка: адаптируем универсальный промпт под задачи

Задача Модификация универсального промпта
Анализ текста «Проанализируй как эксперт. Выдели смыслы, риски, цели…Сделай поиск в интернете, а затем ответь, укажи на используемые ресурсы.»
Сжать информацию «Сократи этот текст, сохраняя основную информацию: {…}» или «Сократи следующий текст до основных мыслей без потери важной информации: {...}»
Объяснение сложного «Объясни без сложных терминов, как будто для ученика 9-11 класса. Сделай объяснение доступным для новичка, используя аналогии и примеры из жизни.»
Создание тест-кейсов «Ты — Опытный QA инженер. Составь тест-кейсы для [сценарий]…»
Подготовка к собеседованию Составь как эксперт в тестировании и QA список вопросов с ответами для прохождения технического собеседования на позицию главного инженера, охватывати области стратегии, архитектуры тестирования, автоматизации, управления качеством.
Улучшение текста «Отредактируй текст, сделай его более деловым и лаконичным. Исправь орфографические, грамматические и пунктуационные ошибки в этом тексте: {...}»

Формула универсального промпта

Составляющие формулы промпта:

Контекст
Предоставьте необходимую информацию для понимания задачи
Роль
Укажите, от чьего лица должен быть ответ. Например, «эксперт по маркетингу»
Задача
Четко сформулируйте, что нужно сделать
Формат
Определите желаемый формат ответа: список, таблица, эссе, код и т.д.
Объем
Укажите желаемый объем ответа: количество слов, символов, пунктов
Стиль
Определите стиль изложения: формальный, неформальный, научный, креативный
Критерии качества
Укажите, что делает ответ хорошим: точность, полнота, оригинальность
Приоритеты
Обозначьте наиболее важные аспекты задачи
Дополнительная информация
Любые дополнительные детали, которые могут быть полезны

Еще несколько советов по составлению промпта

  • LLM помнит всё, что вы обсуждали в рамках конкретного диалога. Закроете или удалите диалог и она забудет всё, что вы обсуждали ранее. Старт нового диалога будет давать новые ответы, ведь языковая модель непрерывно обучается, общаясь с пользователями.
  • Ответы длиннее ~500 слов иногда могут обрываться и при продолжении диалога ИИ может что-то позабыть. Если вам нужен чёткий ответ, ограничивайте длину запроса.
  • Просите, что б LLM подтвердил или обосновал свои ответы. Добавляйте к промпту фразу: «Убедись, что ответ объективен и не содержит стереотипов».
  • Помните, что почти все модели обучались в основном на английских источниках, потому пробуйте задавать промпт на английском языке.
  • Добавляйте фразы «думай шаг за шагом» (chain-of-thought).

Иллюстрация промптов после применения принципов

Нажимайте на вкладки, чтобы узнать подробнее

Промпт для анализа текста

Ты выступаешь в роли опытного эксперта по аналитике и специализируешься на анализе текстов, связанных с технической документацией, требованиями, отчетами об ошибках и пользовательскими сценариями. Проанализируй приведённый ниже текст по следующим критериям:

Ясность и однозначность формулировок.
Соответствие стилю технической документации.
Наличие потенциальных неоднозначностей, которые могут повлиять на реализацию или тестирование.
Выявление отсутствующих, противоречивых или неформализованных требований.
Предложения по улучшению текста с позиции повышения качества тестирования.
При необходимости дополни анализ конкретными примерами, пояснениями и рекомендациями.

Текст для анализа:
[XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX]

❮ ❯

Используемые ресурсы

https://sputnik.ai.reksoft.com/
— это внутренняя демонстрационная платформа ИИ от компании Reksoft. 		https://chatgpt.com
— это официальная платформа от компании OpenAI, предназначенная для общения с искусственным интеллектом ChatGPT. 		https://deepai.org/chat
— это онлайн-чат с искусственным интеллектом, предоставляемый платформой DeepAI.
https://lmarena.ai
(ранее Chatbot Arena) — это публичная платформа, которая позволяет сравнивать разные LLM через слепые баттлы и голосование пользователями. 		https://alice.yandex.ru/
— это официальный сайт виртуального ассистента Алисы от компании Яндекс. 		https://giga.chat/
— это веб-интерфейс чат-бота GigaChat, разработанного компанией Sber.

Видео лекции