Однако отдельные тексты в вашем продукте, которые описывают разные фичи, вряд ли стерпят такой подход – всё разъедется. Рано или поздно из-за вариативности в деталях связь между экранами утратится, а продукт потеряет целостность. И восстанавливать её придётся не тем людям, которые с большей или меньшей охотой тыкали «вариант а» или «варик б» на тестированиях, а вам и вашей команде. Прежде всего – тому копирайтеру, который подкидывал с барского плеча по два-три варианта формулировок для каждой новой фичи в продукте.
Вы ведь ещё помните о голосе продукта? Так вот, а/б-тестирование в процессе – когда вы работаете уже над публичным продуктом – нередко меняет его до неузнаваемости и даже расстраивает. И не только продукт. Из-за радикальных изменений или локальной дичи могут расстроиться и пропасть пользователи.
Конечно, не всё так плохо и не всегда а/б-тестирование – зло. Когда продукт ещё молод, такой способ проверить тексты помогает в принципе поставить голос. Но в этом случае опять же лучше провести одно-два комплексных тестирования, а не кучу точечных.
Так как узнать, хороший ли текст?
Коридорными опросами и кличами в рабочих чатиках нельзя, а/б-тесты тоже могут всё разладить. Что же делать? Спокойно, всё не так плохо и безнадёжно. Например, когда в самом деле появляется время на исследование интерфейсных текстов, можно проводить клоуз-тесты.
Этот метод впервые описал в 1953 году Уилсон Тейлор, а сам тест применялся, чтобы проверить понимание контекста. Учащиеся знакомились с материалом, после чего получали связанный с ним текст, который содержал массу пробелов. От студентов требовалось заполнить пробелы теми словами, которые им казались наиболее подходящими для восстановления оригинального смысла. Затем преподаватель собирал работы и сверял с единственным верным вариантом. Чем больше оказывалась доля совпадений, тем выше была оценка. Позже такие тесты стали использовать в изучении иностранных языков.
Здесь всё работает так же. Берёте текст, считаете количество слов в нём, заменяете каждое энное прочерком. В интернете пишут, что в текстах длиной 150–300 слов можно смело скрывать каждое пятое. В интерфейсе, конечно, надо резать каждое третье или даже второе – удаление одного из пяти слов в коротких текстах не даст нужного эффекта.
Затем само тестирование: дайте людям контекст и предложите заполнить пробелы. Когда они справятся с задачей, останется лишь сравнить их варианты с оригинальными. Если респондентам удастся восстановить контекст и содержимое совпадает хотя бы процентов на 60–70, то в оригинале тексты хорошие. Можно оставить всё как есть. Если совпадений меньше, то, возможно, стоит всё переписать и повторить.
