Две карточки похожих товаров стоят рядом. На одной — 4,8 звезды после восьми оценок, на другой — 4,6 после нескольких сотен. Это условный пример, не сравнение реальных товаров. Рука тянется к большей цифре, хотя она отвечает только на вопрос о показанном рейтинге, а не о том, какая вещь прослужит дольше или подойдёт именно вам.
Цифра с небольшим числом оценок
Даже когда площадка считает обычное среднее, небольшая группа оценок чувствительнее к новым голосам. Одна низкая оценка может заметно снизить среднее при малом числе голосов; влияние новой оценки зависит и от того, насколько она отличается от прежних. При большем числе оценок одно новое мнение обычно меняет среднее слабее. Это арифметическое свойство, но оно не превращает большую выборку в автоматическое доказательство качества: важно, кто и почему оставил отзыв.
В исследовании, вышедшем в журнальном выпуске Journal of Consumer Research в 2016 году (онлайн-версия появилась в 2015-м), авторы сопоставили пользовательские оценки на Amazon.com с оценками Consumer Reports для 1272 товаров в 120 категориях, где можно проверять технические свойства. Они обнаружили слабое соответствие средней пользовательской оценки и независимых оценок качества. В экспериментальной части люди придавали среднему рейтингу большой вес и недостаточно учитывали, насколько много оценок лежит в его основе.
Это результат конкретного исследования старых данных Amazon.com и технических товаров, а не формула для всех магазинов сегодня. Пользовательский отзыв может хорошо описывать удобство, вкус или особенности применения, которые лабораторный тест не измеряет. Исследователи сами отмечали, что изучали числовые рейтинги, но не разбирали полезность текста отзывов.
Звёзды не всегда простое среднее
Сравнивать видимые числа надо ещё осторожнее, когда площадка использует собственный метод расчёта. Amazon сообщает, что его итоговый рейтинг не является простым средним всех звёзд. Модель учитывает, в частности, свежесть оценок и подтверждённую покупку; новые отзывы могут менять показатель, а вес старых со временем снижается. Точный расчёт покупатель из одной цифры на карточке не восстановит.
Это описание Amazon, не правило для каждого маркетплейса. На другой площадке рейтинг может агрегироваться иначе. Даже в одном магазине соседние товары могут отличаться возрастом карточки, числом отзывов и тем, что именно оценивали покупатели. Поэтому разницу 4,8 против 4,6 нельзя переводить в утверждение «первый товар лучше на 0,2 звезды». Шкала оценивает впечатления, а не измеряет ресурс батареи, прочность шва или безопасность устройства.
Текст отзыва возвращает контекст
Вместо взгляда на крупную цифру откройте распределение оценок и несколько текстовых отзывов. Ищите повторяющиеся описания свойства, которое важно для вашей покупки: размер, совместимость, шум, срок службы. Один отрицательный комментарий может описывать ошибку доставки, а не дефект товара; повторяющиеся жалобы в отзывах разных авторов требуют внимания. Это способ сформулировать вопросы к товару, не статистическое доказательство его недостатка.
Amazon предлагает фильтровать отзывы по числу звёзд и отметке подтверждённой покупки, а также сортировать по свежести. Пометка подтверждённой покупки помогает понять, что отзыв оставил покупатель на площадке, но не делает каждое мнение точным или подходящим лично вам. Особенно полезно смотреть свежие отзывы, если версия товара могла измениться. При этом новая волна комментариев за короткий срок сама по себе не доказывает ни улучшения, ни накрутки.
Отзывы могут быть ненадёжны
Федеральная торговая комиссия США предупреждает, что отзывы бывают поддельными или написанными за вознаграждение без раскрытия этого факта, а также иным образом искажёнными. Комиссия советует проверять свежесть, обращать внимание на резкие всплески и смотреть разные источники, в том числе независимые экспертные обзоры. Но она прямо предостерегает от уверенности, будто фальшивый отзыв всегда можно распознать по стилю: убедительно выглядящий текст тоже может быть недостоверным. Рекомендации FTC адресованы потребителям и не означают, что всякий необычный отзыв — обман.
Практический порядок короткий. Сравните число оценок и их распределение, затем прочтите несколько новых положительных и критических отзывов по нужным вам свойствам. Если речь о вещи, для которой важны измеряемые характеристики, поищите независимый тест именно этой модели и версии. Остальные условия покупки проверьте перед оплатой. Можно выбрать товар с меньшим числом звёзд, если он лучше отвечает вашим требованиям; можно и с большим — но после проверки, а не только из-за десятых долей рейтинга.
Звёзды хороши как сигнал, с которого начинается изучение товара. Слабое место появляется тогда, когда сигнал принимают за итоговый вердикт. Между «понравилось некоторым покупателям» и «подойдёт мне» остаётся работа: выяснить, что оценивали, как давно и что именно важно в этой покупке.