Нетфликс поменял систему рейтингов - ждать ли улучшения рекомендаций?

Нетфликс перешел с пятизвездочной системы оценки фильмов на бинарную - нравится или не нравится (хотя не все их аппы еще переведены на новую систему). Пишут, что это поможет им улучшить точность их рекомендаций. И что предыдущие пятизвездочные оценки будут использоваться для персонализации поведения Нетфликса. За подробностями отправляют в справочный центр.

В справке написано, что алгоритм рекомендаций учитывает много факторов - жанры, историю моих просмотров и рейтинги, "обобщенные рейтинги от всех пользователей Нетфликса со вкусами, подобными моим".
На основе рекомендаций они показывают процент "насколько вероятно, как они думают, мне это понравится". Не уверен, новая ли фишка эти проценты. Но, видимо, я мало еще нарейтинговал - вот тут они угадали:

На мой вкус, 24 - идеальный сериал, лучший, 100%. Ну, первые сезоны на 100%. Чем дальше - тем хуже. Может с учетом всех восьми сезонов и получится 75%. После четвертого я смотрел то ли не все, то ли вообще не смотрел. А про последний/текущий с другим героем вообще ничего не знаю толком.

Рейтинги - рейтингам рознь

Это - некоторая проблема этой системы рекомендаций, что сезоны сильно отличаются по оценке в случае сериалов. Скажем, Grey's Anatomy сначала было интересно, а потом превратилось в невыносимое мыло. А у нетфликса получается общая оценка на все сезоны.

Другая проблема - что нет разницы между "активно не нравится" и "никак". Но может для их рекомендательной системы это и не важно - все равно в итоге все эти данные скармливаются алгоритму машинного обучения. Неважно, какие они, и какие двусмысленности в способах оценки есть - главное, чтобы у всех пользователей эта двусмысленность была одинакова. Нетфликс вообще самый известный пример применения коллаборативной фильтрации и машинного обучения для улучшений движка рекомендаций. Я думал, что они и главный пример успеха открытых соревнований по машинному обучению в сообществе Kaggle (недавно, кстати, купленном гуглом), но что-то не могу найти подробных описаний - возможно, у них просто похожая организация соревнований. Правда, пишут, что тот конкурс был еще про бизнес аренды DVD-дисков, и в стриминге все уже иначе.

Умная машина против прозрачных объяснений

Что еще мне странно - что Нетфликс показывает мне рекомендации не обобщенно, а с обоснованием: "Потому что вы посмотрели то-то" и "Потому что вам понравилось то-то".

Это несколько ограничивает их и противоречит идее машинного обучения, где машина выбирает по непрозрачной формуле, сама определяя, какие факторы важнее в каких комбинациях (я писал об этом ранее). И, соответственно, не должна бы ставить фактор рейтинга или истории просмотра конкретного видео на первое место, как это сделано в интерфейсе. Конечно, они могут использовать камуфляжный подход - получать рекомендации по непрозрачной формуле, а затем группировать их под человеко-понятными заголовками, с привязкой к моим очевидным действиям по отбору. Интересно, как на самом деле.

Эффекта я не жду

Посмотрим, насколько это их изменение в системе рейтингов улучшит рекомендации. Очень может быть, что этого эффекта и не будет. Есть подозрение, что изменение в системе рейтингов - это тоже камуфляжная фишка, которая ничего толком не меняет в алгоритмах обучения и качестве итоговых рекомендаций, и сделана только потому, что пользователям с такой системой комфортнее. Я могу себе представить, что они погоняли разные модели и обнаружили, что ничего не меняется толком в качестве рекомендаций, если сплющить предыдущие пятизвездочные рейтинги до бинарных значений, и так уже и делали раньше.

Тем более, что рекомендации как таковые - отдельно занятная штука. Вопрос в том, что рекомендации должны угадывать. Понятно, что оценка продукта в голосовалке и насколько он зацепит пользователя в реальности, - не одно и тоже. Да и вообще, целью алгоритма должно быть не угадывание, понравится ли, а удержание подписчиков. И если предположить, что плата Нетфликса правообладателям зависит от числа просмотров (что не факт), то алгоритм должен оптимизировать рекомендации на оптимальную маржу - чтобы пользователи смотрели меньше всего при условии, что не отказываются от подписки. Поэтому тем людям, которые не парятся насчет десяти баксов в месяц, и не отпишутся все равно, рекомендации должны предлагать что-то, что они на самом деле смотреть не станут.