[SEO] История развития поисковых систем

«Никто так не изменил историю человечества, как историки» (Э. Маккензи).

История создания поисковиков довольна банальна. Когда появился интернет сразу же возникла потребность в структурировании и учете информации о тематике сайтов и количестве документов в сети Интернет. На начальном этапе, когда файлов в сети было мало, вполне хватало каталогов в виде списков и описания тематики сайта. Далее появились каталоги по тематикам и примитивный поиск в самих сайтах-каталогах. Однако когда количество сайтов возросло и уже было невозможно уместить всю информацию на странице в адекватном виде, возникла потребность в ранжировании сайтов (сортировка сайтов наиболее точным способом соответствующая запросу пользователя).

«Все новое — это хорошо забытое старое» (Жак Пеше).

Задолго до поисковых систем в университетах существовала подобная проблема. Необходимо было выявить и структурировать наиболее значимые публикации/статьи/диссертации в научном мире по своей тематике. И эта задача была решена. В зависимости от того, кто ссылается на вашу статью, возникал авторитет статьи и авторитет автора.

Предположим, вы студент-биолог, и вы написали статью. В зависимости от того, как часто упоминают вашу статью в различных документах, и самое главное, кто ссылается на вас, и формируется авторитет вашей статьи. Однако есть нюанс, если на вас ссылается академик математических наук, а вы написали статью о ботанических исследованиях и сами при этом являетесь студентом биологического факультета, то авторитет тут минимален, если не отрицателен. Откуда математику (даже академику) известна значимость вашей статьи? Может быть это ахинея, а сослался он на вас, потому что вы его дальний родственник, или родители ваши не обделены финансами и решили похлопотать за вас. В целом, я думаю, идея проста.

При создании первых поисковых систем этот способ подошел еще лучше, так как в мире интернета существуют гиперссылки, и учитывать их проще, чем на бумажном носителе. Создатели Google Сергей Брин и Ларри Пейдж видимо не особо "заморачивались" и заимствовали эту идею, доработав ее напильником, выкатили на всеобщее обозрение. К слову, учет ссылочной массы в интернете – не такая уж тривиальная задача, все же создатели поисковых систем проделали колоссальную работу.

Как только появилась идея учета ссылок, именно в этот момент возникло SEO (search engine optimization – оптимизация под поисковые системы). Проще говоря, возник рынок по продаже и покупке ссылок. Поначалу работа SEO-специалистов была довольно банальной — нахождение тематичных и наиболее трастовых (авторитетных) страниц в интернете и покупка ссылок с них. Зародились первые ссылочные биржи с автоматической системой установки ссылок на веб-сайты. И началось – война бюджетов компаний.

Однако разработчики поисковых систем быстро смекнули, что это вредит опыту пользователей. На первые страницы (так называемый ТОП 10) поисковых систем начали попадать откровенный шлак и спам. Что, конечно же, подрывало авторитет поисковых систем. Начали возникать первые фильтры и санкции на поисковый спам.

Однако идея о продаже позиций в поисковых системах не канула в Лету. Вместе с развитием поиска, довольно быстро возникла концепция монетизации поисковой системы через контекстную рекламу и внутренние сервисы типа "Маркета". Это видно из истории развития ПС Яндекс:

По своей сути, данные площадки продают позиции в поисковых системах – своеобразный легальный способ продажи коммерчески значимых позиций на страницах выдачи в ПС.

Далее возникла потребность в совершенно новом способе ранжирования сайтов, так как наличие фильтров и санкций указывает лишь на то, что система неидеальна и требует ручных или полуавтоматических правок. А это, конечно же, плохо. И возникла новая концепция. Самообучающиеся системы и поведенческие метрики.

«Поведение — это зеркало, в котором каждый показывает свой лик» (Иоганн Вольфганг Гёте).

Благодаря более совершенным счетчикам и данным с самих поисковых систем, возникла возможность анализировать поведение людей на сайте. Подобную систему аналитики для вашего сайта предоставляют сами счетчики. Например, в Яндекс Метрике есть инструмент Вебвизор. Вот так, например, выглядел в старой версии анализ кликов на странице самой Метрики:

Эти системы позволяют анализировать данные о движении мыши и нажатии клавиш, скроллинге и активности пользователя. Конечно же, не на всех сайтах установлены счетчики от Яндекс или Google. Однако этого не нужно, при больших объемах данных можно достаточно точно предположить и, главное, обучить систему принимать решения исходя из положительного опыта пользователя сайта и поисковой системы. С развитием нейросетей этот процесс пошел еще быстрее и сейчас мы видим уже такие технологии, как распознавание речи и информации с картинок:

Мы вплотную подходим моменту, когда поисковые системы уже становятся нашими личными гидами в мире Интернета. Пример с Siri в iPhone, или самообучающаяся новостная лента Дзен в Яндексе. Поисковые сети, по сути, смогли перейти на следующий этап — это персонализация. Чем лучше мы узнаем потенциального клиента, тем больше мы сможем ему угодить. И это работает. Реклама становиться точнее, выборка в поиске подбирается под конкретного пользователя исходя из его предпочтений и местоположения. Все это нужно лишь для того, чтобы получить максимально коммерчески заинтересованный трафик, и грамотно его перенаправлять на рекламодателей.

Если уже совсем уходить параноидальные мысли, то можно предположить, что поисковые системы довольно точно могут определить вас без необходимости входа в аккаунт браузера, аккаунта поисковика и прочих обезличивающих телодвижений. Мое личное мнение, что мы и так формирует уникальный отпечаток посещений сайтов. Особенно яркими маркерами являются страницы социальных сетей. Всю нашу жизнь можно проанализировать по лайкам и группам, в которых состоим. Таргетинговые инструменты в рекламных кабинетах VK и Mail.ru позволяют сегментировать аудиторию даже неподготовленному человеку. Думаю для поисковых сетей – это уже давно решенная задача.

Вот такое у меня личное видение эволюции поисковых систем. Конечно же, в этой статье история развития поисковых систем подана довольно-таки упрощенно. Если у вас возникли вопросы или пожелания по статье, пишите комментарии. Буду рад вашим отзывам и конструктивной критике =)