Простейшее описание принципа работы поисковой системы яндекс. Поисковые системы Интернета: Яндекс, Google, Rambler, Yahoo. Состав, функции, принцип работы Яндекс как поисковая система

Мы не так уникальны, как думаем: миллионы людей до нас озадачивали и миллионы после нас озадачат поисковик почти одинаковыми вопросами. С другой стороны, мы слишком непредсказуемы: на формулировку нашего запроса влияет огромное количество неосознаваемых нами факторов. И хотя бы поэтому запрос каждого из нас, каким бы банальным он ни был, требует индивидуального подхода.

Фактически вся работа поисковика «Яндекс» сводится к двум простым вещам: понять, что на самом деле хочет узнать человек, и за несколько секунд найти для него среди миллиардов документов в Сети подходящие.

Снять отпечатки

Система работы поисковика чем-то похожа на Матрицу, а поисковый робот (созданная ею сложная, самостоятельно принимающая решения программа) - на агента Смита.

Чтобы не обыскивать весь Интернет каждый раз, когда кому-то что-то нужно узнать, поисковик делает часть работы заранее - проверяет, что есть в Сети и где это лежит, с помощью тысяч поисковых роботов. Они бывают двух типов: основной и быстрый. Основной обходит и обрабатывает Интернет в целом, а быстрый - документы, появившиеся минуту или даже пару секунд назад. Задача программ-роботов - отобрать годную и полезную для пользователей информацию, переработать ее, отсеяв все устаревшее и ненужное. В чем-то это напоминает сортировку мусора: бумага в один контейнер, стекло в другой, пластик в третий, пищевые отходы в четвертый...

Собранная роботами информация образует так называемый слепок Интернета. Он хранится на тысячах серверов «Яндекса» и постоянно обновляется. Слепок похож на список, в котором указано, в каком месте какую информацию можно найти. В этом списке у каждого ключевого слова указана не одна, а миллионы «страниц». Чтобы все обновления слепка были доступны пользователям, их переносят из хранилища на «базовый поиск». Данные от основного робота переносятся раз в несколько дней, а от быстрого робота - в реальном времени.

Вывести на чистую воду

ИЛЛЮСТРАЦИЯ: ЕВГЕНИЙ ТОНКОНОГИЙ

Разыскивая ответ на заданный вопрос в подготовленной базе, машина сталкивается с двумя основными сложностями. Первая сложность - язык. Прежде чем искать ответ на вопрос, машине важно понять, на каком языке это делать. Например, для русскоязычного человека на запрос «дружина князя Игоря» поиск найдет документы с информацией о войске, а для украинца на «дружина князя Iгоря» выдаст также документы, упоминающие княгиню Ольгу, его супругу, так как по-украински «жена» - это «дружина». Да и в богатом русском языке одно и то же слово или его производные могут означать разные вещи. Например, слово «стали» - это одна из форм существительного «сталь» и глагола «стать». Вторая сложность - человеческая психология. Вводя запрос, мы ожидаем быстрого и точного ответа, не заботясь, естественно, о соответствии формулировки запроса принципам математического анализа, по которым работает мозг машины. Например, введя в поисковую строку слово «наполеон», что человек хочет получить: рецепт торта или биографию французского императора, купить коньяк или найти адрес психиатрической больницы?

В таких ситуациях в дело вступают сразу несколько технологий. Можно выдать вам под строкой поиска несколько подсказок, конкретизирующих запрос. Мол, выберите, что вам нужно: наполеон-рецепты или Наполеон - Бонапарт. Если пользователь не реагирует на просьбу машины и не добавляет к «наполеону» слов, то делу помогает технология «Спектр»: не надеясь на помощь, машина сразу ищет информацию по нескольким категориям (и про торт, и про императора, и про конь як...). Кроме того, понять пользователя помогают механизмы персонализации - знания машины о том, что этот пользователь искал со своего компьютера день-два-три-месяц назад: если вы часто задавали «Яндексу» вопросы про кулинарию, то машина вначале покажет вам результаты, говорящие, что наполеон - торт.

Комбинации: клубы по интересам

Задача поисковой машины не сводится к тому, чтобы просто отобрать документы, в которых встречаются слова и словосочетания из поискового запроса. Машина должна понять, какие документы соответствуют нашим противоречивым требованиям и почему они им соответствуют. Хотим ли мы получить информацию о наполеоне - пирожном, или, может быть, мы пару лет посещали фитнес-клуб с пафосным названием, а то и вовсе озабочены комплексами людей невысокого роста. В любом случае решение задачи требует нетривиального подхода.

Создатели поисковой программы «Яндекс» нашли такой подход, делегировав право выбора машине. С одной стороны, бездушная, но очень быстрая и умная машина не знает и не хочет ничего знать о нас как о личностях, а с другой - она старается выяснить о каждом как можно больше.

Помимо географического положения пользователя и лингвистического анализа его запросов поисковая машина использует несколько тысяч критериев, совершенно не очевидных для человека.

Фокус в том, что эти критерии машина разрабатывает и обновляет самостоятельно.

Она просто использует данные о предпочтениях и пользовательском поведении миллионов людей и связывает это «среднее арифметическое» с историей наших запросов. Принципы, которыми руководствуется Матрица внутри себя, сопоставляя тысячи разработанных ею категорий пользовательских интересов, часто не укладываются в традиционные человеческие представления о том, какими в принципе могут быть «интересы». Их десятки тысяч. Они создают друг с другом разные, порой забавные, комбинации. К примеру, одной из таких комбинаций может являться соответствие результатов поиска интересам человека, разводящего тритонов. При этом человек не просто интересуется тритонами, а уже разводит их, но только первый год.

Оценки. Руки помощи

Матрица, конечно, сама решает (с помощью высшей математики), что и в какой последовательности нужно показать пользователям на основании десятков тысяч критериев. Но живых людей Матрица тоже использует - 1000 сотрудников «Яндекса», так называемых асессоров, оценивают результаты поиска по тому или иному запросу (конечно, не каждый запрос подвергается оценке, и делается это не в режиме реального времени) на предмет их соответствия ожиданиям обычного пользователя: не такого рационального, как машина, не такого точного в формулировках, противоречивого и эмоционального.

Сегодня отправляемся в очередной долгий путь путешествий по витиеватым дорожкам развития поисковика (Яndex , Yandex ). Думаю, отечественный гигант сетевого поиска давно уже вырос до такого уровня, чтобы не полениться, и копнуть все его кулуары, вспомнить, как развивалась поисковая система Яндекс, что интересного было за все годы его существования.

Тем более что получает немало посетителей из поисковой системы Яндекс. Многие из них уходят по контекстной рекламе , недавно блог приняли я , поэтому я считаю, что эта компания более чем достойна того, чтобы о ней написали большую публикацию.

Если брать в расчет русский интернет, то здесь Яндекс является безусловным лидером. В России это первая по значимости поисковая система. Есть региональные поисковики, своего рода филиалы в Белоруссии, Украине, Казахстане. Yandex пользуется большой популярностью у жителей этих стран. Я могу судить об этом хотя бы по статистике , видя, что немало посетителей приходит из других регионов.

В настоящее время Яндекс – это не только поисковая система, это еще и многочисленные сервисы, к которым могут получить доступ абсолютно все пользователи этой поисковой машины. Здесь можно найти и нужную информацию, и сориентироваться по выбору досуга, находить картинки, товары, сравнивать цены, смотреть погоду, общаться в социальной сети, смотреть расписание телепередач, транспорта. Есть многочисленные корпоративные решения. Можно даже на Народ.ру. На Яndex реализована удобная система , где реализован функционал для работы со своими сайтами. В числе последних доступных нововведений сервиса – , который достаточно долго оставался платным, но в декабре 2011 года этот сервис стал доступен абсолютно всем.

Про замечательные технологии и полезные сервисы компании Яндекс можно продолжать еще очень и очень долго. Поэтому для удобства восприятия информации я разобью наше путешествие на составляющие. Опишу весь путь поисковика в хронологическом порядке по годам — от создания и до сегодняшнего времени.

История развития Яндекса

1980-е — 1990-е годы

История развития компании Яндекс пускает свои корни в теперь уже далекие 80-е годы, бытность СССР. Именно тогда впервые началась разработка программного обеспечения для поиска в компании «Аркадия». Работы велись под руководством Аркадия Борковского и Аркадия Воложа. Именно та первая поисковая технология получила название «Яndex». А сам сайт Яндекса, тот самый, который мы можем видеть сегодня, появился в 1996 году. Разработки, которые велись в то время, были признаны перспективными, вследствие чего руководством CompTek (продажа компьютеров и комплектующих) и разработчиками системы было принято решение о целесообразности дальнейшего развития технологии, и внедрения ее в массы. В связи с этим была подготовлена концепция развития проекта, ориентированная на широкую аудиторию.

Официально Яндекс был анонсирован лишь 23 сентября 1997 года. И по сути в первое время это было одно из подразделений компании CompTek International. То есть, самостоятельности там было вообще с гулькин нос. И лишь в 2000 году Яндекс стал той компанией, которой ее можно видеть сегодня. В том смысле, что компания стала уже полностью независимой. Независимый Яndex.

Кстати, еще задолго до анонса поисковика Yandex компании придумали название. Яndex – означает «Языковой index». Если переводить с английского, то получается «Yet Another indexer». Правда, потом, по мере развития поисковой машины, стали появляться и другие толкования. К примеру, если в английском Index перевести с английского на русский первую букву (I – Я), то получится «Яndex».

Придумали название «Яндекс» Илья Сегалович (нынешний директор по технологиям), и Аркадий Волож

Еще за год, до официального релиза компании, 18 октября 1996 года состоялась выставка Netcom’96, на которой компанией CompTek были представлены первые продукты развивающейся поисковой машины. Это были Яndex.Site и Яndex.Dict. Затем еще через полгода появился Яndex.CD – поиск документов на CD ROM, ну а затем стартанул проект Яndex.Lib. Это была пакетная библиотека Яндекса, которая предназначалась для встраивания во всевозможные приложения и базы данных.

На тот момент, когда Яндекс.ру был официально представлен общественности, из интересного можно выделить следующее:

Оценка релевантности документов. На то время Яндекс довольно хорошо умел искать копии, и исключать их. При этом документы искались в различных кодировках

Поиск по точной словоформе. Яшка умел искать с учетом морфологии

Поиск с учетом расстояния. Yandex умел искать в пределах абзаца, по точным словосочетаниям

Функционировало ядро оценки релевантности страниц. Для каждого запроса подбирались документы с учетом соответствия (релевантности) запросу. Кроме того, при подборе документов для поисковой выдачи учитывалась частота (плотность) ключевого слова на странице. Кстати, именно ввиду несовершенства (на тот момент) этого алгоритма, в топ поисковой выдачи выходили страницы плотно набитые ключевыми словами, фактически без смысла.

Также при поиске принималось во внимание расстояние между словами, и то, как расположены слова в документе

Дизайн сайта Яндекс

Самый первый дизайн для сайта Yandex был достаточно примитивен, и несовершенен. Разработал его всем известный Артемий Лебедев. Выглядел он так

Кстати, в этом же году открылся форум Яндекса . Предназначался для общения пользователей системы с разработчиками. Идея была хорошая, и форум нормально функционировал. Правда, просуществовал он до 2008 года. Тогда произошла небольшая перестановка приоритетов. Насколько я могу судить, предпочтение было отдано социализации. Яндекс к тому же стал активно развивать собственную социальную сеть, на базе которой и появился нынешний блог, где выходят все анонсы Яндекса, и где, собственно, и происходит общение пользователей с разработчиками. Можете посмотреть сами, старый урл форума (http://forum.yandex.ru/yandex/ ) сегодня редиректит на всем известный http://webmaster.ya.ru/ .

1998 год

Проект, который получил старт, показывал хороший потенциал, над ним продолжали работать. В 1998 году был усовершенствован движок поиска, внедрили множество других функциональных возможностей для пользователей. В частности, появилась возможность искать в найденном, искать похожие документы и многое другое. Работы ведутся также и над дизайном главной страницы Яндекса. Теперь она немного изменилась

Как видите, внешне особо ничего не поменялось. В большей степени велись технические работы

1999 год

За год аудитория российской доли интернета значительно выросла. Вместе с ней подросли в качестве и технологии Яндекса, разработчики внедрили много улучшений. Поисковая машина Яndex внедрила нового поискового бота, за счет чего значительно увеличилась скорость обхода документов в сети.

Нововведения, которые затронули пользовательские части функционала, были следующими:

Появилась возможность осуществлять поиск более прицельно – по аннотациям, подписям, картинкам, заголовкам

Ввели ограничение поиска на группу сайтов

Отдельно выделялись документы на русском языке

Кстати, именно в 1999 году было впервые введено всем сегодня известное понятия (тематического индекса цитирования). Правда, тогда он рассчитывался достаточно примитивно. Авторитет сайта (он же ТИЦ), зависел в большей степени от количества сайтов, которые ссылались на интересующий нас домен.

Дизайн главной, кстати, тоже изменился. Теперь он стал уже чем-то более похожим на нынешний

Было в том, 1999 году и еще одно значимое событие. Именно тогда появился бесплатный конструктор сайтов, более известный всем нам как Народ.ру (бесплатный хостинг и файлообменник). К слову, этот проект существует и до сих пор. Девиз данного проекта был таким – за 60 секунд.

2000 год

Возможно, именно внедрение новых сервисов позволило Яндексу выйти на принципиально новый уровень развития. Со временем поисковая машина прочно закрепила за собой статус , что позволило значительно . По сути, это был уже новый проект, не тот, который стартовал под эгидой CompTek.

В 1999 году Аркадий Волож, поняв перспективу развития проекта, стал заниматься только продвижением Яндекса. Но сложность при этом заключалась в том, что необходимо было найти опытных партнеров, которые бы навыками корпоративного строительства. Единственной сложностью было том, что нужно было найти таких партнеров, которые бы вкладывали средства в развитие проекта, но при этом не требовали бы полной передачи управления под свое начало.

И такой партнер был найден. Это была компания ru-Net Holdings . Весной 2000 года с этой компанией был заключен договор об инвестировании. Здесь, правда, не обошлось без жертв. Определенную долю поисковика все-таки пришлось отдать. Согласно договору компании отходила 1/3 поисковика. То есть, с этого момента Яндекс перестал быть структурным подразделением компании CompTek, а стал самостоятельной компанией, у которой были свои офисы, свое руководство, свою бюджет и т.д. Генеральным директором компании стал Аркадий Волож.

Считаю, что Яндексу здорово повезло с его первым руководителем, потому что Волож оказался не только специалистом по поиску потенциальных партнеров, но и хорошим новатором. После начала самостоятельного «плавания» в компании начались грандиозные перемены. Значительно пополнился штат, а сам ресурс получил новый пинок от своих руководителей.

В общей сложности ru-Net Holdings инвестировали около $5 млн. Что сказать, сделка получилась очень выгодной, особенно учитывая тот факт, что сегодня поисковик номер один в рунете будет стоить как минимум под несколько сотен миллионов долларов. Это при самом скромном подсчете.

2000 год стал знаменательным еще и по той причине, что именно в этом году стала более четко вырисовываться мультипортальность Яндекса, ибо стало появляться много сервисов, которые напрямую на поиске не были завязаны. Такими сервисами стали Яндекс.Новости, Яндекс.Почта, Открытки, строка поиска по адресу ya.ru. Кроме этого, было много сервисов, которые впоследствии объединились, став тем, что нам сегодня известно под названием Яндекс.Маркет. Кроме этого, еще одним значительным нововведением стало внедрение специализированного программного обеспечения для интеграции в пользовательские браузеры – Яндекс Бар.

2001 год

Этот год стал переломным, потому что в 2001 году Яндекс стал лидером рунета по посещаемости. Помимо этого выросло и количество информации, хранящейся на серверах компании. Ее размер составил 1 терабайт. Кстати, Яндекс.Картинки появились тоже в этом году. Кроме этого, появилась электронная платежная система Яндекс.Деньги

Кроме того, более ощутимо был доработан дизайн главной страницы Яндекса. Здесь появились ссылки на новые сервисы, новости. Можно сказать, что в целом появились уже очертания сегодняшнего Яндекса

2002 год

В этом году разработчики активно работали над улучшением сервиса связи – Яндекс.Почта. Была проделана большая работа по фильтрации корреспонденции. 2002 год стал годом слияния трех сервисов – Товары, Гуру и Подбери в один – Яндекс.Маркет. К слову, сами видите, что этот сервис даже сегодня очень актуален. Возможно, впервые за все годы инвестирования в 2002 году появилась цель – выйти на самоокупаемость. Нужно было разработать стратегическую систему монетизации проекта. К тому же такую, которая бы в перспективе приносила стабильную и большую прибыль. Такой моделью стала , и именно те доходы, которые компания стала получать этот этой рекламной модели, позволили выйти на самоокупаемость значительно раньше, чем предполагалось. Поэтому можно сказать, что 2002 год стал переломным в плане выхода на бизнес-ориентированную модель, которая к тому же, уже стала приносить свои плоды.

2003 год

В этом году продолжились активные работы над сервисом Яндекс.Почта. Здесь были внедрены очередные массовые изменения, затронувшие всех пользователей системы. Разумеется, Я.Почта стала более функциональной и удобной. Забегая вперед, хочу сказать, что в будущем сервис тоже очень активно развивался, и его пользователи еще не раз видели много новых интересных фишек. В частности, пользователи получили неограниченный размер ящика и новый спам-фильтр «Спамооборона». В 2003 году дизайн Яndex вновь обновился.

Кстати, каждый дизайн соответствовал определенной версии. Версия дизайна 2003 года была восьмой по счету, и выглядела так

Любой выкат новой версии дизайна изначально проходит период бета-тестирования. И если до этого бета-тесты проводились в закрытом режиме, то на этот раз за две недели пробного тестирования нового интерфейса получить доступ к новому интерфейсу мог любой желающий. Правда, через год главную снова апгрейдили, но уже более удачно. И она в таком виде просуществовала до 2007 года.

Яндекс уже даже в то время был достаточно авторитетной компанией, потому что уже в 2003 году поисковый движок Yandex был успешно внедрен в президентский сайт. Осенью 2003 года разработчики выкатили очередные обновления продуктов: Яндекс.Паблишер (Yandex.Publisher), Яндекс.Сервер (Яndex.Server) ставший наследием Яндекс.Сайт.

2004 год

Бизнес-модель, занятая поисковиком номер один в рунете, очень хорошо работала, вследствие чего прибыль, получаемая компанией, в 2004 году составляла уже десятки миллионов долларов. Это дало толчок к развитию новых сервисов, например, сервис поиска по карте, блогам, форумам. 2004 год примечателен также тем, что именно тогда на российском рынке появился серьезный конкурент в лице Google. Возникла острая необходимость вступать в борьбу за лидерство, в результате чего руководством Яndex было принято решение увеличить штат сотрудников в десятки раз. Изначально было 200, после обновления штата сотрудников стало 2.000 сотрудников. Но главное, что после обновления персонала ничего не изменилось в худшую строну. Традиции остались, технологии тоже были на уровне. Да и в целом можно сказать, что Яша не превратился в сухую корпорацию.

Битва технологий: Яндекс vs Google

2005 год

Этот год прошел под лозунгом географического расширения представительства компании. Потому что появился украинское представительство Яндекса – Яндекс.Украина. Кстати, директор этого представительства – Сергей Петренко, основатель всем известного серча и автор интересного блога БлоGнот

2005 год стал знаменательным еще и потому, что открылась моя любимая . Это сервис по принципу «колотибабло вебмастер», а если по-русски, то это сервис, позволяющий вебмастерам на размещении рекламы на своих сайтах.

В этом же году появились и Яндекс.Словари. Изменения произошли также в сервисе Яндекс.Деньги. Теперь все пользователи получили возможность управлять своим счетом посредством интернет-кошелька.

2006 год

Этот год запомнился появлением всем известного ныне сервиса blogs.yandex.ru. Это своего рода маркетинговый инструмент. Позволял изучать общественное мнение, отзывы в блогах, форумах. В Яндекс.Картах ввели инструмент отображения пробок.

С 2006 по 2010 год Яндекс располагался в старом офисе на ул.Самокатной в г.Москве

Как видите, ранее у них было тесновато. Это не сейчас, огромное здание на 2000 сотрудников.

В 2006 году было и еще одно интересное событие – открылся первый удаленный офис разработки в Санкт-Петербурге. Тогда, конечно, масштабы были еще не те. Это не то что на сегодняшний день в Яндексе 11 офисов в России, Украине, Турции и даже Калифорнии. Офисы различаются по видам деятельности. Есть офисы, занимающиеся разработкой, офисы продаж, офисы, которые работают по направлению локализации продуктов

2007 год

В этом году произошли события, более ориентированные на вебмастеров. В частности, появился сервис Яндекс.Фотки. Но для меня, как для вебмастера, более интересное событие – это появления сервиса Яндекс.Метрика . Правда, тогда это был совсем сырой сервис, да и ориентирован он был не на вебмастеров, а на рекламодателей Яндекс.Директа. В том же году открылось украинское представительство — Yandex.ua. На сегодняшний день по данным LiveInternet почти 14% русскоязычного трафика приходится именно на yandex.ua

Также в 2007 году стартанул известный всем вебмастерам проект , которым сейчас не пользуется, наверное, только ленивый

2008 год

Можно сказать, что в этом году сфера влияния Яндекса настолько увеличилась, что было принято решение открыть филиал поисковика в США, Калифорнии. Тогда же в алгоритмы были внесены существенные дополнения. В частности, стали поддерживаться международные стандарты Sitemap, MediaRSS и др. То есть, как видите, сферы интересов вышли далеко за пределы рунета. Поисковик номер один рунета теперь стал англоязычные сайты. До этого проблема была в том, что отечественный поисковик не поддерживал международных стандартов, в связи с чем была проблема с индексацией сайтов из буржунета, но после апгрейда 2008 года эта проблема решилась. И уже после этого логотип Yandex стали писать полностью на русском.

2009 год

Этот год был знаменателен тем, что до этого не было разделения поиска по регионам. То есть, до введения данного алгоритма была построена на принципах единообразия. Вводишь, например, в поисковую строку запрос « » в Москве и в Новосибирске, и получаешь одинаковые результаты. Теперь все изменилось. И в поисковую выдачу подмешиваются результаты, построенные по принципу геозависимости. Говоря проще – если будете искать при помощи Яндекса в Москве и Новосибирске, то результаты будут разными.

В 2009 году продолжались работы по ранее выбранному западному направлению. В частности, тестировался сервис, при помощи которого переводились зарубежные сайты. Потом этот сервис эволюционировал, и в 2011 году стал называться Яндекс.Перевод.

Не менее важным событием стало внедрение нового метода машинного обучения – Матрикснет . Эта технология применяет в качестве оценки различные закономерности, и учитывает различные факторы ранжирования. Но главное, что технология самообучаема. При оценке асессоров происходит оценка только реальных закономерностей, полностью исключается нахождение несуществующих.

Революционность данной технологии заключается в том, что Матрикснет использует невероятно сложную формулу ранжирования, которая учитывает огромное количество факторов. Это, с одной стороны, позволяет добиться более качественной поисковой выдачи, а с другой стороны, не даст возможности вебмастерам понять эту закономерность, и, следовательно, воздействовать на нее в своих интересах.

Подробно о технологии матрикснет:

2010 год

Старый офис на ул.Самокатной остался в прошлом, а вся компания переехала в новые хоромы. Собственно, это стало главным событием 2010 года

В этой статье я расскажу о том что такое поисковая система Яндекс о работе данной поисковой системы и наведу примеры сайтов, которые поисковая система Яндекс ограничивает в ранжировании.

Поисковая система Яндекс, по своей популярности, занимает 20-е место во всем мире и 1-е место по России. Официально, компания Яндекс была утверждена 1997 года 23 сентября, ее развитие начиналось в рамках компании Comp Tek International, а уже в 2000 году Yandex начала существовать как отдельная компания.

Основателями компании являются, Волож Аркадий Юрьевич, который является генеральным директором, и Сегалович Илья Валентинович (1964-2013), основатель Яндекса и директор по технологиям и разработке. Немного ознакомились с историей Yandex, теперь поговорим о ее поисковой системе.

И так основным направлением компании Яндекс является поисковая система, отличительной особенностью которой является точная настройка поискового запроса. Поисковик Яндекс, позволяет искать выбранный вами запрос на русском, украинском, белорусском, татарском, казахстанском, английском, турецком, немецком и французском языках, при этом учитывая их морфологическое написание.

Так же Яндекс разработал тщательный алгоритм для оценки релевантности и принцип проверки документов с исключением их копий в разных кодировках. В отличии от Google, точнее от ее алгоритма ранжирования PR – PageRank, еще одним важным моментом для поисковика Yandex, является введение тематического индекса цитирования – ТИЦ.

Работа поисковой системы Яндекс

http://www.yandex.ru
Поисковик Yandex имеет роботов, которые представляют собой определенную программу для проверки сайтов на их релевантность. Поисковые роботы переходят на сайт по прямым ссылкам, индексируя новые страницы и сохраняя их себе в базу. Для того чтобы проиндексированная страница сайта попала в ТОП, что является очень важно, необходимо учитывать такие моменты индексации как, частота ключевых слов на странице, количество внешних ссылок ведущих на ваш сайт, и общий вес сайта который измеряется таким показателем как ТИЦ Яндекса.

Пример сайтов которые система Яндекс ограничивает в ранжировании

Сайты с неуникальным контентом который был скопирован или переписан с других сайтов.

Сайты которые группами интенсивно ссылаются друг на друга.

Сайты с бессмысленным наполнением.

Сайты которые используют обманную технологию.

Форумы и доски объявлений которые содержат массу ссылочного спама.

Сайты которые пытаются заработать релевантность расставляя внешние ссылки, которые не являются предложением автора посетить его ресурс.

Яндекс, на сегодняшний день, – популярнейшая в России поисковая система. Статистика сервиса LiveInternet , показывает долю Яндекса в массе общероссийской аудитории – это 53,4%, если учитывать только Москву и область, то еще выше – 67,9% (Москва по запросам занимает более 50% от всей России).

Cайт www.yandex.ru был создан в 1997 году, для него хватало всего одного сервера, который стоял под рабочим столом одного из группы первых разработчиков Яндекса, Дмитрия, по фамилии Тейблюм. Очень быстро после открытия приобрели второй сервер, а вскоре, когда понадобилось установить ещё один, стало понятно, что под столом хватает пространства либо на три сервера Яндекса, либо […]

Разработчики поисковых машин стремятся к тому, чтобы дать пользователям лучшие ответы на их запросы. Иногда таким ответом может оказаться число (например, погода в каком-нибудь городе), картинка (например, адрес на карте), перевод слова или четверостишие. Когда под рукой есть подходящий массив информации, ответ можно дать сразу. Поэтому Яндекс дополняет результаты поиска по интернету ответами от своих […]

Примерно каждый десятый запрос к Яндексу – «навигационный», то есть состоит из названия организации или сайта и пользователь хочет перейти на сайт этой организации. В этом случае поисковая строка Яндекса используется вместо адресной строки браузера и остальные девять поисковых результатов пользователя, как правило, не интересуют. Не отвлекая пользователя от главной цели, мы добавили после главного, […]

Основная задача поисковой системы – дать ответ на вопрос пользователя. Когда пользователь задает запрос, поисковая система не обращается к каждому сайту в интернете, а ищет по базе известных ей страниц – поисковому индексу. Там она находит все страницы со словами из запроса. Ссылки на эти страницы пользователь и видит на страницах результатов поиска.

Как мы видим, Яндекс не стоит на месте, и я уверен, что поисковые технологии этой системы будут развиваться и дальше, чтобы повышать качество поиска, которое пока трудно назвать идеальным.

10 ноября 2009 года Яндексом была анонсирована новая версия поискового алгоритма – Снежинск. Коренные изменения произошли в алгоритме расчета релевантности – представители Яндекса написали следующее: «Нам удалось создать более точную и гораздо более сложную математическую модель, которая привела к существенному приросту в качестве поиска. Благодаря переработке архитектуры ранжирования в поиске удалось реализовать учет нескольких тысяч […]

Тестирование новой версии алгоритма Яндекса началось 9 июля 2008 года. По заявлениям Яндекса, «основные изменения в программе связаны с новым подходом к машинному обучению и, как следствие, отличиями в способе учета факторов ранжирования в формуле».

14 апреля 2008 года адресу buki.yandex.ru начала тестироваться новый поисковый алгоритм «Магадан». Кроме того, что увеличилось вдвое количество факторов ранжирования, был также добавлены следующие нововведения:

Прежде чем пускаться в алгоритмические дебри, давайте вспомним, а как вообще устроена поисковая система. Логическую структуру поисковой системы можно представить в виде трех модулей (см. схему) Робот (краулер, crawler) – специальная программа, которая обходит интернет-сайты и загружает их содержимое. У робота есть специальное расписание, согласно которому он осуществляет свой обход. Страницы сайта, загруженные роботом, специальным […]

66. Что обладает большим влиянием: ссылка с фри-платформы (блогспот, жж и т.д.) или с автономного сайта/блога? С бесплатных платформ вес передаётся ниже, чем с автономных сайтов. Однако влияние может быть больше. Это связано с множеством факторов: текущий анкор-лист, состояние сравниваемых сайтов и др. Однозначного ответа на этот вопрос дать невозможно. 67. Наибольший вес передается между […]

Вамана Тур – путешествия, авиабилеты и визы по всему миру и в Индию, Непал, Шри-Ланку, на Мальдивы, Маврикий и многие другие места планеты. Советы путешественникам и пилигримам. Как получить максимальную пользу от поездки. Удивительные исторические хроники и рассказы бывалых путешественников.

Для чего используется учет внешних ссылок на сайт Как можно видеть из предыдущего раздела, почти все факторы, влияющие на ранжирование, находятся под контролем автора страницы. Таким образом, для поисковой системы становится невозможным отличить действительно качественный документ, от страницы созданной специально под заданную поисковую фразу или даже страницы, сгенерированной роботом и вообще не несущей полезной информации. […]