Проблемы поиска в интернете, поисковые машины

Найти нужную информацию в Интернете зачастую довольно трудно. Интернет развивается хаотично, в нем нет четко выделенной структуры. Никто не может гарантировать, что на одном домене будет только информация определенной тематики, а на другом - информация другой, но тоже четко определенной тематики. Например, на доменах .com можно найти не только коммерческую информацию, а, например, различную документацию по программным продуктам или даже анекдоты.

Если бы доменная структура была бы похожа на структуру каталога, например, в домене ru.comp.os.linux (как в системе новостей) была бы вся информация об операционной системе Linux на русском языке и какая-то организация-модератор следила, чтобы в других доменах не выкладывалась информация о Linux, то тогда поиск был бы значительно проще. Ведь мы бы знали, где искать. Открываешь браузер, вводишь ru.comp.os.linux и получаешь... миллионы различных ссылок на статьи, HOWTO-документы и прочую информацию, так или иначе связанную с Linux.

Эффективность поиска

    Эффективность поиска зависит от многих факторов:
  • От самой информации - по одной теме информации может быть много, по другой - мало. Иногда можно найти много информации по заданной теме, но коэффициент полезного действия этого поиска окажется близким к 0,0%, а можно найти всего 3-4 ссылки, и это будет как раз то, что нужно. Сюда же относится умение веб-мастера правильно подать информацию, чтобы ее могли найти сами поисковые машины Предположим, где-то очень далеко есть нужная вам информация, но поисковая машина о ней ничего не знает. Возможно, информация была только что опубликована или просто веб-мастер, опубликовавший информацию, даже и не подозревает о существовании поисковых машин. Вы-то ищите информацию с помощью поисковой машины. Если она не "знает" нужную вам информацию, то, следовательно, и вы о ней ничего не узнаете.
  • От поисковой машины - поисковых машин много и все они разные. Даже если они относятся к одному типу (о типах поисковых машин мы поговорим чуть позже), несомненно, у каждой из них будет свой алгоритм. Если вы не нашли информацию с помощью одной поисковой машины, попробуйте поискать ее с помощью другой. Не зацикливайтесь на одной поисковой машине, как бы она вам ни нравилась.
  • От умения использовать поисковую машину - от того, как вы умеете использовать поисковую машину, зависит очень многое. Если вы не знаете, как использовать поисковую машину, вряд ли поиск будет эффективным.

Как правильно искать информацию

Поскольку чаще всего вы не выбираете нужный вам сайт из каталога поисковой машины, а вводите определенное ключевое слово (или несколько ключевых слов), то вам нужно максимально конкретно задать это самое ключевое слово. Чем точнее вы определите предмет поиска, тем точнее будет результат. Поисковая машина ведь не может угадать ваши мысли, нужно четко указать ей, что вы ищите.

У каждой поисковой машины есть свой синтаксис, который необходимо знать. В этой главе будет описан синтаксис поисковых машин Google, Yandex и Rambler. Если вы хотите использовать другую поисковую машину, то ее синтаксис вы сможете узнать на ее же сайте (обычно он подробно описан).

Поисковые системы интернета

А теперь поговорим о самих поисковых системах.

На территории бывшего СНГ наиболее популярными являются следующие поисковые системы, по данным SpyLog (Openstat):

  • 1. Яндекс (www.yandex.ru);
  • 2. Google (www.google.com);
  • 3. Поиск@Mail.ru (go.mail.ru);
  • 3. Рамблер (www.rambler.ru);
  • 5. Yahoo! (www.yahoo.com);
  • 6. AltaVista (www.altavista.com);
  • 7. Bing (www.bing.com).

Поисковые системы указаны в порядке "убывания популярности". Как видите, самой популярной у нас является поисковая машина Яндекс.

Типы поисковых систем

    Существуют два основных типа поисковых систем:
  • индексные - Google, AltaVista, Rambler, HotBot, Яндекс и др.;
  • классификационные (каталоговые) - Rambler, Yahoo! и др.

Не удивляйтесь, что поисковая система Rambler указана дважды - она одновременно являлася и индексной, и классификационной. К этому мы еще вернемся, а пока поговорим об отличиях этих двух систем.

Как работает индексная поисковая система? Поисковая система запускает специальную программу, которая просматривает содержимое веб-серверов, индексируя информацию: она заносит в свою базу данных ключевые слова той или иной веб-страницы, некоторую информацию из веб-страницы.

Краткая история Google

Начнем с названия. Google - это немного видоизмененный вариант слова googol (не зря ее часто называют "гуглом"). В свою очередь это слово было введено Милтоном Сиротой, племянником известного математика Эдварда Каснера, а потом было популяризировано в книге Каснера и Ньюмана "Математика и воображение". Слово "googol" отображает число одной единицей и 100 нулями. Название "Google" отображает попытку организовать огромное количество информации в Сети.

Итак, начнем с самого начала. Будущие разработчики Google Сергей Брин (Sergey Brin) и Лэрри Пейдж (Larry Page) познакомились в 1999 году в Станфордском университете. Тогда Лэрри было 24 года, а Сергею - 23. Лэрри в то время был студентом Мичиганского университета и на несколько дней приехал в Станфорд. Сергей был в группе студентов, которая должна была ознакомить гостей с университетом. С первой встречи Сергей и Лэрри, мягко говоря, недолюбливали друг друга - они спорили относительно всего, о чем можно было спорить. Хотя в итоге это и оказалось положительным моментом, поскольку их разные мнения привели к созданию алгоритма для решения одной из самых актуальных компьютерных задач: поиск нужной информации среди огромного массива данных. С января 1996 года Лэрри и Сергей начинают работу над поисковой машиной BackRub, которая должна была анализировать "обратные" ссылки, указывающие на данный веб-сайт. Работы над этим сервером велись в постоянной нехватке средств - ведь в то время Сергей и Лэрри были аспирантами университета - сами понимаете, что средств у аспирантов не очень много. Кстати, Лэрри впервые принимал участие в столь серьезном проекте, а до этого он занимался всякими "несерьезными", даже порой анекдотическими проектами, например, он построил работающий принтер из конструктора Lego.

Поисковые алгоритмы Google

Интерфейс Google поражает своей простотой: поле для ввода и две кнопки. Как говорится, все гениальное просто.

Специальный (расширенный) синтаксис Google

В дополнение к логическим операторам Google предоставляет вам модификаторы поиска, перечисленные в таблице. Модификаторы поиска называются специальным синтаксисом Google. Отнеситесь к этой таблице со всей серьезностью: попробовав однажды поискать что-нибудь с использованием модификаторов, вы уже не откажетесь от них.

Модификатор inurl в Google

Модификатор inurl используется для поиска по указанному URL. И отличие от модификатора site, который позволяет искать информацию только на одном сайте или домене, модификатор inurl позволяет искать информацию в подкаталогах сайта, например:

inurl: rusopen.comskype-zvonim-besplatno

Модификатор inurl позволяет использовать символ * для указания домена, например:
inurl: "*.redhat.com"

Эффективнее всего использовать inurl в паре с site. Следующий запрос будет искать информацию в домене gidmir.ru, на всех его поддоменах, кроме www:
site: gidmir.ru inurl: "*.gidmir" -inurl: "www.gidmir.ru"

Язык поисковых запросов Google

Google позволяет использовать смешанный синтаксис, т.е. такой синтаксис, в запросе которого используются несколько специальных модификаторов поиска. Это позволяет достичь наилучшего результата.

Вот самый просто пример смешанного синтаксиса:
site: ru inurl: disc

В данном случае поиск будет произведен на сайтах домена, a URL должен содержать слово disc.

Вот еще один пример:
site: ru -inurl: оrg.ua

Поиск будет произведен на сайтах домена ru, но в результатах поиска будут отсутствовать страницы, расположенные на org.ua.

Поисковые запросы в Google

Для большинства рядовых пользователей Google лимит в 10 ключевых не заметен. Но любители длинных запросов, наверное, заметили, что Google принимает во внимание только первые 10 ключевых слов, а все остальные просто игнорируются.

Зачем нужно искать длинные фразы? В большинстве случаев - это отрывки произведений. Предположим, что мы ищем произведение "Мастер и Маргарита". Нужно отметить, что ключевая фраза должна выглядеть как "Мастер Маргарита", поскольку слова и, или, and, of, or, I, a, the и некоторые другие игнорируются поисковой машиной. Если вы хотите принудительно включить одно из этих слов в поиск, поставьте перед этим словом знак "+", например +the.

Преодолеть лимит в 10 слов позволяет правильное построение запроса. Следующие рекомендации помогут вам не только сократить длину запроса, но и повысить эффективность поиска в целом.

Расширенный поиск Google

Набираем в строке ввода браузера адрес - www.google.ru/advanced_search и переходим на расширенный поиск Google.

С помощью расширенного поиска можно искать информацию почти также гибко, как и с помощью модификаторов поиска. Почему "почти"? Интерфейс расширенного поиска предоставляет доступ далеко не ко всем модификаторам поиска.

Установка свойств поиска Google в Cookies браузера

Мне не хочется забивать вам голову техническими подробностями, поэтому я кратко скажу, что такое Cookies и нет, не с чем их едят, а как с ними нужно работать.

Представим, что перед нами поставлена такая задача: нужно написать индивидуальный отчет посещения для каждого клиента сайта нашей компании. То есть, чтобы пользователь не видел общее количество посещений, знал, сколько раз именно он был на нашем сайте. Для каждого IP-адреса нужно вести учет в одной таблице, которая, скорее всего, будет большой, а из этого следует, что мы нерационально используем процессорное время и дисковое пространство. Гораздо правильнее с нашей стороны будет использовать это пространство с большей пользой.

Результат поиска Google

Результат поиска Google - это не просто набор ссылок, соответствующих указанным условиям поиска. Это нечто большее, заслуживающее отдельного рассмотрения. Введите слово "rusopen" и щелкните на кнопке Поиск в Google.

В верхней части мы видим общее количество результатов (883 000 000) и общее время, которое занял поиск, а именно 0,34 секунды.

    В большинстве случаев результат представляется в виде:
  • название страницы;
  • описание страницы;
  • URL страницы;
  • размер страницы;
  • дата последнего индексирования страницы;

Google поиск по картинкам

Служба Google Images позволяет найти различные изображения в Интернете. Хотя сами изображения индексировать нельзя, индексируются страницы, содержащие эти изображения. Введите описание изображения и получите много, очень много ссылок, а также сами изображения, представленные в виде галереи.

    Для более эффективного поиска картинок нужно использовать следующие модификаторы поиска:
  • intitle: - поиск в заголовке страницы;
  • filetype: - позволяет указать тип картинки, можно указывать следующие типы: JPEG and GIF, not BMP, PNG, изображения других типов не индексируются;
  • inurl: - поиск по указанному URL, например inurl: www.gidmir.ru;
  • site: поиск на указанном домене или сайте, например, site: com.

Службы Google

Google - это мощнейшая поисковая система, охватывающая более 3 миллиардов страниц. Кроме обычных веб-страниц, Google индексирует файлы в форматах Word, Excel, PowerPoint, PDF и RTF. Также Google можно использовать для поиска картинок и номеров телефонов: для этого предназначены, соответственно, служба Google Images и Phonebook. В этой статье мы поговорим о специальных службах Google.

Электронная почта Google

Попробуйте использовать почту от Google. Нужно отметить, что это не совсем обычная веб-почта.

    Среди особенностей Gmail нужно выделить следующие:
  • огромный размер почтового ящика - более 7 Гбайт;
  • вместо удаления писем их можно архивировать - тогда и места вам хватит надолго, и сможете восстановить письма, которые были получены или отправлены вами несколько лет назад;
  • возможность поиска по почтовому ящику с эффективностью Google;
  • удобная организация писем и ответов на них: все письма и ответы составляют одну цепочку, которую легко отслеживать;
  • хорошая защита от спама;
  • запоминающийся адрес ваше_имя@gmail.com;
  • удобный интерфейс.

Поисковая система Рамблер (Rambler)

История Рамблера

Все началось в далеком 1991 году в городе Пущино Московской области. В том далеком году собралась группа единомышленников, среди которых были Дмитрий Крюков, Сергей Лысаков, Виктор Воронков, Владимир Самойлов, Юрий Ершов. Общим интересом этой группы стал Интернет. Наверное, в 1991 году ни один из будущих разработчиков Рамблера и не предполагал, что они станут создателями одной из самых крупных и известных поисковых машин Рунета. Ведь до этого все они обслуживали радиотехнические приборы в Институте биохимии и физиологии микроорганизмов РАН. В 1992 году была создана компания "Стек" во главе с Сергеем Лысаковым. Профиль компании - локальные сети и Интернет. По сути, компания "Стек" была интернет-провайдером. Фирма создала внутригородскую сеть, затем подключила Пущино к Москве, а уже через нее - к Интернету. Кстати, это был первый IP-канал, выходящий за пределы Москвы. И это в 1992 году! Сейчас проложить канал довольно проблематично - всегда найдется масса нюансов, а тогда кабели приходилось прокладывать самостоятельно, вручную, под землей, причем все это делалось зимой.

Как работал поиск Рамблер

Интернет постоянно развивается: число сайтов и их размеры увеличиваются с каждым днем. Ведь только представьте: большие сайты обновляются каждый день, даже если объем обновлений составляет 1024 байт (1 Кбайт), то если предположить, что таких сайтов 10 000, каждый день поисковой машине приходится обрабатывать (индексировать) 10 000 Кбайт (грубо говоря, 10 Мбайт) информации. Число 10 000 взято "с потолка" - примера ради. Оно может быть выше или ниже - ведь даже крупные сайты обновляются не каждый день. Размер обновления также надуман. Представьте информационно-аналитический сайт, на котором практически каждый день публикуются новые статьи или перепечатываются материалы с других сайтов. В этом случае размер обновлений будет далеко не 1 Кбайт, а как минимум 10. Добавьте ко всему этому еще новости и другую информацию и выходит, что при количестве обновленных сайтов 10 000 поисковая машина должна проиндексировать 120 Мбайт текста. И при всем этом поисковик должен не только точно отобразить результаты поиска, но еще и сделать это как можно быстрее, чтобы пользователю было удобно с ним работать. Кому захочется ждать результатов поиска 10 минут? Это я, конечно, утрирую, но лично я бы не ждал результатов поиска более 30 секунд (с момента щелчка по кнопке Найти до появления первых десяти результатов). Выходит, разработчикам поисковой машины приходится постоянно поддерживать на должном уровне не только "железо", которое должно быть в состоянии обрабатывать постоянно растущие объемы информации, но и "математику" одним железом не возьмешь. Нужно постоянно совершенствовать алгоритмы поиска, чтобы при увеличении объемов поисковой базы, время поиска не увеличивалось (имеется в виду существенное увеличение времени - для пользователя нет разницы, сколько будет выполняться поиск 2,5 секунды или 2,0555 секунды, поскольку он не в состоянии оценить это время).

Рамблер запросы, синтаксис Рамблера

Запрос к Рамблеру мог состоять из одного или нескольких слов, причем запрос мог содержать знаки препинания. Разработчики Рамблера сконструировали свою поисковую машину для максимального удобства пользователя. Рамблер мог использовать даже неопытный пользователь, который совсем не знаком с языком запросов. Все, что ему нужно было сделать, - это ввести запрос, состоящий из нескольких слов (например, какую-то фразу) и без знаков препинания - Рамблер сам находил нужные документы, причем делал это максимально эффективно. Конечно, если правильно использовать язык запросов, эффективность значительно увеличивалася, но даже при полном незнании языка запросов эффективность поиска была на высоком уровне. Как уже отмечалось, знание языка запросов - в ваших же интересах, вы просто сможете найти нужную вам информацию значительно быстрее.

Поисковая система Yandex (Яndex)

Историческая справка

В далеком 1990 году в компании «Аркадия», которую возглавляли Аркадий Борковский и Аркадий Волож, началась разработка поискового программного обеспечения. Спустя шесть лет появился сайт «Яндекс». Но что же произошло за эти шесть лет?

За два года были созданы две информационно-поисковые системы - «Международная Классификация Изобретений» и «Классификатор Товаров и Услуг». Обе системы работали под DOS и позволяли производить поиск слова из заданного словаря с использованием логических операторов.

В 1993 году компания «Аркадия» стала подразделением CompTek. За 1993-1994 годы значительно усовершенствовались технологии поиска, например, словарь, обеспечивающий поиск с учетом морфологии русского языка, занимал всего 300 Кбайт, а это значит, что он свободно помещался в оперативную память, и работа с ним происходила очень быстро. На основе этой новой технологии в 1994 году был создан «Библейский компьютерный справочник» - информационно-поисковая система, работающая с переводами Ветхого и Нового Заветов.

Языковой поиск Яндекс

Как поисковая система будет интерпретировать введенное вами слово?

    Сейчас мы об этом и поговорим:
  • Правило 1. Оказывается, система интерпретирует его согласно правилам русского языка. Пример: если вы ввели слово "машина", то также получите результаты, содержащие слова "машины", "машину" и т.д. Аналогично и с глаголами - по запросу "идти" получите документы, содержащие слова "идти", "идет", "шел", "шла" и т.д. Как видите, поисковая система более интеллектуальная, чем вы думали - это не просто средство для поиска определенного слова в базе данных.
  • Правило 2. Особое внимание уделяется словам, написанным с большой буквы. Если слово написано с большой буквы и не является первым в предложении, то будут найдены только слова с большой буквы. Иначе - будут найдены слова, написанные как с большой, так и с маленькой буквы. Пример: по запросу "Такса А." будут найдены документы, содержащие как "такса" (плата), так и "Такса" (фамилия), поскольку слово "Такса" хоть и написано с большой буквы, но оно стоит первым в предложении. А вот по запросу "А. Такса" будут найдены документы, содержащие только слово "Такса", написанное с большой буквы.

Синтаксис Яндекса

По умолчанию Яндекс использует логический оператор И. Это означает, что если вы ввели запрос "телевизор Samsung", то в результатах получите документы, в которых в одном предложении будут встречаться слова "телевизор" и "Samsung". Если вы хотите указать оператор И явно, то используйте символ амперсанда &. Другими словами, запрос "телевизор Samsung" аналогичен запросу "телевизор & Samsung". Можно также использовать запрос "телевизор + Samsung".

Если вам нужен обратный эффект, т.е. вы хотите получить документы, в которых есть отдельно слово "телевизор" и отдельно слово "Samsung", то вам нужно использовать оператор ИЛИ (|), например: "телевизор | Samsung".

Синтаксис запросов Яндекс

Все слова в тексте документа Яндекс нумерует по порядку. Расстояние между соседними словами равно 1 (а не 0!), а расстояние межу словами в обратном порядке равно -1. То же самое относится и к предложениям.

Для указания расстояния между словами ставится знак /, за которым сразу стоит число, значит, это расстояние между словами. Например, по запросу "разработчик /2 программ" будут найдены документы, в которых содержатся слова "разработчик" и "программ", причем расстояние между словами должно быть не более двух слов и все эти слова должны быть в одном предложении. В данном случае будут найдены документы, содержащие "разработчик прикладных программ", "разработчик системных программ" и т.д.

Если нам точно известны расстояние и порядок слов, то можно воспользоваться синтаксисом /+n. Например, запрос "красная /+1 шапочка" приведет к результату, в котором слово "шапочка" следует сразу за словом "красная". К такому же результату привел бы запрос "красная шапочка".

Операторы поиска Яндекс

Скобки используются для представления в запросе целого выражения. Например, по запросу "(история | технологии | программы)/+1 Linux" будут найдены документы, содержащие одну из фраз "история Linux", "технологии Linux", "программы Linux".

Зоны

Зона - это место поиска нужной вам информации. Вы можете задать зону, в которой вы хотите выполнить поиск - заголовках (зона Title), ссылках (anchors) или адресе (Address). Можно также использовать зону all - поиск по всему документу.

Синтаксис: $имя_зоны запрос.

Например: запрос $title "Microsoft" найдет все документы, в заголовках которых встречается точная фраза "Microsoft".

Дополнительные возможности поиска Яндекс

Поисковая машина Google позволяла ограничить место поиска определенным списком серверов или же, наоборот, исключить некоторые серверы из списка поиска. Точно такие же возможности есть и в поисковой машине Яндекс. Вы также можете искать документы, в которых есть ссылки на определенные URL или картинки. При задании маски файла (например, картинки) можно использовать символ *, означающий все символы, например: ”audi-*”.

Синтаксис следующий: #имя_элемента=”значение”.

Помощь сайту
RusOpen.com - это некоммерческий проект. Это значит, что он не приносит прибыли и держится исключительно на Вашем энтузиазме и личных средствах Администрации сайта.
Яндекс.Метрика
Наверх