Caffeine - новая система индексирования веб-сайтов

Киев, 9 июля, 2010 - Несколько слов для тех, кто не так хорошо знаком с поисковыми технологиями. Когда вы ищете информацию в Google, вы не работаете с «живой» сетью. Поиск осуществляется по индексу сети, созданному Google. Этот индекс очень похож на предметный указатель в конце книги, помогающий вам найти нужную информацию.

Зачем нам понадобилось создавать новую систему индексации? По двум причинам. Во-первых, количество информации в сети растет, а форматы ее представления становятся все разнообразнее. На современном сайте вы найдете видеоролики, изображения, новости и обновления в реальном времени. Страницы стали насыщеннее и сложнее по структуре. Во-вторых, люди ждут намного большего от поиска. Пользователей интересует самая свежая информация по теме, а издатели хотят, чтобы их аудитория могла найти материал сразу же после публикации.

Чтобы не отставать от стремительного развития сети и удовлетворять растущим ожиданиям пользователей, мы и создали систему Caffeine. На картинке вы видите, как работала старая система индексации и как теперь работает новая.

В нашем старом индексе было несколько слоев, некоторые из которых обновлялись регулярнее, чем другие. Большая часть индекса обновлялась каждые две недели. Чтобы обновить слой индекса, нам нужно было проанализировать всю сеть, что создавало задержку между моментом нахождения страницы и тем, когда она становилась доступной пользователю.

Caffeine, в свою очередь, позволяет нам анализировать информацию в Интернете «по частям» и непрерывно обновлять наш поисковый индекс. Это означает, что результаты поиска будут отображать максимально свежую информацию, вне зависимости от времени и места публикации.

Каждую секунду система обрабатывает сотни тысяч страниц. Если мы представим себе, что эти страницы бумажные, стопка из них росла бы со скоростью около 5 км в секунду. В базе данных Caffeine содержится порядка 100 млн. гигабайт данных, а новая информация добавляется со скоростью нескольких сотен тысяч гигабайт в день. Вам бы понадобилось 625 тысяч iPod-ов с самым большим объемом памяти, чтобы сохранить такой массив информации.

При создании Caffeine мы ориентировались на будущее Интернета. Эта система является отличной основой для построения других, более быстрых и объемных индексов, так как она способна лучше адаптироваться к развитию сети. Этим летом появятся и другие улучшения. Следите за новостями!