|
Что такое ID-Search.org?
ID-Search.org - это научно-исследовательский проект группы российских аспирантов из Санкт-Петербурга, Нижнего Новгорода и Новосибирска. Проект создавался как полигон для испытания технологий и программного обеспечения для поиска информации, разработанных группой молодых учёных.
ID-Search.org проектировался для упрощения поиска специализированной информации среди ресурсов, полученных из поисковых систем общего назначения.
Проект получил развитие благодаря грантам нескольких иностранных компаний, занимающихся исследованием в области информационного поиска.
Поисковая система ID-Search.org представляет собой набор программных компонент, запущенных на высокопроизводительной кластере машин, имеющих быстрое подключение к сети Internet.
Начальные релевантные ресурсы получаются из поисковых систем общего назначения, таких как Google, MSN и Yahoo.
Далее робот обходит эти ресурсы, создавая базу данных найденной информации.
После окончания обхода запускается компонента, выполняющая создание словаря и компонента, которая выполняет поиск по словарю в базе данных ресурсов, которые максимально удовлетворяют первоначальному запросу.
Как стать пользователем поисковой системы ID-Search.org?
Если Вы хотите получить подробную информацию о поисковой системе, а также воспользоваться нашими разработками, пожалуйста, отправьте письмо с запросом на адрес нашей поддержки, и мы обязательно рассмотрим Ваш запрос.
Мы являемся научно-исследовательской группой, поэтому мы можем отказать Вам в сотрудничестве, если Ваша поисковая задача лежит вне поля наших научных интересов.
Как стать спонсором команды ID-Search.org?
Команда ID-Search.org постоянно ищет спонсоров. Если Вы или Ваша компания заинтересована в развитии поисковых технологий, свяжитесь с нами по этому адресу. Каждый спонсор имеет полный доступ к результатам нашей работы. Мы уверены, что сможем найти область применения наших знаний, результаты которой будут максимально полезны.
Что такое IDBot?
IDBot - название робота поискового проекта ID-Search.org. Ресурсы, по которым ходит поисковый робот IDBot взяты из общедоступных поисковых систем. IDBot реализован в строгом соответствии со спецификаций гипертекстового протокола передачи данных.
С какой скоростью IDBot посещает страницы моего сайта?
Когда IDBot начинает обработку Вашего сайта, он переходит со страницы на страницу примерно раз в секунду. Если IDBot сталкивается с несколькими поддоменами одного домена, они автоматически кладутся в очередь, которая создана для того, чтобы не вызывать перегрузки веб-сервера, на котором находится индексируемый сайт.
Так как мы являемся научно-исследовательским проектом и не обладаем ресурсами промышленных поисковых систем, то скорее всего Ваш сайт будет посещён нашим роботом один - первый и последний раз.
Поисковый робот IDBot сканирует сайт слишком быстро. Что сделать в этом случае?
В таком случае мы заранее приносим свои извинения за некорректную работу нашего поискового робота. Мы обязуемся исправить данное поведение, если Вы сообщите нам об этом, написав письмо на адрес поддержки проекта. В письме, пожалуйста, пришлите ссылки на ресурсы и логи посещений Ваших ресурсов роботом IDBot в любой удобной для Вас форме.
Мы стараемся делать так, чтобы работа нашего робота не вызывала неудобств у других пользователей глобальной сети.
Как навсегда запретить IDBot сканировать мой сайт?
Пожалуйста, пришлите письмо по этому адресу и наш поисковый робот уже никогда не вернётся на Ваш ресурс.
Если посещение Вашего ресурса нашим роботом было нежелательным для Вас, мы приносим свои извинения за беспокойство.
Почему мой сайт посещали роботы IDBot с разных машин?
ID-Search.org представляет собой кластер компьютеров, расположенных в нескольких датацентрах в Европе и Америке. Это позволяет производить индексацию ресурсов с максимальной скоростью.
Если на Ваш сайт IDBot заходил несколько раз, значит на основе предыдущего опыта был сделан вывод о целесообразности использования сервера проекта, расположенного в другом датацентре.
Могу ли я узнать IP-адреса, с которых приходит IDBot?
К сожалению, нет. Это противоречит нашим внутренним правилам.
По каким типам ссылок переходит IDBot?
IDBot выполняет переход по ссылкам вида href.
Что сделать, если поисковый робот IDBot вызывает слишком большую нагрузку на мой сервер?
В этом случае Вам следует незамедлительно связаться с поддержкой проекта, указать ссылки на Ваши ресурсы, а также описать проблему так, как Вы считаете нужным.
Желательно включить в письмо часть статистики, где отображена активность IDBot. Также Вы можете запретить IDBot индексировать Ваши ресурсы в будущем, отправив письмо на адрес поддержки проекта, в этом случае наш робот больше никогда не зайдёт на Ваш ресурс.
Почему мой брэндмауэр сообщает о несанкционированном доступе с серверов системы ID-Search.org?
Если Ваш брандмауэр или программа мониторинга сети сообщает о подозрительных соединениях TCP, которые указывают на сервера проекта ID-Search.org, имейте в виду, что брандмауэры могут быть неправильно настроены на сообщение о "подозрительной активности" и попытках вторжения. Все полученные нами сообщения об активности такого рода, в действительности, были связаны с неправильными настройками брэндмауэров.
Понимает ли IDBot директивы файла robots.txt?
IDBot распознаёт директивы robots.txt лишь частично, это связано с ограниченностью наших вычислительных ресурсов. Полная поддержка robots.txt будет включена в скором времени.
|
