Раскрутка

Баны доров (ру)

Есть предположение что яндекс может блокировать сайты (но мы то знаем что это за сайты ) автоматом. Но есть наблюдения, что одни попадают под такой бан, а другие выживают (при равных, дата создания, большое кол-во страниц и т.д)
Почему автоматом? Доры просто не переживают ап, до этого чувствуют себя отлично.
Предположение, возможно это из-за количества страниц? И нужно их скармливать потихоньку...
У кого, какие мысли?
Есть мысль что некоторые доры банятся еще на уровне попадания в индекс. А по большим дорам, то действительно сейчас они живут обычно 1 ап после попадания в индекс большого количества страниц - 50 - 100 К. То есть идет всплеск трафа до следующего апа и тишина, полный бан.
И что самое интересное, последнее время заметил бан доров и в междуапье.
Сообщение от A&J
бан доров и в междуапье
тут возможно по стуку...
Сообщение от A&J
То есть идет всплеск трафа до следующего апа и тишина, полный бан.
но, у некоторых сайтов же и так большая посещаемость, не банят же...
Сообщение от ёгурт
но, у некоторых сайтов же и так большая посещаемость, не банят же...
гм. но динамика набора этой посещаемости ведь разная.
Сообщение от response
гм. но динамика набора этой посещаемости ведь разная.
тоесть, если ограничить индексацию, и всё делать постепенно, сайт будет жить?
буду тестить
Сообщение от ёгурт
тоесть, если ограничить индексацию, и всё делать постепенно, сайт будет жить?
не знаю, это лишь предположение. я вообще не сваливаю никогда кучу страниц, а сначала бквально пару десятков, потом каждый день-два автоматом тулза сливает обновления, забитые на пару недель вперед.
зы
важное уточнение: я не чистой воды доры кладу. скорее сплоги.
Сообщение от response
тулза сливает обновления, забитые на пару недель вперед.
ссылки на новые страницы в карту сайта добавлять?
я вот думаю потестить, просто каждый час на странице будут обновляться ссылки на внутренние страницы, процесс будет зациклен...
тоесть, ограничу кол-во индексируемых страниц за раз )
Сообщение от ёгурт
ссылки на новые страницы в карту сайта добавлять?
угу, в карту, либо с морды, есть карты как таковой нет.
Сообщение от ёгурт
я вот думаю потестить, просто каждый час на странице будут обновляться ссылки на внутренние страницы, процесс будет зациклен...
тоесть, ограничу кол-во индексируемых страниц за раз )
нидогнал. почему каждый час? почему не после захода работа? ведь может случиться так, что робот будет заходить ровно тогда, когда на сайте будт стоять один и тот же блок ссылок )
response, ну как, это и будет ограничение, что бы сайт попадал в базу постепенно, а не резко на 3 ап 5к новых страниц...
пусть будет по 200-300 за ап, тогда развитие сайта будет похоже на естественное
Сообщение от ёгурт
response, ну как, это и будет ограничение, что бы сайт попадал в базу постепенно, а не резко на 3 ап 5к новых страниц...
пусть будет по 200-300 за ап, тогда развитие сайта будет похоже на естественное
к вам робот каждый час заходит, фиксированно?
Сообщение от response
к вам робот каждый час заходит, фиксированно?
неееет, но при каждом заходе он будет индексировать ограниченное количество страниц )
и не получится что 2 бота зависнут на сайте на 2 дня )
момент, сайт в бане (в выдаче его нет), но по логам Яндекс сайт индексирует что это? Т.е бот заходит запрашивает страницы, всё как положено
вообще мусор также вычисляется по количеству низкочастотников на количество проиндексированых страниц страниц учитывая соотношения среднечастотников и низкочастотников
Сообщение от hi4
вообще мусор также вычисляется по количеству низкочастотников на количество проиндексированых страниц страниц учитывая соотношения среднечастотников и низкочастотников
Во загнул
Кстати я заметил что с Рамблером такая же беда произошла.У меня лежит непроиндексированные 700К страниц. Яндекс есть в логах, Рамблер вначале был сейчас нету. Доры от 4 апреля. Или вот думаю по может Рамблер по ИПам вычеслил?
Сообщение от ёгурт
момент, сайт в бане (в выдаче его нет), но по логам Яндекс сайт индексирует что это? Т.е бот заходит запрашивает страницы, всё как положено
Так он и по баненым ходит... Только в индекс не добавляет...
Flint, спасибо, я тут узнал уже, прям стыдно что такой вопрос задал ((
нужно самому ответ найди было, оказывается это уже всем известно )
Сообщение от Maximus325
Или вот думаю по может Рамблер по ИПам вычеслил?
это получается, все сайты которые на этои ИПе он индексировать отказывается? А если это хостинг, не тут наверное что-то посложнее должно быть.
+посмотрел на своих, 1- 440 страниц, 2 - 369 и 3ий - 1944 (все 3 на одном ИПе)
Может конечно, он пока не знает что это доры, но посмотри как дальше себя поведет.
Сообщение от Maximus325
Или вот думаю по может Рамблер по ИПам вычеслил?
Врятли, скорей по шаблону доров, меняй шаблоны почаще и будет все вылазить значительно веселее.
Сообщение от Maximus325
Или вот думаю по может Рамблер по ИПам вычеслил?
Бывает у него такое, любит он массовые зачистки устраивать. А может просто притормозил - такое тоже бывает, уж про доры забыть успеешь и вдруг трафик как попрет. Смотришь, а это Рамблер разродился.
А я заметил, что больше 8k Яндекс не индексит. Так что большой дор (100k - 1kk) лучше разбить на несколько частей. Домены лучше через прокси регить. Также имхо чем больше дор, тем меньше он живет (редиректный естественно).
Сообщение от ёгурт
момент, сайт в бане (в выдаче его нет), но по логам Яндекс сайт индексирует что это? Т.е бот заходит запрашивает страницы, всё как положено
Обычное дело. Он так еще несколько лет может ходить.
Сообщение от Ярик
Бывает у него такое, любит он массовые зачистки устраивать. А может просто притормозил - такое тоже бывает, уж про доры забыть успеешь и вдруг трафик как попрет. Смотришь, а это Рамблер разродился.
Цвет меняю каждый саб.
Вообще доры без редика и с контентом. Фактически это ФХГ.
А по НСам палить может Рама?
Кстати заметил что с Рамы часть трафа идёт без рефера, у всех так?
Сообщение от Maximus325
Цвет меняю каждый саб.
Вообще доры без редика и с контентом. Фактически это ФХГ.
Значит просто тормозит.
Сообщение от Maximus325
А по НСам палить может Рама?
Не знаю, не сталкивался - но по ИП точно банит
Сообщение от Maximus325
Кстати заметил что с Рамы часть трафа идёт без рефера, у всех так?
Хм, не наблюдал - может просто не заметил. И много?
Много, почти 40% (последняя графа)
total 193752 75475 (39.0%) 30240 (15.6%) 68995 (35.6%)
Сообщение от Ярик
но по ИП точно банит
По ip рамблер как раз таки точно не банит, у меня доры на глобоксхосте, в рамблере вылазят отлично, а уж на их айпишниках доров немерянно
Сообщение от hi4
вообще мусор также вычисляется по количеству низкочастотников на количество проиндексированых страниц страниц учитывая соотношения среднечастотников и низкочастотников
и как же, хотя бы теоритически, можно из кучи текста вычленить количество низко/высокочастотников? с ВЧ еще можно, их хоть ограниченное количество. а НЧ - неограниченное. поэтому максимум, что может быть - счетчик количества переходов на сайт по НЧ запросам, что совершенно ничего не даёт. есть еще маленький вариантик, но его я еще не обдумал
Сообщение от Maximus325
Кстати я заметил что с Рамблером такая же беда произошла.У меня лежит непроиндексированные 700К страниц. Яндекс есть в логах, Рамблер вначале был сейчас нету. Доры от 4 апреля. Или вот думаю по может Рамблер по ИПам вычеслил?
ну а как по-вашему, насколько адекватное появление белого сайта с 700к страниц? я бы засомневался, что такое бывает. да, можно говорить о интернет-магазинах, но такие магазины продвигают и продвигают не спамингом по гостевым, так что отличия налицо.
насчет банов по ip - однозначно все доры на 1 ip выкладывать это бред рано или поздно такой адрес всё равно забанят - это очевидно.
Сообщение от fervent
ну а как по-вашему, насколько адекватное появление белого сайта с 700к страниц? я бы засомневался, что такое бывает. да, можно говорить о интернет-магазинах, но такие магазины продвигают и продвигают не спамингом по гостевым, так что отличия налицо.
у меня было - перенес форум на новый домен, сразу появилось около 100к страниц, все проиндексировалось быстро и без проблем, потом еще и в ЯК сайт бесплатно взяли.
Мы тут говорим про RU доры, а их массовым спамингом по гестам не продвигают (пару десятков беков с гест отрицательно не скажутся никак), если кто-то так и делает, то это совсем тяжелый случай , они еще простые жаба-редиректы юзают
Сообщение от fervent
.... есть еще маленький вариантик, но его я еще не обдумал
Выкладывай, вместе обдумаем
АП опять потери...
странно, данных для анализа конечно маловато, но не могу понять почему один выжил... а соседи его утопали в бан
ёгурт, скорее всего, ему поперло на невнимательного аксессора
Но все равно они каждый домен проверяют несколько раз... (то есть через недельку, еще через одну итд)
Revan, дело в том что он пережил сайты, которые уже были запущены после него...
есть статистика по кол-ву индексируемых страниц в ап, вот у него она отличается от остальных, может дело в этом...
ёгурт, Я тут ради эксперимента сделал пару доров в конце зимы. Несколько к страниц на каждом. Контента много, но весь морковка. И забыл редирект воткнуть Траф они неплохой начали грести, около 2к в день. Потом вспомнил, поставил редирект, пришлось правда все страницы затереть и новые заливать. Траф упал конечно в разы да и из яндекса выпали, но в раме все живут.
ПыСы. Насчет бана - эти два дора только в раме и остались Но ботов пасется целое стадо постоянно.
Googlebot11785.96 МБ15 Май 2007 - 11:16
StackRambler9961.59 МБ12 Май 2007 - 22:04
psbot6184.29 МБ09 Май 2007 - 10:08
Yandex bot486352.83 КБ14 Май 2007 - 03:01
Java (Often spam bot)113802.59 КБ08 Май 2007 - 09:34
Yahoo Slurp88512.62 КБ15 Май 2007 - 09:51
GigaBot18127.25 КБ15 Май 2007 - 03:01
MSNBot1185.92 КБ07 Май 2007 - 06:37
Alexa (IA Archiver)321.67 КБ05 Май 2007 - 11:26
BaiDuSpider326.63 КБ06 Май 2007 - 05:04
А я заметил, что больше 8k Яндекс не индексит. [skip] Домены лучше через прокси регить.
Спасибо, повеселился
Сообщение от Real
но в раме все живут
рама хорошо, но яндекс лучше