Поиск
Теги
Aliexpress 181
BLM 21
Calella 147
exler.ru 319
авто 482
аудио 7
Барселона 111
Беларусь 34
бытовуха 1504
в мире 156
вакцинация 18
велосипед 40
видео 4367
вино 363
война 633
выставки 217
гаджеты 1847
гламурье 23
детишки 46
ебанариум 23
еда 545
ЕС 89
железо 362
животные 239
жулики 248
забавно 2140
здоровье 103
игры 119
Израиль 114
ИИ 76
интересно 391
Интернет 1307
искусство 302
Испания 1254
истории 156
история 9
Италия 8
картинки 626
Каталония 136
кино 1645
Китай 6
книги 230
коронабесие 119
коронавирус 298
коронажизнь 65
кретинизм 322
криминал 1
маньяна 19
маразм 219
Маск 45
медицина 47
мне пишут 49
мои фото 218
Мордор 2905
Москва 20
музыка 924
наука 10
новости 27
о высоком 155
о низком 292
обновление 3165
паноптикум 177
поездки 1094
полезное 7
попы 201
праздники 22
происшествия 138
разное 1532
ребенок 13
реклама 427
связь 18
сериал 165
скандалы 11
скорблю 131
СМИ 2907
софт 984
социалка 187
спорт 139
США 227
СЭКС 44
технологии 184
толерастия 12
Трамп 163
трэш 9
туры 21
Украина 47
фотография 211
Франция 48
шарлатаны 31
шоу 6
экотерроризм 27
Экслер 1085
юмор 22
видео 4367
обновление 3165
СМИ 2907
Мордор 2905
забавно 2140
гаджеты 1847
кино 1645
разное 1532
бытовуха 1504
Интернет 1307
Испания 1254
поездки 1094
Экслер 1085
софт 984
музыка 924
война 633
картинки 626
еда 545
авто 482
реклама 427
интересно 391
вино 363
железо 362
кретинизм 322
exler.ru 319
искусство 302
коронавирус 298
о низком 292
жулики 248
животные 239
книги 230
США 227
маразм 219
мои фото 218
выставки 217
фотография 211
попы 201
социалка 187
технологии 184
Aliexpress 181
паноптикум 177
сериал 165
Трамп 163
в мире 156
истории 156
о высоком 155
Calella 147
спорт 139
происшествия 138
Каталония 136
скорблю 131
игры 119
коронабесие 119
Израиль 114
Барселона 111
здоровье 103
ЕС 89
ИИ 76
коронажизнь 65
мне пишут 49
Франция 48
Украина 47
медицина 47
детишки 46
Маск 45
СЭКС 44
велосипед 40
Беларусь 34
шарлатаны 31
экотерроризм 27
новости 27
ебанариум 23
гламурье 23
юмор 22
праздники 22
туры 21
BLM 21
Москва 20
маньяна 19
вакцинация 18
связь 18
ребенок 13
толерастия 12
скандалы 11
наука 10
история 9
трэш 9
Италия 8
аудио 7
полезное 7
Китай 6
шоу 6
криминал 1
Информация
Что ещё почитать
Клуб убийств по четвергам
15.09.2025
36
Отечественные статуи тигровых бульонов
10.10.2025
71
ну ввела я эту строку. ДСП выпало 128 документов 2004-2008 годов, причем все совершенно однотипные с лабудой какой-то. Секретно выпало 48 документов, но если их открыть, там вымарано все. В чем кипеж?
Я никогда эту ерунду не использовал и всегда предпочитал избавляться от роботов небольшим модулем, который загружался перед любым скриптом (соответствующая настройка в php.ini) и по юзер-агенту, а также некоторым поведенческим характеристикам (например, блокировка IP-адреса после 7,5,3 входов без куки), просто показывал роботу пустую страницу.
В правилах Яндекса, правда, кажется было упоминание о том, что запрещается подставлять роботу страницу, оптимизированную для него, но пустая страница вместо страницы, на которой роботу делать нечего, - это несколько иное, нежели вывод кучи сеошных ссылок, и в подтверждение этого за 10 лет ни разу не блокировали.
Плюс этот метод позволяет вести очень точную статистику и добавлять еще один уровень защиты от DDoS.
2) Инет-магазины - а что-ж вы не прописали свои "секретные" урлы в robots.txt
3) ЖД-билеты - опять роботс
4) Правительственные доки - опять тот же роботс.
Прочие возражения как-то игнорируются СМИ, акцент, с нарастающим накалом - на robots.txt
Посыл лежит на поверхности - если у вас на сайте есть приватные документы или папки, самое время указать их доборовольно. Просто, перечислите их все в пресловутом файле, и мы вам гарантируем, что в поиске их никто не увидит. Спасибо. Время пошло.
При этом, правда, почему-то не учитывается, что robots.txt открыт всем желающим (наберите, например, http://www.exler.ru/robots.txt - и можете полюбопытствовать, что в папочках у Алекса, о которых вы и не знали).
Ладно хоть "особой важности" нет...
В целом удручает.
Допрыгался. Вор должен сидеть в тюрьме!
Это ж файл созданный для того, чтоб сократить расходы разведслужбам 😄
Чего там в "мусоре" копаться, заглядываешь в robots.txt, и сразу видишь, какие разделы индексировать, чтоб "половить рыбку". 😉
Являются. По крайней мере тот, что я глянул. "Для служебного пользования" написано справа-вверху белым по белому 😄 Воспользуйтесь в Ворде поиском, а потом измените цвет шрифта.
А отмазки про robots.txt - это для лохов и блондинок.
И к сведению robots.txt является рекомендацией для роботов, а не 3-мя законами Азимова. Тот же яндекс-бот спокойно лазает по запрещенным урлам, просто они не попадают в поиск. Но если в запрещенной для индексирования странице окажется уникальная ссылка на разрешенную, то она в поиск уже попадет.
ФАС и Счетная палата опровергли факт утечки секретных документов
lenta.ru/news/2011/07/26/railleak/
Конкретно в случае с этими документами сложно назвать причину. Но про другие скандальные находки последних дней могу рассказать.
1. «закрытие от индексирования» — это всего лишь рекомендация поисковику, что не стоит индексировать эту страницу (или ее часть). Т.е. именно «закрыть» не так то просто.
2. очень многие сайты используют «секретные» URL'ы. Для подтверждения регистрации, для отслеживания заказа, для восстановления пароля и т.д. Дело в том, что такой УРЛ удобно отправлять по почте. И учитывая что этот секретный УРЛ знает только получатель письма — можно надеятся, что на страницу больше6 никто не попадет.
3. есть общепринятое представление, как работают поисковики:
- адрес сайт сообщается поисковику
- поисковый краулер бегает по всем ссылкам сайта, заходит на все страницы, анализирует их содержимое и индексирует.
То есть — исходя из этого принципа по секретному URL поисковик перейти не мог в принципе.
НО! В действительности оказалось, что кроме открытых ссылок поисковик индексировал страницы на которых был установлен код Яндекс-метрики. В том числе и те секретные из п.п. 2. Возможно то же происходит, если установлен Яндекс-бар.
Нигде такая особенность работы не афишировалась!
В общем я не стал бы все валить на админов. Вина поисковиков по крайней мере не меньше.
Все приличные сайты, с которыми я сталкивался, защищают подобные страницы авторизацией.
И уж точно используют https
Секретных URL не бывает по определению. Кроме того, если все-таки хочется использовать подобную схему, есть довольно способов обеспечения безопасности, даже если эта ссылка и попадет поисковику. Например: ограничение срока действия ссылки, ограничения количества переходов по ссылке и т.п.
abarmot: То есть — исходя из этого принципа по секретному URL поисковик перейти не мог в принципе.
Если такая страница каким-либо образом ссылается на сторонний ресурс (картинка, счетчик, баннер), либо с такой страницы переходят по ссылке на сторонний ресурс, то адрес этой страницы уже передается третей стороне.
Что уж говорить о "секретных" документах, если недавно задержанный по подозрению в педофилии сотрудник Пенсионного фонда РФ занимался преступными действиями в том числе и в своем рабочем кабинете, через Интернет. Такое впечатление, что какая-либо фильтрация трафика там вообще отсутствует.
ЗЫ это яркий пример как ЦРУ руками куплденнного ими гугла пытается навредить нашей стране, а диссидентам из майл.ру видимо мало денег дали
ЗЗЫ онищенке пора запретить смартфоны на андроиде как отрицательно воздействующие на психику россиян
А еще можно побаловаться с тегами "совершенно секретно" и посмотреть какие статьи в законах о бюджете не должны стать достоянием общественности 😄
Я не работаю админом ни на одном правительственном сайте.
И не только это: почему вообще для подобных вещей http, а не https используется?
И не только это: почему вообще для подобных вещей http, а не https используется?
Почему вообще документы ДСП выкладывают на сайт?
Искомая комбинация слов нигде не встречается.
Без кавычек попробуйте.