Skocz do zawartości


Zdjęcie

Jak się pozbyć botów generujących obciążenie serwera?


  • Zaloguj się, aby dodać odpowiedź
17 odpowiedzi w tym temacie

#1 zeki

zeki

    BlackHat

  • BlackHat
  • PipPipPip
  • 848 postów
  • LocationMazowsze

Napisano 26 listopad 2015 - 10:39

Panowie pytanie za 100 pkt jak w temacie. Mam problem z botami naparzającymi po moich stronach. Jak to ogarnąć żeby userzy mogli normalnie korzystać ze strony, a boty wysiudać w kosmos.

 

Wdrożone działania:

 

- do .htaccess dodałem listę abuzywnych IP od Mariusza Kołacza

- na bieżąco dodaję kolejne wqrwiające mnie IP

 

Powiedzcie mi czy taki zapis w .htaccess jest poprawny (szczególnie chodzi mi o wysłanie w kosmos tych pieprzonych subdomen typu vhoster i czy te gwiazdki po IP są ok bo może coś źle zrozumialem)

 

Spoiler

 

2 pytanie jak uspokoić bota bing? Strona jest aktualizowana raz na jakiś czas, no powiedzmy kilka razy na miesiąc, a ten idiota dzień w dzień kilkaset wywołań generuje. Wczoraj ponad 1500 :/ Google skromniejsze ponad 200, tez bym usadził - niech se wpadnie raz na tydzień albo co... Ludzie psioczą, że yandex zły, że obciąża i generuje ruch a ja widzę zupełnie coś innego.

 

Co można jeszcze zrobić? Wsadzam pełny log z wczoraj może komuś coś wpadnie do głowy...

 

Spoiler


Mój drugi cios to zwykle profanacja zwłok :)    Góra Kalwaria i okolice   | Piaseczno Terapia SI | SI sklep


#2 seopst

seopst

    Advanced Member

  • Użytkownik
  • PipPipPip
  • 56 postów

Napisano 26 listopad 2015 - 19:23

może to pomoże https://pl.wikipedia...lusion_Protocol



#3 zeki

zeki

    BlackHat

  • BlackHat
  • PipPipPip
  • 848 postów
  • LocationMazowsze

Napisano 26 listopad 2015 - 20:07

Panie wykluczenie w robots.txt to pierwsze co robisz. Tyle, że nie walnę noindex a znów znaleźć przykład zmuszenia robota do powrotu za tydzień jest niemożliwe jakoś (przynajmniej dla mnie). Gówniane informacje o wykluczeniu konkretnych katalogów są nieprzydatne bo to każdy wie...


Mój drugi cios to zwykle profanacja zwłok :)    Góra Kalwaria i okolice   | Piaseczno Terapia SI | SI sklep


#4 seopst

seopst

    Advanced Member

  • Użytkownik
  • PipPipPip
  • 56 postów

Napisano 26 listopad 2015 - 20:15

aha czyli jak w sejmie



#5 zeki

zeki

    BlackHat

  • BlackHat
  • PipPipPip
  • 848 postów
  • LocationMazowsze

Napisano 26 listopad 2015 - 20:47

Coś tak jakby... :) Przez jakiś generator dotarłem do komendy crawl delay zobaczymy czy coś pomoże...


Mój drugi cios to zwykle profanacja zwłok :)    Góra Kalwaria i okolice   | Piaseczno Terapia SI | SI sklep


#6 seopst

seopst

    Advanced Member

  • Użytkownik
  • PipPipPip
  • 56 postów

Napisano 26 listopad 2015 - 20:57

W panelu BIng ( jak dodałeś www ) jest ustawienie czestotliwości odwiedzin ich bota



#7 zoozool

zoozool

    Administrator

  • Administrator
  • 1368 postów

Napisano 27 listopad 2015 - 08:11

Masz dostęp do konsoli(ssh)?


sygnaturka.png


#8 zeki

zeki

    BlackHat

  • BlackHat
  • PipPipPip
  • 848 postów
  • LocationMazowsze

Napisano 27 listopad 2015 - 12:29

napisane, że mam - ino putty pobrać


Mój drugi cios to zwykle profanacja zwłok :)    Góra Kalwaria i okolice   | Piaseczno Terapia SI | SI sklep


#9 Reincarnati0n

Reincarnati0n

    Advanced Member

  • Użytkownik
  • PipPipPip
  • 35 postów

Napisano 27 listopad 2015 - 17:06

Poszukaj w sieci takiego starego, prostego skryptu w php o nazwie exa bot defender czy coś podobnego. Działał jak dobrze kojarzę na prostej zasadzie zliczania liczby odwołań z danego ip w ciągu zadanego czasu - jak dany adres przekroczył limit dostawał banana (czasowego), z tego co kojarzę świetnie sprawdzało się to na namiętne azjatyckie boty latające jak szalone bez umiaru z przeróżnych ip gdzie budowanie kilometrowej listy zablokowanych w .htaccess robiło większą zmułę niż pożytek.
  • zeki i zoozool lubią to

#10 zeki

zeki

    BlackHat

  • BlackHat
  • PipPipPip
  • 848 postów
  • LocationMazowsze

Napisano 28 listopad 2015 - 10:08

Słuchajcie za co odpowiada taki wpis w .htaccess ?

 

SetEnvIf User-Agent .*AhrefsBot.* badbot

 

i później chyba odwołanie do tego jest:

 

Order Deny,Allow
Deny from Env=badbot

 

@Reincarnati0n co do exabotdefendera to 404 wypluwa - tam teraz stoi prestashop pusty... Plik na googledocs jest zablokowany - może autor da mi dostęp może nie.

 

EDYTA:

 

Kolega Reincarnati0n był łaskaw wysłać mi toto cobym miał. Pytanie w takim razie bo tego na necie nie znalazłem - otóż pół mojej wsi ma to samo IP bo od lokalnego dostawcy mamy neta. Strona ma max 200 userów na dobę, na ogół ok 40. NIe poblokuję ich tym?


Mój drugi cios to zwykle profanacja zwłok :)    Góra Kalwaria i okolice   | Piaseczno Terapia SI | SI sklep


#11 rokko

rokko

    BlackSeo

  • Użytkownik
  • PipPipPip
  • 110 postów
  • LocationMyszków

Napisano 29 listopad 2015 - 19:52

Sprawdziłbym na Twoim miejscu logi z miesiąca, zobaczył skąd boty wchodzą, jakimi IP-kami i UA legitymują się, zrobić całą ich listę i wtedy z kopyta dodać do ht.
 
ad1 Lepiej zrobić wykluczenie w jednej linii, różnice odczujesz jak będziesz miał "gruby" htaccess.
 
ad2 Bing webmaster tools i ograniczenie częstotliwości indeksowania. Bing ma to ciekawie rowiązane, można ustawić godziny w których bot najczęściej będzie odwiedzał stronę. Dodam jeszcze że Bing też respektuje crawl delay w robots więc... :)
 
Jeszcze kilka kwestii...
 
robots nie gwarantuje zastopowania bota, poza tym bot który respektuje robots po wejściu na www wpierw wchodzi na owy pliczek, masz jedno wywołanie.
Z kolei noindex kompletnie nie chroni przed botami. Chroni jedynie przed wyświetlaniem zaindeksowanej treści w wynikach wyszukiwania ale nie powoduje zatrzymania bota. Bot sobie odwiedzi www i ją przetworzy = użyje zasobów serwera tak jak to jest w przypadku standardowego wejścia.
 
Odnośnie ahrefs bot - env badbot - blokujesz wszystko opakowane w zmienną badbot.


#12 zeki

zeki

    BlackHat

  • BlackHat
  • PipPipPip
  • 848 postów
  • LocationMazowsze

Napisano 30 listopad 2015 - 00:02

@up z tym pierwszym to mam dla czytelności póki co zrobione. Lista od Mariusza jest w 1 linii. Jak ogarnę to tez będzie w jednej.

Druga kwestia bo widzę, ze oblatany jesteś - craw delay dokladnie jak działa? Podaje 5 sekund i robot wróci na domenę po 5 sekundach czy na podstronę? Bo obserwując co się dzieje to sądzę że ta druga opcja. W takim razie trzeba by ustawić na miesiąc te sekundy co jest bezsensem IMHO... Doba do ponad 18k sekund. Z bingiem zaraz sprawdzę i zobaczę czy się uspokoi.

Co do noindex to wiem, że to o kant się nadaje...

Mój drugi cios to zwykle profanacja zwłok :)    Góra Kalwaria i okolice   | Piaseczno Terapia SI | SI sklep


#13 rokko

rokko

    BlackSeo

  • Użytkownik
  • PipPipPip
  • 110 postów
  • LocationMyszków

Napisano 30 listopad 2015 - 11:46

To działa podobnie jak w programach seo funkcja opóźnienia między kolejnymi pobraniami. Normalnie jak bot wejdzie na www to crawluje content jak oszalały, bez oczekiwania pobierze jedną i od razu jeżeli ma zakolejkowane inne do pobrania to pobiera następną i tak do zrealizowania przydzielonego zadania na 1 sesję. Jeśli ustawisz zmienną w robots i robot ją respektuje, to przed każdym kolejnym pobraniem odczeka zdefiniowaną ilość czasu, co w konsekwencji doprowadzi do interwałowego pobierania zawartosci domeny czyli np. co 5 sekund będzie pobierana zawartość. Nie będzie lawiny wywołań, nie będzie też wzmożonego użycia serwera. Takie ustawienie ma sens w przypadku dużych serwisów. W ten sposób uzyskasz wyższy komfort użytkowania, będzie mniej "lagów".

 

Na stronie możesz jeszcze stosować inne zabezpieczenia jak np. anty ddos. Dla przykładu wparuje ci bot, który jedzie równo po całym serwisie, możesz skurczybyka ubić skryptem anty ddos już po 50 czy 100 wywołaniach w przeciągu dajmy na to 10s od wystartowania. Niestety takie rozwiązanie nie sprawdza się dla dużych serwisów bo potrafi zablokować też normalnych użytkowników. Zainkludowanie takiego skryptu to też większy wydatek czasu użycia procesora więc jest to średnio trafione rozwiązanie ale czasem nie ma wyboru.

 

Trzeba niestety testować różne warianty na www i dobrać najlepsze rozwiązanie nie kolidujące ze sobą.



#14 zeki

zeki

    BlackHat

  • BlackHat
  • PipPipPip
  • 848 postów
  • LocationMazowsze

Napisano 30 listopad 2015 - 22:10

Wiesz co - jak dałem dla googlebota 3s delaya to z 400 wywołań na dobę zrobiło się 11k, przypadek?


Mój drugi cios to zwykle profanacja zwłok :)    Góra Kalwaria i okolice   | Piaseczno Terapia SI | SI sklep


#15 rokko

rokko

    BlackSeo

  • Użytkownik
  • PipPipPip
  • 110 postów
  • LocationMyszków

Napisano 01 grudzień 2015 - 00:44

Bez logów serwera w takie rzeczy nie uwierzę :)



#16 zeki

zeki

    BlackHat

  • BlackHat
  • PipPipPip
  • 848 postów
  • LocationMazowsze

Napisano 01 grudzień 2015 - 09:17

kurde jak wrócę z wawy to Ci wyślę :)


Mój drugi cios to zwykle profanacja zwłok :)    Góra Kalwaria i okolice   | Piaseczno Terapia SI | SI sklep


#17 zeki

zeki

    BlackHat

  • BlackHat
  • PipPipPip
  • 848 postów
  • LocationMazowsze

Napisano 28 grudzień 2015 - 13:34

W poprzedniej kwestii to dla informacji hosting założył na firewallu filtrowanie dla tego IP i mam spokój.

 

Pytanie z innej beczki: czy Wam msnbot też zajeżdża serwery? Zmniejszyłem do minimum indeksowanie w bing webmaster tools, a ta menda mi wbija na domenę i generuje ponad 1000 wywołań na dobę. googiel w tym czasie 60, baidu 40 (szok bo ten to zwykle jedno) jakieś yandexy itp po sztuce czy kilka. To mi daje jakieś 25% całego obciążenia domeny. No !@#$% bez przesady :/


Mój drugi cios to zwykle profanacja zwłok :)    Góra Kalwaria i okolice   | Piaseczno Terapia SI | SI sklep


#18 abc123456

abc123456

    Advanced Member

  • Użytkownik
  • PipPipPip
  • 90 postów

Napisano 14 maj 2018 - 07:22

abc20180514

mont blanc   louis vuitton outlet online   coach outlet store online   kate spade outlet   ralph lauren outlet   nike shoes   coach factory outlet   mont blanc pens   christian louboutin outlet   ralph lauren outlet   jordans   pandora charms sale   vans shoes   polo outlet store   birkenstock outlet   pandora jewelry outlet   nike outlet   oakley sunglasses   coach outlet store   birkenstock sandals   fitflops   canada goose jackets   kate spade outlet   coach outlet   coach outlet   canada goose jackets uk   gucci handbags   abercrombie   nike huarache   yeezy boost   canada goose sale   mulberry uk   canada goose jackets   kate spade outlet store   ecco shoes   coach outlet store   moncler outlet   polo outlet   ugg outlet   uggs outlet   coach outlet store   cheap jordans   coach outlet   pandora jewelry   michael kors outlet   ray ban sunglasses   adidas outlet   valentino shoes   coach outlet   nike outlet online   canada goose   oakley sunglasses   ugg boots on sale   fitflops sale clearance   air max 2019   fred perry   timberland boots   air max 2018   canada goose outlet   christian louboutin   uggs   yeezy boost 350   burberry outlet   michael kors outlet clearance   coach outlet   kate spade outlet   ferragamo shoes   hermens bags   michael kors handbags   mulberry handbags   cheap mlb jerseys   michael kors outlet   moncler outlet   louboutin shoes   pandora jewelry   cheap oakley sunglasses   cheap jordans free shipping   moncler   christian louboutin outlet   pandora jewelry   michael kors outlet   adidas   birkenstock   coach outlet   ugg outlet   burberry outlet   ugg boots   cheap mlb jerseys china   kate spade outlet   jordan shoes   supreme clothing   adidas shoes   burberry outlet   hermes handbags   ugg boots on sale   canada goose outlet   cheap jordans   michael kors outlet   timberland outlet   mbt shoes   supra shoes   pandora charms sale clearance   air jordan shoes   reebok shoes   coach factory outlet   air jordans   canada goose uk   mbt shoes   coach outlet   longchamp outlet   air max 97   michael kors outlet canada   canada goose outlet   polo ralph lauren   michael kors handbags   coach factory outlet   ultra boost   adidas shoes   adidas outlet   prada handbags   tory burch outlet   philipp plein outlet   michael kors outlet canada   toms outlet   ralph lauren   canada goose outlet   adidas shoes   kate spade   ray ban sunglasses   harden vol 1   ray ban sunglasses   ray ban sunglasses discount   uggs canada   adidas yeezy boost   cheap jordans   polo ralph lauren outlet online   coach outlet online   nike free 4.0   michael kors outlet canada   louis vuitton outlet   pandora charms   adidas nmd   tiffany and co   ralph lauren outlet   ugg australia   adidas nmd shoes   birkenstock sandals   oakley sunglasses   moncler jackets   longchamp outlet   coach factory outlet   timberland boots   michael kors outlet   nike air max   ralph lauren outlet   adidas yeezy   pandora outlet   north face jackets   cheap jordans for sale   kate spade outlet store   moncler outlet   polo ralph lauren outlet online   michael kors   nike air max   kate spade   michael kors   mbt   louis vuitton   coach outlet   adidas yeezy   oakley sunglasses   ferragamo outlet   coach outlet   birkenstock sandals   moncler jackets outlet   louis vuitton outlet   new balance shoes   rolex watches   cheap ray ban sunglasses   louis vuitton handbags   adidas outlet   moncler jackets   coach outlet   cheap mlb jerseys   canada goose sale   cheap oakley sunglasses   cheap jordan shoes   oakley sunglasses   tory burch outlet store   polo ralph lauren outlet   pandora charms uk   nike outlet   canada goose jackets   louis vuitton   cheap ray ban sunglasses   cheap nike air max   moncler jackets   ralph lauren   ralph lauren outlet online   michael kors outlet   michael kors outlet clearance   pandora outlet   cheap uggs   pandora jewelry   coach outlet   pandora charms   pandora jewelry   canada goose   air max 2018   pandora charms   fitflops sale   kate spade handbags   kate spade handbag   coach outlet canada   north face jackets   pandora charms   prada outlet   moncler jackets   hermes outlet   michael kors outlet   michael kors outlet clearance   uggs   supreme clothing   coach outlet store   yeezy boost   cheap oakley sunglasses   coach factorty outlet   coach outlet store   skechers shoes   adidas originals   pandora store   hermes handbags   canada goose outlet   tory burch outlet online   ray ban sunglasses discount   michael kors outlet online   cheap nfl jerseys   ugg boots   coach factory outlet   converse outlet store   birkenstock sandals   nike outlet   red bottoms shoes   jordan shoes   cheap jordans   vans store   canada goose uk   ugg outlet   fitflops   cheap oakley sunglasses   ugg outlet   jordan shoes   ecco shoes for men   canada goose uk   fred perry polo   adidas yeezy   kate spade   coach outlet   coach factory outlet online   canada goose jackets   canada goose jackets   abercrombie and fitch   nike shoes   canada goose outlet   adidas nmd   coach outlet store   coach factory outlet   christian louboutin outlet   canada goose outlet   pandora   ugg outlet   red bottom shoes   nike outlet   timberland outlet   adidas yeezy   pandora jewelry   discount oakley sunglasses   fitflops sale clearance   oakley sunglasses   hollister clothing   yeezy boost   coach outlet   supreme new york   new balance outlet   toms shoes   moncler jackets   canada goose outlet   birkenstock shoes   jordan retro 11   coach factory outlet   kevin durant shoes   mulberry outlet   coach canada   ralph lauren sale clearance   gucci outlet   christian louboutin shoes   oakley sunglasses outlet   adidas superstar   pandora jewelry official site   burberry outlet store   toms outlet   coach outlet online   mulberry bags   louis vuitton outlet online   yeezy boost   moncler coats   polo ralph lauren outlet   canada goose sale   coach factory outlet   mcm handbags   nike shoes   cheap jordans   moncler outlet   mlb jerseys   longchamp handbags   valentino shoes outlet   oakley sunglasses   michael kors outlet online   uggs   jordan retro   coach factory outlet   uggs outlet   nmd adidas   converse shoes   mcm outlet   gucci handbags outlet   coach outlet online   coach outlet   pandora outlet   kate spade outlet store   pandora jewelry outlet   polo ralph lauren outlet online   red bottoms   kobe bryant shoes   nike outlet online   air max 97   moncler outlet   nike shoes   nike store   adidas yeezy boost   kate spade outlet   jordan shoes   replica watches   michael kors outlet   kate spade handbags   louboutin shoes   birkenstock shoes   longchamp outlet online   air jordan shoes   tods outlet   ray ban sunglasses   philipp plein shirt   coach outlet   coach outlet   nike shoes   asics shoes   nmd shoes   coach factory outlet   nike shoes for men   ralph lauren uk   cheap ray bans   coach outlet   canada goose   michael kors factory outlet   salvatore ferragamo shoes   canada goose jackets   north face outlet   canada goose uk   michael kors outlet   coach outlet   adidas campus   polo ralph lauren outlet   oakey sunglasses   coach outlet store   birkenstocks   ralph lauren sale   nike air max   pandora jewelry official site   canada goose jackets   adidas shoes   coach factory outlet online   fitflops   ray ban sunglasses   ralph lauren sale clearance   pandora charms   rolex watches   air max 90   adidas superstar   supra shoes   oakley sunglasses sale   canada goose outlet   nike zoom   coach factory outlet   louis vuitton outlet store   ralph lauren uk   coach outlet store online clearances   valentino shoes   adidas yeezy boost   fitflops sale clearance   michael kors outlet clearance   tory burch outlet   fitflops   pandora charms   ralph lauren sale clearance   yeezy boost   pandora charms   kate spade bags   pandora jewelry   pandora charms   ralph lauren outlet   canada goose outlet   michael kors outlet   salvatore ferragamo   coach outlet   supreme clothing   polo ralph lauren outlet   polo ralph lauren outlet online   polo outlet   nfl jerseys wholesale   cheap nba jerseys   nike outlet store   timberland boots   tiffany outlet   louboutin shoes   oakley sunglasses   christian louboutin   air max 2017   tory burch outlet   adidas nmd   moncler outlet   hermes handbags   nba jerseys   michael kors outlet clearance   canada goose outlet   polo ralph lauren outlet   michael kors outlet   ralph lauren   kate spade outlet store   cheap nfl jerseys   canada goose uk   michael kors outlet   coach outlet   birkenstock outlet   timberland boots outlet   nike free run   pandora jewelry   adidas nmd   fitflops   hermes bags   pandora jewelry   fitflops sale   kate spade outlet   coach outlet   pandora charms sale clearance   michael kors outlet   ugg boots   canada goose   jordan shoes   michael kors outlet online   jordan shoes   michael kors outlet   nike air max outlet   adidas yeezy   tiffany and co   adidas shoes   kobe shoes   ralph lauren outlet   air jordans   puma shoes   hermes birkin   yeezy 350 boost   jordans   pandora outlet   coach factorty outlet abc20180514




Użytkownicy przeglądający ten temat: 0

0 members, 0 guests, 0 anonymous users