Google je otkrio detalje o dva nova crawlera koji su optimizirani za pretraživanje sadržaja slika i videa u svrhu istraživanja i razvoja. Iako dokumentacija to eksplicitno ne navodi, pretpostavlja se da blokiranje novih crawlera neće negativno utjecati na rangiranje.
Treba napomenuti kako podaci koje ovi crawleri pretražuju nisu ciljano namijenjeni za AI trening, za to je namijenjen Google-Extended crawler.
Novi crawleri koristit će se za pretraživanje binarnih podataka
Dva nova crawlerea su verzije GoogleOther crawlera koji je pokrenut u travnju 2023. On je također bio namijenjen za korištenje od strane Googleovih proizvodnih timova u svrhu istraživanja i razvoja u onome što je opisano kao jednokratni crawl, a koji se koristi za dohvaćanje javno dostupnog sadržaja s web stranica.
Dva nova GoogleOther crawlera su GoogleOther-Image i GoogleOther-Video. Nove će se varijante koristiti za pretraživanje binarnih podataka. Binarne datoteke su datoteke koje se ne mogu otvoriti u aplikaciji za pregled teksta, datoteke poput slika, audio i video datoteka.
Ako želite blokirati nove crawlere, potražite odgovarajuće tokene.
Za Google-Other Image:
- GoogleOther-Image
- GoogleOther
Za GoogleOther-Video:
- GoogleOther-Video
- GoogleOther
User-agent stringovi su:
- GoogleOther-Image/1.0
- GoogleOther-Video/1.0
Dodatne informacije možete pronaći ovdje.
Fi Projekt 