Un motor de căutare Deep Web este un motor de căutare alternativ, util în situații când trebuie să căutăm ceva mai puțin comun, Google sau Bing vor fi prima alegere în minte dar, spre deosebire de motoarele de căutare alternative, Google și Bing nu vor oferi toate informațiile publicate pe web, ci mai degrabă un rezultat personalizat pentru ”profilul” utilizatorului.
Google are capacitatea de a urmări fiecare mișcare pe Internet în timp ce căutați prin motorul său de căutare. Dacă nu doriți ca Google să vă colecteze informațiile personale și activitățile dvs. online, ar trebui să vă păstrați anonimatul online.
„Deep web”, cunoscut și sub denumirea de „web invizibil”, se referă la un depozit vast de conținut adiacent, cum ar fi documente din bazele de date online, la care crawlerele web de uz general nu pot ajunge. Conținutul deep web este estimat la 500 de ori mai mare decât conținutul de căutare normal, dar a rămas în mare parte neexploatat din cauza limitărilor motoarelor de căutare tradiționale. Deoarece majoritatea profilurilor personale, înregistrărilor publice și a altor documente legate de persoane sunt stocate în baze de date și nu în pagini web statice, informațiile de calitate superioară despre oameni sunt pur și simplu „invizibile” pentru un motor de căutare obișnuit, dar le putem obține de la motor de căutare alternativ.
Motoare alternative: Pipl, Way Back Machine, Google Scholar, DuckDuckGo, not Evil, Start Page, Spokeo, InfoTracer, Shodan, Censys sau Greynoise.
De ce Google nu oferă rezultate asemănătoare?
Practic, conținutul Deep web sau Dark Web nu se indexează pentru a oferi rezultate de către motoarele de căutare obișnuite, cum ar fi Google și Bing. Toate site-urile web Deb (.onion) sunt neindexate, dar puține rezultate pe care le putem accesa cu crawlere prin Deep Web Search Engine.
Google nu va furniza rezultate ale căutării care nu sunt indexate pe World Wide Web. Conținutul este ascuns în spatele formularelor HTML.
Căutările regulate sunt indexate de Google, iar rezultatele sale sunt redirecționate de la servere interconectate, editorii de conținut își optimizează materialul prin alinierea la algoritmi de SO (search optimization) pentru a oferi rezultate mai bune pentru utilizatorii Google.
Când accesați dark web, nu navigați pe serverele interconectate cu care interacționați în mod regulat; în schimb, totul rămâne intern în rețeaua Tor, care oferă securitate și confidențialitate tuturor în mod egal.
„Conform cercetătorilor, doar 4% din Internet este vizibil pentru publicul larg, iar restul de 96% dintre site-uri web și date sunt ascunse în spatele Deep web-ului”.
Web-ul profund conține multe activități ilegale, inclusiv droguri, trafic de arme, instrumente de hacking extrem de sofisticate, pornografie ilegală, secrete militare guvernamentale și alți activi ilegali.
Excluderea roboților:
Documentul robots.txt, care de cele mai multe ori se află în catalogul principal al unui site, le spune roboților căutării care înregistrări și registre, fișiere și directoare nu ar trebui să fie indexate.
Dacă această înregistrare este configurată, va împiedica listarea anumitor pagini, care vor fi apoi insesizabile pentru căutare.
Roboții Pipl sunt setați să interacționeze cu baze de date care pot fi căutate și să extragă fapte, detalii de contact și alte informații relevante din profiluri personale, detalii despre membri, publicații științifice, înregistrări judecătorești și numeroase alte surse deep-web.
Potrivit Pipl, folosesc algoritmi avansați de analiză a limbii și de clasare pentru a vă aduce cele mai relevante informații despre o persoană într-o singură pagină de rezultate ușor de citit.
Wayback Machine este un front-end pentru baza de date Internet Archive ce încorporează mai mult de 100 de teraocteți de date – o cifră colosală cu condiții preliminare imense de stocare. Wayback Machine oferă acces la această abundență de informații prin adrese URL. Nu este accesibil conținutului – un client trebuie să cunoască adresa URL corectă a unei anumite pagini web sau, eventual site-ul web pentru a avea capacitatea de a intra în cronică.
Site-ul permite publicului să încarce și să descarce material digital în clusterul său de date, dar cea mai mare parte a datelor este colectată automat de crawlerele sale web, care lucrează pentru a păstra cât mai mult din web-ul public posibil. Arhiva sa web și Deep Web conține peste 150 de miliarde de capturi web și se extinde prin cuprinderea celor mai mari proiecte de digitalizare a cărților din lume.
Google Scholar – vă permite să căutați într-o gamă largă de literatură academică. Se bazează pe informații de la editorii de reviste, depozitele universităților și alte site-uri web pe care le-a identificat ca fiind academice.
DuckDuckGo – Deep Web Search Engine pune accentul pe returnarea celor mai bune rezultate, mai degrabă decât a celor mai multe rezultate, și generează acele rezultate din peste 400 de surse individuale, inclusiv site-uri cheie crowd-sourcing precum Wikipedia și alte motoare de căutare precum Bing, Yahoo!, Yandex și Yumm.
not Evil Spre deosebire de alte motoare de căutare Tor (http://hss3uro2hsxfogfq[.]onion), acest motor de căutare Deep Web not Evil nu este pentru profit. Ideologia ce sta la baza serviciului este de a forma un scut impotriva intoleranței, astfel costurile de funcționare vor fi minime și bazate pe donații.
Not Evil este un alt motor de căutare Deep Web din rețeaua TOR. În funcție de funcționalitatea și calitatea sa, este foarte competitiv cu concurenții săi.
Nu există reclame și tracking. Interfața cu utilizatorul este foarte intuitivă. Trebuie remarcat faptul că anterior acest proiect era cunoscut pe scară largă ca TorSearch.
Start Page – Pagina de pornire a motorului de căutare Deep Web
Dacă vă îngrijorează confidențialitatea, Pagina de pornire a lui Ixquick este unul dintre cele mai bune motoare de căutare disponibile, chiar dacă nu utilizați Tor. Spre deosebire de alte motoare de căutare, această pagină de pornire a motorului de căutare Deep Web nu înregistrează adresa dvs. IP, permițându-vă să păstrați confidențialitatea căutărilor.
Spokeo un bun motor de căutare Deep Web Datorită celor 12 miliarde de înregistrări publice, specializat în căutări ce au la baza un număr telefonic.
InfoTracer instrument de căutare deep web specializat în găsirea de persoane și a informațiilor lor non-publice în deep web. Descoperirea activității ascunse este una dintre specializările InfoTracer.
Shodan este un motor de căutare care permite utilizatorilor să caute diferite tipuri de servere conectate la internet folosind o varietate de filtre. Unii l-au descris și ca un motor de căutare de bannere de servicii, care sunt metadate pe care serverul le trimite înapoi clientului.
Censys autodeclarat ca un lider in managementul suprafețelor de atac cibernetic, poate fi utilizat ca un motor de căutare Dispozitive IoT.
Greynoise o unealtă puternică și gratuită de securitate cibernetică pentru cercetarea rapidă a IP-urilor, a scanerelor de internet intrusive și a atacurilor de exploatare pe internet.
Concluzie
Motoarele de căutare alternative evidențiate aici se bazează pe confidențialitate și eficiență în obținerea rezultatelor. Există trilioane de GB de date păstrate în zone private pe care nu pot fi accesa prin motoarele de căutare convenționale, deoarece conținutul nu este indexat. Motoarele de căutare menționate anterior vă oferă informații nefiltrate după un anumit pofil publicitar și vă oferă conținut fără indexare. Informații ce pot fi folosite din păcate și în scopuri nelegitime (mai multe informații în articolul despre Google Dorks).