Parsero, auditando el robots.txt de los sitios web
Esta herramienta me hace bastante gracia, ya que cuando hablo con Jaime (Dragon) por Skype el siempre me dice parcero, y cuando vi esta herramienta pensé: "Una herramienta para los colombianos".
Fuera bromas, esta herramienta la he visto incluida en otras herramientas de escaneos webs, que primero hacen el crawler y luego escanean el sitio en busca de vulnerabilidades.
¿Para que sirve el fichero robots?
Básicamente para que las arañas de los navegadores no indexen el contenido que el webmaster ha declarado que no quiere que indexen.
Para un auditor esto es contraproducente ya que está revelando públicamente que directorios no quieren que se indexen por algún motivo. Estos motivos pueden ser que haya directorios sensibles, que es lo primero que buscará un auditor para buscar vulnerabilidades en el sitio web.
Otro motivo puede ser que haya habido un escándalo público y ya no quieres que se relacione tu sitio web con algún personaje público.
Los directorios indicados en el robots pueden estar accesibles o no y esta herramienta es la que nos ayudará a discernir esto.
Instalando Parsero.
Parsero tiene algunas dependencias, yo lo he ejecutado bajo Kali Linux.
sudo apt-get install python-pip sudo apt-get install python3 sudo apt-get install python3-pip sudo pip-3.2 install urllib3
Vamos a ejecutar Parsero en un sitio web, por ejemplo Google
</pre> root@kali:~/tools/Parsero# python3 parsero.py -u www.google.es ____ | _ \ __ _ _ __ ___ ___ _ __ ___ | |_) / _` | '__/ __|/ _ \ '__/ _ \ | __/ (_| | | \__ \ __/ | | (_) | |_| \__,_|_| |___/\___|_| \___/ Starting Parsero v0.45 (https://github.com/behindthefirewalls/Parsero) at 01/04/14 05:42:06 Parsero scan report for www.google.es www.google.es/search 302 Found www.google.es/sdch 404 Not Found www.google.es/groups 404 Not Found www.google.es/images 302 Found www.google.es/catalogs 200 OK www.google.es/catalogues 404 Not Found www.google.es/news 404 Not Found www.google.es/nwshp 404 Not Found www.google.es/setnewsprefs? 404 Not Found www.google.es/index.html? 200 OK www.google.es/? 200 OK www.google.es/?hl=*& 200 OK www.google.es/addurl/image? 301 Moved Permanently www.google.es/pagead/ 404 Not Found www.google.es/relpage/ 404 Not Found www.google.es/relcontent 404 Not Found www.google.es/imgres 301 Moved Permanently www.google.es/imglanding 301 Moved Permanently www.google.es/sbd 403 Forbidden www.google.es/keyword/ 404 Not Found www.google.es/u/ 404 Not Found www.google.es/univ/ 301 Moved Permanently www.google.es/cobrand 404 Not Found www.google.es/custom 200 OK www.google.es/advanced_group_search 404 Not Found www.google.es/googlesite 404 Not Found www.google.es/preferences 200 OK www.google.es/setprefs 302 Found www.google.es/swr 404 Not Found www.google.es/url 404 Not Found www.google.es/default 302 Found www.google.es/m? 200 OK www.google.es/m/ 404 Not Found www.google.es/wml? 200 OK www.google.es/wml/? 404 Not Found www.google.es/wml/search? 200 OK www.google.es/xhtml? 200 OK www.google.es/xhtml/? 404 Not Found www.google.es/xhtml/search? 200 OK www.google.es/xml? 403 Forbidden www.google.es/imode? 200 OK www.google.es/imode/? 404 Not Found www.google.es/imode/search? 404 Not Found www.google.es/jsky? 200 OK www.google.es/jsky/? 404 Not Found www.google.es/jsky/search? 404 Not Found www.google.es/pda? 200 OK www.google.es/pda/? 404 Not Found www.google.es/pda/search? 200 OK www.google.es/sprint_xhtml 301 Moved Permanently www.google.es/sprint_wml 301 Moved Permanently www.google.es/pqa 404 Not Found www.google.es/palm 404 Not Found www.google.es/gwt/ 404 Not Found www.google.es/purchases 404 Not Found www.google.es/hws 404 Not Found www.google.es/bsd? 302 Found www.google.es/linux? 302 Found www.google.es/mac? 302 Found www.google.es/microsoft? 302 Found www.google.es/unclesam? 302 Found www.google.es/answers/search?q= 404 Not Found www.google.es/local? 302 Found www.google.es/local_url 400 Bad Request www.google.es/shihui? 404 Not Found www.google.es/shihui/ 404 Not Found www.google.es/froogle? 301 Moved Permanently www.google.es/products? 302 Found www.google.es/products/ 301 Moved Permanently www.google.es/froogle_ 404 Not Found www.google.es/product_ 404 Not Found www.google.es/products_ 404 Not Found www.google.es/products; 302 Found www.google.es/print 404 Not Found www.google.es/books/ 200 OK www.google.es/bkshp?*q=* 200 OK www.google.es/books?*q=* 200 OK www.google.es/books?*output=* 200 OK www.google.es/books?*pg=* 200 OK www.google.es/books?*jtp=* 200 OK www.google.es/books?*jscmd=* 200 OK www.google.es/books?*buy=* 200 OK www.google.es/books?*zoom=* 200 OK www.google.es/ebooks/ 404 Not Found www.google.es/ebooks?*q=* 404 Not Found www.google.es/ebooks?*output=* 404 Not Found www.google.es/ebooks?*pg=* 404 Not Found www.google.es/ebooks?*jscmd=* 404 Not Found www.google.es/ebooks?*buy=* 404 Not Found www.google.es/ebooks?*zoom=* 404 Not Found www.google.es/patents? 302 Found www.google.es/patents/download/ 302 Found www.google.es/patents/pdf/ 302 Found www.google.es/patents/related/ 404 Not Found www.google.es/scholar 301 Moved Permanently www.google.es/citations? 301 Moved Permanently www.google.es/complete 404 Not Found www.google.es/s? 400 Bad Request www.google.es/sponsoredlinks 404 Not Found www.google.es/videosearch? 404 Not Found www.google.es/videopreview? 404 Not Found www.google.es/videoprograminfo? 404 Not Found www.google.es/maps? 302 Found www.google.es/mapstt? 404 Not Found www.google.es/mapslt? 404 Not Found www.google.es/maps/stk/ 404 Not Found www.google.es/maps/br? 404 Not Found www.google.es/mapabcpoi? 404 Not Found www.google.es/maphp? 302 Found www.google.es/mapprint? 404 Not Found www.google.es/maps/api/js/ 404 Not Found www.google.es/maps/api/staticmap? 400 Bad Request www.google.es/mld? 404 Not Found www.google.es/staticmap? 400 Bad Request www.google.es/places/ 404 Not Found www.google.es/maps/preview 302 Found www.google.es/maps/place 302 Found www.google.es/help/maps/streetview/partners/welcome/ 200 OK www.google.es/help/maps/indoormaps/partners/ 404 Not Found www.google.es/lochp? 302 Found www.google.es/center 404 Not Found www.google.es/ie? 301 Moved Permanently www.google.es/sms/demo? 404 Not Found www.google.es/katrina? 404 Not Found www.google.es/blogsearch? 200 OK www.google.es/blogsearch/ 200 OK www.google.es/blogsearch_feeds 301 Moved Permanently www.google.es/advanced_blog_search 301 Moved Permanently www.google.es/uds/ 200 OK www.google.es/chart? 400 Bad Request www.google.es/transit? 302 Found www.google.es/mbd? 403 Forbidden www.google.es/extern_js/ 404 Not Found www.google.es/xjs/ 404 Not Found www.google.es/calendar/feeds/ 400 Bad Request www.google.es/calendar/ical/ 404 Not Found www.google.es/cl2/feeds/ 404 Not Found www.google.es/cl2/ical/ 404 Not Found www.google.es/coop/directory 301 Moved Permanently www.google.es/coop/manage 404 Not Found www.google.es/trends? 301 Moved Permanently www.google.es/trends/music? 301 Moved Permanently www.google.es/trends/hottrends? 200 OK www.google.es/trends/viz? 200 OK www.google.es/trends/embed.js? 200 OK www.google.es/trends/fetchComponent? 500 Internal Server Error www.google.es/notebook/search? 301 Moved Permanently www.google.es/musica 404 Not Found www.google.es/musicad 404 Not Found www.google.es/musicas 404 Not Found www.google.es/musicl 404 Not Found www.google.es/musics 404 Not Found www.google.es/musicsearch 404 Not Found www.google.es/musicsp 404 Not Found www.google.es/musiclp 404 Not Found www.google.es/browsersync 404 Not Found www.google.es/call 404 Not Found www.google.es/archivesearch? 301 Moved Permanently www.google.es/archivesearch/url 301 Moved Permanently www.google.es/archivesearch/advanced_search 301 Moved Permanently www.google.es/base/reportbadoffer 404 Not Found www.google.es/urchin_test/ 404 Not Found www.google.es/movies? 200 OK www.google.es/codesearch? 404 Not Found www.google.es/codesearch/feeds/search? 404 Not Found www.google.es/wapsearch? 200 OK www.google.es/safebrowsing 404 Not Found www.google.es/reviews/search? 302 Found www.google.es/orkut/albums 404 Not Found www.google.es/views? 301 Moved Permanently www.google.es/c/ 404 Not Found www.google.es/cbk 400 Bad Request www.google.es/recharge/dashboard/car 404 Not Found www.google.es/recharge/dashboard/static/ 404 Not Found www.google.es/translate_a/ 404 Not Found www.google.es/translate_c 400 Bad Request www.google.es/translate_f 404 Not Found www.google.es/translate_static/ 404 Not Found www.google.es/translate_suggestion 404 Not Found www.google.es/profiles/me 302 Moved Temporarily www.google.es/s2/profiles/me 301 Moved Permanently www.google.es/s2 404 Not Found www.google.es/transconsole/portal/ 404 Not Found www.google.es/gcc/ 404 Not Found www.google.es/aclk 400 Bad Request www.google.es/cse? 301 Moved Permanently www.google.es/cse/home 302 Found www.google.es/cse/panel 404 Not Found www.google.es/cse/manage 404 Not Found www.google.es/tbproxy/ 404 Not Found www.google.es/imesync/ 404 Not Found www.google.es/shenghuo/search? 404 Not Found www.google.es/support/forum/search? 302 Moved Temporarily www.google.es/reviews/polls/ 404 Not Found www.google.es/hosted/images/ 404 Not Found www.google.es/ppob/? 404 Not Found www.google.es/ppob? 404 Not Found www.google.es/adwordsresellers 404 Not Found www.google.es/accounts/o8 404 Not Found www.google.es/topicsearch?q= 404 Not Found www.google.es/xfx7/ 404 Not Found www.google.es/squared/api 404 Not Found www.google.es/squared/search 404 Not Found www.google.es/squared/table 404 Not Found www.google.es/toolkit/ 404 Not Found www.google.es/globalmarketfinder/ 404 Not Found www.google.es/qnasearch? 404 Not Found www.google.es/app/updates 404 Not Found www.google.es/sidewiki/entry/ 404 Not Found www.google.es/quality_form? 404 Not Found www.google.es/labs/popgadget/search 404 Not Found www.google.es/buzz/post 404 Not Found www.google.es/compressiontest/ 200 OK www.google.es/analytics/reporting/ 404 Not Found www.google.es/analytics/admin/ 404 Not Found www.google.es/analytics/web/ 404 Not Found www.google.es/analytics/feeds/ 404 Not Found www.google.es/analytics/settings/ 404 Not Found www.google.es/alerts/ 301 Moved Permanently www.google.es/ads/search 200 OK www.google.es/ads/plan/action_plan? 400 Bad Request www.google.es/ads/plan/api/ 404 Not Found www.google.es/phone/compare/? 404 Not Found www.google.es/travel/clk 404 Not Found www.google.es/hotelfinder/rpc 405 HTTP method GET is not supported by this URL www.google.es/hotels/rpc 405 HTTP method GET is not supported by this URL www.google.es/flights/rpc 405 HTTP method GET is not supported by this URL www.google.es/commercesearch/services/ 404 Not Found www.google.es/evaluation/ 404 Not Found www.google.es/chrome/browser/mobile/tour 404 Not Found www.google.es/compare/*/apply* 404 Not Found www.google.es/forms/perks/ 404 Not Found www.google.es/baraza/*/search 404 Not Found www.google.es/baraza/*/report 404 Not Found www.google.es/shopping/suppliers/search 302 Moved Temporarily www.google.es/ct/ 404 Not Found www.google.es/edu/cs4hs/ 200 OK www.google.es/trustedstores/s/ 302 Found www.google.es/trustedstores/tm2 302 Found www.google.es/trustedstores/verify 400 Bad Request www.google.es/adwords/proposal 404 Not Found www.google.es/shopping/product/ 302 Found www.google.es/shopping/seller 200 OK www.google.es/shopping/reviewer 302 Moved Temporarily www.google.es/jobs/application/ 404 Not Found www.google.es/about/jobs/applications/ 301 Moved Permanently www.google.es/landing/signout.html 200 OK 247 links have been analyzed and 38 of them are available!!! Finished in 31.955953121185303 seconds <pre>
No todo lo que hay en el Robots.txt de Google para que no se indexe no está accesible :D!.
Ahora le pasamos la herramienta a un sitio en el que ya no quieren que se le relacione ni se indexe nada con él.
root@kali:~/tools/Parsero# python3 parsero.py -u www.casareal.es ____ | _ \ __ _ _ __ ___ ___ _ __ ___ | |_) / _` | '__/ __|/ _ \ '__/ _ \ | __/ (_| | | \__ \ __/ | | (_) | |_| \__,_|_| |___/\___|_| \___/ Starting Parsero v0.45 (https://github.com/behindthefirewalls/Parsero) at 01/04/14 06:25:25 Parsero scan report for www.casareal.es www.casareal.es 302 Redirect www.casareal.es/_*/ 400 Bad Request www.casareal.es/ES/FamiliaReal/Urdangarin/ 404 NOT FOUND www.casareal.es/CA/FamiliaReal/Urdangarin/ 404 NOT FOUND www.casareal.es/EU/FamiliaReal/Urdangarin/ 404 NOT FOUND www.casareal.es/GL/FamiliaReal/Urdangarin/ 404 NOT FOUND www.casareal.es/VA/FamiliaReal/Urdangarin/ 404 NOT FOUND www.casareal.es/EN/FamiliaReal/Urdangarin/ 404 NOT FOUND 8 links have been analyzed but any them are available... :( Finished in 1.1885402202606201 seconds
En instalaciones de CMS también se suele poner en el robots que no indexe el contenido.
<b>root@kali</b>:<b>~/tools/Parsero</b># python3 parsero.py -u www.cup.cat ____ | _ \ __ _ _ __ ___ ___ _ __ ___ | |_) / _` | '__/ __|/ _ \ '__/ _ \ | __/ (_| | | \__ \ __/ | | (_) | |_| \__,_|_| |___/\___|_| \___/ Starting Parsero v0.45 (https://github.com/behindthefirewalls/Parsero) at 01/04/14 06:31:52 Parsero scan report for www.cup.cat www.cup.cat/includes/ 301 Moved Permanently www.cup.cat/misc/ 301 Moved Permanently www.cup.cat/modules/ 301 Moved Permanently www.cup.cat/profiles/ 301 Moved Permanently www.cup.cat/scripts/ 301 Moved Permanently www.cup.cat/themes/ 301 Moved Permanently www.cup.cat/boost_stats.php 301 Moved Permanently www.cup.cat/CHANGELOG.txt 301 Moved Permanently www.cup.cat/cron.php 301 Moved Permanently www.cup.cat/INSTALL.mysql.txt 301 Moved Permanently www.cup.cat/INSTALL.pgsql.txt 301 Moved Permanently www.cup.cat/install.php 301 Moved Permanently www.cup.cat/INSTALL.txt 301 Moved Permanently www.cup.cat/LICENSE.txt 301 Moved Permanently www.cup.cat/MAINTAINERS.txt 301 Moved Permanently www.cup.cat/update.php 301 Moved Permanently www.cup.cat/UPGRADE.txt 301 Moved Permanently www.cup.cat/xmlrpc.php 301 Moved Permanently www.cup.cat/admin/ 301 Moved Permanently www.cup.cat/comment/reply/ 301 Moved Permanently www.cup.cat/contact/ 301 Moved Permanently www.cup.cat/logout/ 301 Moved Permanently www.cup.cat/node/add/ 301 Moved Permanently www.cup.cat/search/ 301 Moved Permanently www.cup.cat/user/register/ 301 Moved Permanently www.cup.cat/user/password/ 301 Moved Permanently www.cup.cat/user/login/ 301 Moved Permanently www.cup.cat/?q=admin/ 301 Moved Permanently www.cup.cat/?q=comment/reply/ 301 Moved Permanently www.cup.cat/?q=contact/ 301 Moved Permanently www.cup.cat/?q=logout/ 301 Moved Permanently www.cup.cat/?q=node/add/ 301 Moved Permanently www.cup.cat/?q=search/ 301 Moved Permanently www.cup.cat/?q=user/password/ 301 Moved Permanently www.cup.cat/?q=user/register/ 301 Moved Permanently www.cup.cat/?q=user/login/ 301 Moved Permanently 36 links have been analyzed but any them are available... :( Finished in 23.347599029541016 seconds
Esta herramienta, la podemos integrar con otras herramientas en el proceso de auditoría, para tratar de encontrar directorios que nos puedan interesar.