@giancarlozero na real ela nem bloqueia nada, o crawler é que, ao encontrá-la, tem que decidir descartar o dado coletado. No caso específico do meu robô, eu optei por respeitar essa restrição, sim
