Ajout paramètre "drop" et résumé du crawler à la fin #7
Conversation
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Modification
Erreur dans l'init du tableau.
Les URLS qui ne répondent pas 200 OK ne sont plus listés dans le sitemap. Les URLS qui ne répondent pas 200 OK ne sont vérifiés qu'une seule fois (car ajouté à la liste crawled).
Le paramètre drop permet de supprimer un attribut d'une URL avec une expression régulière. Ajout de log pour avoir le nombre d'erreurs HTTP par code et le nombre d'url bloquées par le fichier robots.txt
Ajout d'un exemple pour expliquer la configuration du paramètre drop.
Commité par erreur, je le supprime.
Cette nouvelle liste permet d'"optimiser" le traitement et de mieux comptabiliser les URL
c4software
added a commit
that referenced
this pull request
Aug 12, 2012
Ajout paramètre "drop" et résumé du crawler à la fin
c4software
pushed a commit
that referenced
this pull request
Apr 16, 2017
Update from origin c4software
ghost
mentioned this pull request
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
2 participants
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
Ajout d'un paramètre drop pour supprimer un attribut d'une url (par ex un identifiant de session).
Ajout d'un résumé à la fin (en mode debug) avec le nb d'url trouvée, nb d'url 200 ok, ...