SharePoint : Attention au Crawler Impact du moteur de Recherche de MOSS 2007

 La gestion d’une ferme MOSS avec de nombreuses sources de contenu est toujours assez complexe et requière une certaine finesse dans la configuration de ces sources de contenu.

Cela a été évoqué dans de nombreux messages précédents :

• Messages sur le Moteur de Recherche de SharePoint

Une des questions qui se posent régulièrement est l’utilisation de l’option d’impact de ce moteur de recherche sur les sources de contenu. En effet, SharePoint 2007 permet de définir une notion d’impact paramétrable par URL :

• Manage crawler impact rules (Office SharePoint Server Central Administration Help)

Ainsi, on peut définir un ensemble de règles que l’on pense totalement logiques, comme dans l’exemple ci-dessous :

Le fait est que le nombre de theads possibles en simultané par le moteur de recherche est un nombre fini : 64 Threads maximum au total.

Ainsi avec l’exemple précédent sur les 3 premières sources de contenu sont en cours d’indexation en même temps (32 + 16 + 16 = 64), il sera alors impossible d’exécuter une indexation supplémentaire.

Le répertoire temporaire de stockage des fichiers de téléchargement sera constamment avec un ensemble de documents :

• C:\Documents and Settings\[service_account]\Local Settings\Temp\gthrsvc\

Mais en lancant un perfmon sur les compteurs suivant :

• Object : Office Server Search Gatherer
• Counter : Threads Accessing Network
• Counter : Filtering Threads

On voit très bien que le moteur de recherche est au maximum, avec les deux compteurs bloqués à 64.

Si cette erreur de configuration a été commise, il peut donc arriver de se trouver dans une situation ou les sources de contenu n’arrivent jamais au bout de leur indexation, car elle sont en concurrence constante pour accéder au réseau.

Il faut donc prendre garde à la configuration de ce paramètre et l’utiliser avec une grande attention.

Gardez toujours en mémoire que le maximum est bloqué à 64 Threads quoi que soit le paramètre que vous donnez.

Quelques articles sur ce sujet :

• MOSS 2007: Long Running Search Crawls - What's Going On?
• Crawler Impact Rules - What not to do
• Manage crawler impact rules (Office SharePoint Server Central Administration Help)
• Creating crawl schedules and starvation - How to detect it and minimize it.
• SharePoint Server 2007 – 10 suggestions for a reliable, low-latency Search deployment

Romelard Fabrice [MVP]