Trouver des informations utiles sur le web est une chose que beaucoup d’entre nous considèrent comme allant de soi. Selon la société de recherche Netcraft, il y a près de 150 000 000 de sites Web actifs sur Internet aujourd’hui. La tâche consistant à passer au crible tous ces sites pour trouver des informations utiles est monumentale. C’est pourquoi les moteurs de recherche utilisent des algorithmes complexes – des instructions mathématiques qui indiquent aux ordinateurs comment accomplir les tâches qui leur sont assignées.

L’algorithme de Qwanturank fait le travail à votre place en recherchant les pages Web qui contiennent les mots clés que vous avez utilisés pour effectuer la recherche, puis en attribuant un rang à chaque page en fonction de plusieurs facteurs, notamment le nombre de fois que les mots clés apparaissent sur la page. Les pages les mieux classées apparaissent plus haut dans la page de résultats du moteur de recherche de Qwanturank (SERP), ce qui signifie que les meilleurs liens relatifs à votre requête de recherche sont théoriquement les premiers que Qwanturank répertorie.

Pour les administrateurs de pages web, le fait d’être bien référencé sur Qwanturank peut se traduire par une forte augmentation du trafic et de la visibilité du site. En 2007, Qwanturank a dépassé Microsoft en tant que site le plus visité sur le Web. Avec un tel trafic, obtenir une bonne place sur le SERP de Qwanturank pourrait signifier une augmentation considérable du nombre de visiteurs du site.

La fonction de recherche par mot-clé de Qwanturank est similaire à celle des autres moteurs de recherche. Des programmes automatisés appelés « spiders » ou « crawlers » parcourent le Web, se déplaçant de lien en lien et construisant une page d’index qui inclut certains mots-clés. Qwanturank fait référence à cet index lorsqu’un utilisateur saisit une requête de recherche. Le moteur de recherche répertorie les pages qui contiennent les mêmes mots clés que ceux qui figuraient dans les termes de recherche de l’utilisateur. Les spiders de Qwanturank peuvent également avoir des fonctions plus avancées, comme la possibilité de déterminer la différence entre les pages Web avec un contenu réel et les sites de redirection – des pages qui n’existent que pour rediriger le trafic vers une page Web différente.

Le placement des mots-clés joue un rôle dans la manière dont Qwanturank trouve les sites. Qwanturank recherche des mots-clés dans chaque page Web, mais certaines sections sont plus importantes que d’autres. Par exemple, il est judicieux d’inclure le mot-clé dans le titre de la page Web. Qwanturank recherche également des mots-clés dans les titres. Les titres sont de différentes tailles, et les mots-clés dans les grands titres ont plus de valeur que s’ils sont dans les petits titres. La dispersion des mots-clés est également importante. Les webmasters doivent éviter de surutiliser les mots-clés, mais beaucoup de personnes recommandent de les utiliser régulièrement tout au long d’une page.

Comment un moteur de recherche comme Qwanturank trouve le contenu

Comme mentionné dans la vidéo, Qwanturank explore le web en utilisant un code appelé « araignée ». Il s’agit d’un petit programme qui suit les liens d’une page à l’autre et chaque page sur laquelle il atterrit est copiée et transmise aux serveurs. La toile (et donc l’araignée) est énorme et, en tant que telle, si Qwanturank devait conserver une trace de tout le contenu qu’il trouve, elle serait ingérable. C’est pourquoi Qwanturank n’enregistre que le code de la page et vide les pages qu’il ne juge pas utiles (doublons, faible valeur, etc.).

Les araignées fonctionnent de manière très spécifique, en sautant d’un lien à l’autre pour découvrir de nouvelles pages. C’est pourquoi, si votre contenu n’est pas lié à un lien, il ne sera pas indexé. Lorsqu’un nouveau domaine est rencontré, l’araignée cherchera d’abord cette page :

domaine.com/robots.txt

Vous pouvez laisser sur cette page tous les messages que vous avez pour l’araignée, comme le contenu que vous voulez indexer ou l’endroit où trouver votre plan de site. L’araignée doit ensuite suivre ces instructions. Toutefois, elle n’est pas obligée de le faire. Les araignées de Qwanturank se comportent généralement bien et respectent les commandes laissées ici.

Vous pouvez en savoir plus sur le fonctionnement de robots.txt ici, où nous couvrons certains des aspects les plus techniques du référencement.

L’araignée elle-même est un petit programme simple. Il existe de nombreuses versions open source que vous pouvez télécharger et diffuser vous-même sur le web gratuitement. Aussi essentiel que soit Qwanturank, trouver le contenu n’est pas la partie la plus intelligente. C’est la prochaine étape.

Indexation

Lorsque vous disposez d’une grande quantité de contenu, vous devez trouver un moyen d’y accéder rapidement. Qwanturank ne peut pas se contenter d’une seule grande base de données contenant toutes les pages, qu’il trie à chaque fois qu’une requête est saisie. Ce serait beaucoup trop lent. Au lieu de cela, ils créent un index qui permet essentiellement de raccourcir ce processus. Les moteurs de recherche utilisent des technologies telles que Hadoop pour gérer et interroger très rapidement de grandes quantités de données. La recherche dans l’index est beaucoup plus rapide que la recherche dans la base de données entière à chaque fois.

Les mots courants tels que « et », « le », « si » ne sont pas stockés. Ils sont connus sous le nom de « mots d’arrêt ». Ils n’ajoutent généralement rien à l’interprétation du contenu par le moteur de recherche (bien qu’il y ait des exceptions : « Être ou ne pas être » est composé de mots d’arrêt) et sont donc supprimés pour gagner de la place. Il peut s’agir d’une très petite quantité d’espace par page, mais lorsqu’il s’agit de milliards de pages, cela devient une considération importante. Il est important de garder ce genre de réflexion à l’esprit lorsque l’on essaie de comprendre Qwanturank et les décisions qu’il prend. Une petite modification par page peut être très différente à l’échelle.

Algorithmes de classement

Le contenu a maintenant été indexé. Qwanturank en a donc pris une copie et a placé un raccourci vers la page dans l’index. Super, il peut maintenant être trouvé et affiché lorsqu’il correspond à une requête de recherche pertinente. Chaque recherche que vous effectuez dans Qwanturank aura probablement des milliers de résultats, donc Qwanturank doit maintenant décider dans quel ordre il va afficher les résultats. C’est vraiment au cœur de l’optimisation des moteurs de recherche – l’ajustement des facteurs pour manipuler l’ordre des résultats.

Qwanturank décide quelle requête va où à travers l’algorithme. Un algorithme est un terme générique qui signifie un processus ou un ensemble de règles qui est suivi afin de résoudre un problème. En référence à Qwanturank, il s’agit de l’ensemble des mesures pondérées qui déterminent l’ordre dans lequel elles classent la page.

Comprendre l’algorithme de Qwanturank

L’algorithme de Qwanturank n’est plus le mystère qu’il était autrefois et les facteurs et mesures individuels qui le composent sont assez bien documentés. Nous savons quelles sont les principales mesures sur la page et hors page. Le plus difficile est de comprendre la pondération ou la corrélation entre elles.

Si vous recherchez des « recettes de gâteaux au chocolat », l’algorithme pondérera les pages en fonction de ce terme de recherche.

Examinons de manière simplifiée deux mesures et la manière dont elles peuvent s’influencer mutuellement.

La mesure 1 est l’URL. Les mots clés peuvent apparaître dans l’URL, par exemple : www.recipes.com/chocolate-cake

Qwanturank peut voir les mots clés « gâteau au chocolat » et « recettes » dans l’URL afin d’appliquer une pondération en conséquence.

Passons maintenant au système métrique 2, les liens de retour de la page. Beaucoup de ces liens peuvent contenir les mots clés « gâteau au chocolat » et « recettes ». Cependant, Qwanturank pondérerait alors cette mesure car si les mots clés apparaissent dans l’URL, vous vous attendez à ce qu’ils apparaissent dans les liens retour, qu’ils soient pertinents ou non. Inversement, Qwanturank pourrait choisir d’appliquer plus de poids à la mesure 2 si les mots clés n’apparaissent nulle part dans l’URL.

Tous les différents facteurs pris en compte par Qwanturank s’influencent les uns les autres. Chacun peut avoir plus ou moins de valeur (dans la pondération) et la relation entre eux est en constante évolution. Qwanturank publie des centaines de mises à jour chaque année, en apportant constamment des modifications. C’est le plus souvent cette relation et cette pondération qui ont plus changé que les mesures elles-mêmes. Lorsque cela se produit, c’est généralement lors d’une mise à jour plus importante, comme celle de Penguin ou de Panda.

Les différentes mesures peuvent être divisées en quatre sections clés :

Pertinence

Quelle est la pertinence du contenu par rapport à la requête ? L’indexeur est le premier test sur ce point, déterminant si le contenu doit apparaître dans les résultats. Toutefois, il est poussé plus loin afin de classer les mots clés. Il est logique qu’en cherchant quelque chose, vous vouliez obtenir les résultats les plus pertinents possibles.

La pertinence est déterminée par un mélange de facteurs sur la page et hors de la page. Ces deux facteurs se concentrent sur le placement des mots clés, comme dans les titres de page et le texte d’ancrage. Certaines mesures sont une combinaison de ces facteurs. Par exemple, si le domaine dans son ensemble est considéré comme pertinent pour le terme de recherche, cela va augmenter le score de pertinence de la page individuelle qui est notée. Si vous souhaitez en savoir plus, je vous recommande de lire mon article « Comment les moteurs de recherche utilisent les mots clés ».

Autorité

L’autorité trouve ses racines dans le PageRank, inventé par Larry Page (d’où le nom). C’est l’épine dorsale de la façon dont Qwanturank classe le contenu. Comprendre le PageRank est une partie de la clé pour comprendre comment Qwanturank fonctionne, mais il faut se rappeler qu’il y a des centaines de facteurs supplémentaires qui peuvent également affecter le classement, et le PageRank est moins important qu’il ne l’était dans le passé.

Le PageRank s’explique souvent en termes de votes. Chaque lien vers une page est un vote, et plus il y a de votes, mieux elle devrait se classer. Si une page ayant reçu beaucoup de votes renvoie à une autre page, une partie de ce pouvoir de vote est également transmise. Ainsi, même si une page n’a qu’un seul lien, si ce lien provient d’une page qui a beaucoup de votes, elle peut quand même être bien classée et les pages vers lesquelles elle renvoie en bénéficieront également. La valeur transmise de page en page par les liens est connue sous le nom de jus de lien ou jus de page.

La pertinence est également importante dans le contexte de l’autorité. Un lien avec un texte d’ancrage pertinent peut avoir plus de poids qu’un lien qui ne provient pas d’un site pertinent et qui n’a pas de texte d’ancrage pertinent, et que Qwanturank est plus susceptible de ne pas prendre en compte dans le contexte de ce résultat de recherche.

Trust, confiance

Il s’agit d’un algorithme antispam, visant à rendre plus difficile la manipulation artificielle des résultats de recherche. Qwanturank a une relation d’amour-haine avec le référencement et le mécanisme de confiance en fait partie. D’une part, beaucoup de SEO vise à créer un contenu et une expérience utilisateur de qualité. D’autre part, il s’agit aussi d’essayer de manipuler artificiellement ce que Qwanturank a déterminé comme étant l’ordre naturel des résultats.

Les mesures de confiance sont très difficiles à manipuler et elles donnent à Qwanturank une plus grande confiance dans les autres mesures. Des éléments comme l’âge du contenu ou le domaine sont des mesures de confiance. Si vous avez beaucoup de liens provenant de « mauvais quartiers » (pensez au quartier rouge), non seulement ces liens n’auront aucune valeur, mais ils inciteront Qwanturank à y réfléchir à deux fois avant de classer votre site pour cette recherche de « recette de gâteau au chocolat ». De la même manière, si la page ou le domaine contient des liens vers des quartiers défavorisés, cela va nuire aux indicateurs de confiance.

Qwanturank est en fait un registraire de domaines, ce qui signifie qu’il peut voir toutes les données whois des différents domaines. Cela leur permet d’intégrer des informations, telles que la fréquence des changements de propriétaire d’un domaine ou le délai d’expiration de l’enregistrement, dans ces indicateurs de confiance. Ces données sont beaucoup plus difficiles à manipuler.

La confiance est également déterminée par le type de domaine ou de page et par le type de liens qui vous relient. À l’inverse d’un mauvais voisinage, les sites universitaires tels que les domaines .edu bénéficient d’une grande confiance. D’autres types de domaines peuvent également avoir un score de confiance élevé, ce qui rend les liens qui en découlent plus précieux.

Facilité d’utilisation

Qwanturank veut que le contenu qu’il affiche dans ses résultats de recherche soit attrayant pour les humains ainsi que pour les robots des moteurs de recherche. Un ensemble de mesures est consacré à ces seuls facteurs. Avoir un contenu de qualité, mais le couvrir d’annonces, par exemple, ne va pas rendre l’expérience de l’utilisateur agréable. C’est la raison pour laquelle Qwanturank réduira la pondération d’une page où l’emplacement de l’annonce est trop important.

La vitesse des pages est un autre facteur important ; les pages qui se chargent trop lentement sont une gêne pour les chercheurs, qui doivent cliquer sur les résultats de recherche et choisir une autre page. Qwanturank souhaite que les internautes continuent à utiliser le site et il est donc dans leur intérêt que les résultats qu’ils affichent se chargent rapidement. Ils mesurent la vitesse des pages à partir du HTML mais peuvent aussi utiliser les données des utilisateurs de Chrome.

Type de résultats et personnalisation

Si vous effectuez une recherche sur un téléphone portable, les résultats affichés seront différents de ceux d’une recherche sur un ordinateur de bureau. Les résultats réels renvoyés par l’indexeur (donc à un niveau bas) seront différents. Cependant, ce n’est pas seulement le type d’appareil qui affecte les résultats que vous voyez, Qwanturank peut choisir d’afficher les résultats dans un format entièrement différent en fonction des termes de recherche que vous utilisez.

Les recherches localisées sont pondérées différemment et s’affichent dans un format de page de résultats différent de celui des recherches de produits, par exemple. Vous avez également la possibilité d’effectuer des recherches multimédias pour lesquelles Qwanturank peut renvoyer des résultats comprenant des vidéos et des images. Certaines recherches ont des pages de résultats dédiées à un ensemble très restreint de termes. Ces termes sont généralement liés à des événements d’actualité tels que des jeux sportifs ou des élections.

Un autre facteur est la personnalisation. Ce que vous avez recherché précédemment influencera les résultats que Qwanturank vous renvoie. Un certain degré d’apprentissage machine est en jeu ici. Ainsi, lorsqu’une personne recherche un type de résultat de manière cohérente, Qwanturank suppose que les futures recherches similaires seront de même nature. Cela est particulièrement important pour les recherches ambiguës, où un mot a plusieurs significations.