Évolution de l'accès aux données Web3 : aperçu des indexeurs et des projets connexes

Dans la technologie blockchain, les données jouent un rôle crucial et constituent la base du développement d'applications décentralisées. Bien que les discussions actuelles se concentrent principalement sur la disponibilité des données, l'accessibilité des données est également importante mais souvent négligée.

À l'ère des blockchains modulaires, les solutions de disponibilité des données sont devenues indispensables. Elles garantissent que tous les participants peuvent accéder aux données de transaction, permettant ainsi une validation en temps réel et le maintien de l'intégrité du réseau. Cependant, la couche de disponibilité des données ressemble davantage à un panneau d'affichage qu'à une base de données, les données n'étant pas stockées indéfiniment, mais supprimées avec le temps.

En comparaison, l'accessibilité des données se concentre sur la capacité à récupérer des données historiques, ce qui est essentiel pour le développement d'applications décentralisées et l'analyse de la blockchain. Bien que moins discutée, l'accessibilité des données est tout aussi importante que la disponibilité des données. Les deux jouent des rôles différents mais complémentaires dans l'écosystème blockchain, et une approche complète de la gestion des données doit aborder ces deux problèmes simultanément pour soutenir des applications blockchain robustes et efficaces.

Depuis sa création, la blockchain a radicalement transformé les infrastructures, favorisant la création d'applications décentralisées dans des domaines tels que les jeux, la finance et les réseaux sociaux. Cependant, la construction de ces applications nécessite l'accès à une grande quantité de données blockchain, ce qui est à la fois difficile et coûteux.

Pour les développeurs, une option consiste à héberger et à exécuter leurs propres nœuds RPC d'archive. Ces nœuds stockent toutes les données historiques de la blockchain depuis le début, permettant un accès complet aux données. Cependant, le maintien des nœuds d'archive est coûteux et la capacité de requête est limitée. Exécuter des nœuds moins chers est une autre option, mais ces nœuds ont des capacités de récupération de données limitées, ce qui peut entraver le bon fonctionnement des applications.

Une autre méthode consiste à utiliser des fournisseurs de nœuds RPC commerciaux. Ces fournisseurs sont responsables des coûts et de la gestion des nœuds, et fournissent des données via des points de terminaison RPC. Les points de terminaison RPC publics sont gratuits, mais ont des limites de taux, ce qui peut avoir un impact négatif sur l'expérience utilisateur de l'application. Les points de terminaison RPC privés offrent de meilleures performances en réduisant la congestion, mais même la simple récupération de données nécessite de nombreuses communications aller-retour, ce qui est inefficace. De plus, les points de terminaison RPC privés sont souvent difficiles à mettre à l'échelle et manquent de compatibilité entre différents réseaux.

Les indexeurs de blockchain jouent un rôle clé dans l'organisation des données sur la chaîne et leur envoi à une base de données pour faciliter les requêtes, c'est pourquoi ils sont appelés "moteurs de recherche de blockchain". Leur fonctionnement consiste à indexer les données de la blockchain et à les rendre disponibles à tout moment via un langage de requête similaire à SQL. En fournissant une interface de requête unifiée, les indexeurs permettent aux développeurs de récupérer rapidement et précisément les informations nécessaires à l'aide d'un langage de requête standardisé, simplifiant ainsi considérablement le processus.

Différents types d'indexeurs optimisent la récupération des données de diverses manières :

1. Indexeur de nœud complet : extrait directement des données à partir de nœuds de blockchain complets, garantissant l'exactitude et l'intégralité des données, mais nécessitant une grande capacité de stockage et de traitement.

2. Indexeur léger : s'appuie sur des nœuds complets pour obtenir des données spécifiques selon les besoins, réduisant ainsi les exigences de stockage mais pouvant augmenter le temps de requête.

3. Indexeur spécialisé : Optimisation de la recherche pour certains types de données ou blockchains spécifiques, par exemple les données NFT ou les transactions DeFi.

4. Agrégateur d'index : extrait des données de plusieurs blockchains et sources, y compris des informations hors chaîne, et fournit une interface de requête unifiée, particulièrement utile pour les applications multi-chaînes.

Il faut 3 To d'espace de stockage juste pour Ethereum, et à mesure que la blockchain continue de croître, la quantité de données stockées par les nœuds d'archivage continuera d'augmenter. Le protocole d'indexation déploie plusieurs indexeurs, ce qui permet d'indexer efficacement et de requêter rapidement de grandes quantités de données, ce que RPC ne peut pas réaliser.

L'indexeur permet également d'effectuer des requêtes complexes, de filtrer facilement les données selon différents critères et d'extraire puis d'analyser les données. Certains indexeurs permettent également d'agréger des données provenant de plusieurs sources, évitant ainsi le déploiement de plusieurs API dans des applications multichaînes. En étant répartis sur plusieurs nœuds, les indexeurs offrent une sécurité et des performances améliorées, tandis que les fournisseurs RPC peuvent rencontrer des interruptions et des temps d'arrêt en raison de leur nature centralisée.

Dans l'ensemble, par rapport aux fournisseurs de nœuds RPC, les indexeurs améliorent l'efficacité et la fiabilité de la récupération des données, tout en réduisant le coût de déploiement d'un nœud unique. Cela fait du protocole d'indexeur de blockchain le choix préféré des développeurs d'applications.

La construction d'applications décentralisées nécessite la récupération et la lecture des données de la blockchain pour faire fonctionner leurs services. Cela inclut tout type d'application, y compris DeFi, plateformes NFT, jeux et même réseaux sociaux, car ces plateformes doivent d'abord lire les données avant d'exécuter d'autres transactions.

Les protocoles DeFi nécessitent différentes informations pour fournir aux utilisateurs des prix, des taux, des frais spécifiques, etc. Les teneurs de marché automatiques ont besoin d'informations sur les prix et la liquidité des pools de liquidité pour calculer les taux de swap, tandis que les protocoles de prêt nécessitent des taux d'utilisation pour déterminer les taux d'intérêt de prêt et le ratio de dettes à liquider. Il est essentiel d'entrer ces informations dans leurs applications avant de calculer les taux exécutés par les utilisateurs.

GameFi nécessite un indexage et un accès rapides aux données pour garantir que les utilisateurs puissent jouer sans interruption. Ce n'est qu'avec une récupération et une exécution des données aussi rapides qu'un éclair que les jeux Web3 peuvent rivaliser en performance avec les jeux Web2, attirant ainsi plus d'utilisateurs. Ces jeux nécessitent des données telles que la propriété des terres, le solde des jetons en jeu, les opérations en jeu, etc. En utilisant des indexeurs, ils peuvent mieux garantir un flux de données stable et un temps de fonctionnement stable, assurant ainsi une expérience de jeu parfaite.

Les marchés NFT et les plateformes de prêt ont besoin d'indexer les données pour accéder à diverses informations, telles que les métadonnées NFT, les données de propriété et de transfert, les informations sur les royalties, etc. L'indexation rapide de ces données permet d'éviter de parcourir chaque NFT un par un pour trouver des données sur la propriété ou les attributs NFT.

Que ce soit pour les AMM DeFi nécessitant des informations sur les prix et la liquidité, ou pour les applications sociales nécessitant des mises à jour sur les publications des nouveaux utilisateurs, la capacité de récupérer rapidement des données est essentielle au bon fonctionnement des applications. Grâce à l'indexeur, elles peuvent récupérer les données de manière efficace et précise, offrant ainsi une expérience utilisateur fluide.

L'indexeur fournit une méthode pour extraire des données spécifiques à partir des données brutes de la blockchain. Cela offre des opportunités pour une analyse de données plus spécifique, permettant ainsi d'obtenir des informations complètes.

Par exemple, un protocole de trading perpétuel peut identifier quels jetons ont un volume de trading élevé et quels jetons génèrent des frais, afin de décider s'ils doivent être listés en tant que contrats perpétuels sur sa plateforme. Les développeurs d'échanges décentralisés peuvent créer des tableaux de bord pour leurs produits, afin d'obtenir des informations approfondies sur les pools de liquidités offrant les meilleurs rendements ou la plus forte liquidité. Ils peuvent également créer des tableaux de bord publics, permettant aux développeurs de rechercher librement et de manière flexible tout type de données à afficher sur les graphiques.

Il est essentiel d'identifier les différences entre les protocoles d'indexation, car plusieurs indexeurs de blockchain sont disponibles, afin de garantir que les développeurs choisissent l'indexeur le mieux adapté à leurs besoins.

The Graph est le premier protocole d'indexation lancé sur Ethereum, permettant de consulter facilement des données de transaction qui étaient auparavant difficiles d'accès. Il utilise des sous-graphes pour définir et filtrer un sous-ensemble de données collectées sur la blockchain. Grâce à une preuve d'indexation, les indexeurs mettent en jeu des tokens natifs pour les services d'indexation et de requête, et les délégants peuvent choisir de staker leurs tokens ici. Les curateurs peuvent accéder à des sous-graphes de haute qualité pour aider les indexeurs à déterminer quels sous-graphes doivent être indexés afin de gagner les meilleurs frais de requête.

Son infrastructure permet d'atteindre un coût moyen de 40 dollars par million de requêtes, ce qui est bien inférieur au coût des nœuds auto-hébergés. En utilisant des sources de données de fichiers, il prend également en charge l'indexation parallèle des données on-chain et off-chain pour une récupération efficace des données.

Les récompenses des indexeurs de The Graph ont augmenté régulièrement au cours des derniers trimestres. Cela est en partie dû à l'augmentation du nombre de requêtes, mais aussi attribuable à la hausse des prix des tokens, car ils prévoient d'intégrer des requêtes assistées par l'intelligence artificielle à l'avenir.

Subsquid est un lac de données décentralisé, peer-to-peer et horizontalement évolutif, capable d'agréger efficacement une grande quantité de données on-chain et off-chain, tout en étant protégé par des preuves à divulgation nulle de connaissance. En tant que réseau de travailleurs décentralisé, chaque nœud est responsable du stockage des données provenant d'un sous-ensemble de blocs spécifique, en accélérant le processus de récupération des données grâce à une identification rapide des nœuds qui conservent les données nécessaires.

Subsquid prend également en charge l'indexation en temps réel, permettant de l'indexer avant que le bloc ne soit définitivement validé. Il prend également en charge le stockage des données dans le format choisi par le développeur, facilitant ainsi l'analyse avec divers outils. De plus, les sous-graphes peuvent être déployés sur le réseau Subsquid sans avoir à migrer vers le Squid SDK, permettant ainsi un déploiement sans code.

Bien qu'il soit encore en phase de test, Subsquid a obtenu des statistiques impressionnantes, avec plus de 80 000 utilisateurs de test, plus de 60 000 indexeurs Squid déployés et plus de 20 000 développeurs vérifiés sur le réseau. Le 3 juin, Subsquid a lancé le réseau principal de son lac de données.

En plus de l'indexation, le lac de données Subsquid Network peut également remplacer le RPC dans des cas d'utilisation tels que l'analyse, les coprocesseurs ZK/TEE, les agents IA et les Oracles.

SubQuery est un réseau d'infrastructure middleware décentralisé qui fournit des services RPC et d'indexation de données. Il a d'abord pris en charge les réseaux Polkadot et Substrate, et s'est maintenant étendu pour inclure plus de 200 chaînes. Son fonctionnement est similaire à celui de The Graph utilisant des preuves d'indexation, où les indexeurs indexent des données et fournissent des demandes de requête, tandis que les délégataires mettent en jeu des parts auprès des indexeurs. Cependant, il introduit des consommateurs pour soumettre des commandes d'achat, afin d'assurer que les revenus des indexeurs sont garantis, plutôt que ceux des gestionnaires.

Il introduira des nœuds de données SubQuery prenant en charge le sharding, afin d'éviter la synchronisation continue de nouvelles données entre chaque nœud, ce qui optimise l'efficacité des requêtes et favorise une plus grande décentralisation. Les utilisateurs peuvent choisir de payer environ 1 SQT token pour des frais de calcul par tranche de 1000 requêtes, ou de définir des frais personnalisés pour l'indexeur via le protocole.

Bien que SubQuery ait lancé son jeton plus tôt cette année, les récompenses d'émission pour les nœuds et les délégataires ont également augmenté en valeur en dollars, ce qui représente une augmentation continue du nombre de services de requête offerts sur sa plateforme. Depuis l'événement de génération de jetons, le montant total de SQT mis en jeu est passé de 6 millions à 125 millions, mettant en évidence l'augmentation de la participation au réseau.

Covalent est un réseau d'indexation décentralisé, créé par un réseau de nœuds producteurs d'échantillons de blocs qui génèrent des copies des données de la blockchain par le biais d'exportations en masse, et publient des preuves sur la blockchain Covalent L1. Ces données sont ensuite affinées par des nœuds producteurs de résultats de blocs selon des règles définies, afin de filtrer les données qui répondent aux critères.

Grâce à une API unifiée, les développeurs peuvent facilement extraire des données blockchain pertinentes dans un format de requête et de réponse cohérent, sans avoir besoin d'écrire des requêtes complexes sur mesure pour accéder aux données. Il est possible d'utiliser le jeton CQT, qui est réglé sur une blockchain particulière, comme moyen de paiement pour extraire ces ensembles de données préconfigurés auprès des opérateurs de réseau.

Les récompenses de Covalent semblent globalement en tendance croissante du premier trimestre 2023 au premier trimestre 2024, en partie à cause de la hausse du prix du jeton Covalent CQT.

Lors du choix d'un indexeur, il faut prendre en compte les facteurs suivants :

Personnalisation des données : certains indexeurs sont des indexeurs génériques qui fournissent des ensembles de données préconfigurés standards uniquement via API. Bien qu'ils puissent être rapides, ils ne peuvent pas offrir la flexibilité nécessaire aux développeurs qui ont besoin d'ensembles de données personnalisés. L'utilisation d'un cadre d'indexeur permet un traitement des données plus personnalisé pour répondre à des besoins d'application spécifiques.

Sécurité : Les données d'index doivent être sécurisées, sinon les applications basées sur ces indexeurs sont également vulnérables aux attaques. Bien que tous les indexeurs adoptent une forme de sécurité par le biais de la mise en jeu de tokens, d'autres solutions d'indexeurs peuvent utiliser des preuves pour améliorer encore la sécurité.

Vitesse et évolutivité : à mesure que la blockchain continue de croître, le volume des transactions augmente également, ce qui rend l'indexation de grandes quantités de données plus encombrante. Maintenir l'efficacité devient plus difficile, mais les protocoles d'indexation ont introduit des solutions pour répondre à ces besoins croissants.

Réseaux pris en charge : Bien que la plupart des activités de blockchain se déroulent encore sur Ethereum, différentes blockchains gagnent en popularité avec le temps. Offrir un support pour certaines chaînes qui ne sont pas prises en charge par d'autres protocoles d'indexation peut générer des frais de parts de marché supplémentaires.

Bien que les indexeurs soient largement utilisés dans le développement d'applications décentralisées, leur potentiel reste énorme, surtout dans le cas de l'intégration de l'intelligence artificielle. Avec la popularité croissante de l'IA dans le Web2 et le Web3, sa capacité d'amélioration dépend de l'accès aux données pertinentes.