Эволюция доступа к данным Web3: Обзор индексаторов и связанных проектов

В технологии блокчейн данные играют крайне важную роль и являются основой для разработки децентрализованных приложений. Хотя в настоящее время обсуждение в основном сосредоточено на доступности данных, доступность данных также важна и часто игнорируется.

В эпоху модульных блокчейнов решения по доступности данных становятся незаменимыми. Они гарантируют, что все участники могут использовать данные о транзакциях, тем самым обеспечивая проверку в реальном времени и поддерживая целостность сети. Однако уровень доступности данных больше похож на рекламный щит, чем на базу данных, данные не хранятся бесконечно, а удаляются с течением времени.

В отличие от этого, доступность данных сосредоточена на способности извлекать исторические данные, что крайне важно для разработки децентрализованных приложений и проведения блокчейн-анализа. Хотя обсуждений на эту тему меньше, доступность данных столь же важна, как и их пригодность. Оба аспекта играют разные, но взаимодополняющие роли в экосистеме блокчейна, и комплексный подход к управлению данными должен одновременно решать обе проблемы для поддержки мощных и эффективных блокчейн-приложений.

С момента своего появления блокчейн кардинально изменил инфраструктуру, способствуя созданию децентрализованных приложений в таких областях, как игры, финансы и социальные сети. Однако для создания этих приложений требуется доступ к большому объему данных блокчейна, что является как сложной, так и дорогой задачей.

Для разработчиков одним из вариантов является хостинг и запуск собственного архивного RPC-узла. Эти узлы с самого начала хранят все исторические данные блокчейна, что позволяет получить полный доступ к данным. Однако поддержка архивного узла обходится дорого, а возможности запросов ограничены. Запуск более дешевых узлов является другим вариантом, но возможности извлечения данных этих узлов ограничены, что может помешать нормальной работе приложения.

Другой способ - использовать поставщиков коммерческих RPC-узлов. Эти поставщики отвечают за стоимость и управление узлами и предоставляют данные через RPC-эндпоинты. Публичные RPC-эндпоинты бесплатны, но имеют ограничения по скорости, что может негативно сказаться на пользовательском опыте приложения. Частные RPC-эндпоинты обеспечивают лучшую производительность за счет снижения загрузки, но даже простые запросы данных требуют большого количества обменов данными, что неэффективно. Кроме того, частные RPC-эндпоинты обычно трудно масштабировать и страдают от нехватки совместимости между различными сетями.

Индексы блокчейна играют ключевую роль в организации данных в цепочке и их отправке в базу данных для облегчения запросов, поэтому их называют "поисковыми системами блокчейна". Их работа заключается в индексации данных блокчейна и их доступности через язык запросов, похожий на SQL. Предоставляя унифицированный интерфейс для запросов, индексы позволяют разработчикам быстро и точно извлекать необходимую информацию с использованием стандартизированного языка запросов, значительно упрощая процесс.

Различные типы индексаторов оптимизируют извлечение данных различными способами:

1. Полный узловой индексатор: извлекает данные непосредственно из полного узла блокчейна, обеспечивая полную и точную информацию, но требует больших объемов хранения и вычислительных мощностей.

2. Легковесный индексатор: полагается на полные узлы для получения конкретных данных по мере необходимости, снижая требования к хранилищу, но возможно увеличивая время запроса.

3. Специальный индексатор: оптимизация поиска для определенных типов данных или конкретных блокчейнов, например, данные NFT или DeFi-транзакции.

4. Аггрегированный индексатор: извлекает данные из нескольких блокчейнов и источников, включая оффлайновую информацию, предоставляет единый интерфейс запроса, особенно полезен для многосетевых приложений.

Только для Ethereum требуется 3 ТБ дискового пространства, и с ростом блокчейна объем данных, хранящихся на архивных узлах, будет продолжать увеличиваться. Протокол индексирования разворачивает несколько индексаторов, что позволяет эффективно индексировать и быстро запрашивать большие объемы данных, что невозможно для RPC.

Индексатор также позволяет выполнять сложные запросы, легко фильтровать данные по различным критериям и извлекать данные для дальнейшего анализа. Некоторые индексаторы также позволяют агрегировать данные из нескольких источников, избегая развертывания нескольких API в многосетевых приложениях. Распределенные по нескольким узлам индексаторы обеспечивают повышенную безопасность и производительность, в то время как поставщики RPC могут сталкиваться с перебоями и простоями из-за своей централизованной природы.

В целом, по сравнению с поставщиками RPC-узлов, индексаторы повышают эффективность и надежность извлечения данных, одновременно снижая затраты на развертывание одного узла. Это делает протокол индексатора блокчейна предпочтительным выбором для разработчиков приложений.

Создание децентрализованных приложений требует извлечения и чтения данных из блокчейна для выполнения их услуг. Это включает в себя любые типы приложений, включая DeFi, NFT платформы, игры и даже социальные сети, так как эти платформы должны сначала прочитать данные, прежде чем выполнять другие транзакции.

Для протоколов DeFi необходима различная информация, чтобы предоставить пользователям определенные цены, ставки, комиссии и т.д. Автоматическим маркет-мейкерам требуется информация о ценах и ликвидности из пулов для вычисления ставок свопа, в то время как кредитные протоколы используют коэффициент использования для определения ставок заимствования и коэффициента ликвидации задолженности. Ввод информации в их приложения перед расчетом ставок, выполняемых пользователями, является необходимым.

GameFi требует быстрого индексирования и доступа к данным, чтобы обеспечить пользователям плавный игровой процесс. Только благодаря молниеносному извлечению и выполнению данных игры Web3 могут соперничать с играми Web2 по производительности, что позволит привлечь больше пользователей. Эти игры нуждаются в данных о праве собственности на землю, остатках токенов в игре, игровых действиях и т.д. Используя индексатор, они могут лучше обеспечить стабильный поток данных и стабильное время безотказной работы, чтобы гарантировать идеальный игровой опыт.

Рынок NFT и платформы кредитования нуждаются в индексировании данных для доступа к различной информации, такой как метаданные NFT, данные о праве собственности и передаче, информация о роялти и т. д. Быстрое индексирование таких данных позволяет избежать просмотра каждого NFT по отдельности для поиска данных о праве собственности или атрибутах NFT.

Будь то DeFi автоматические маркет-мейкеры, которым нужна информация о ценах и ликвидности, или социальные приложения, которые требуют обновления постов новых пользователей, возможность быстрого извлечения данных имеет решающее значение для нормальной работы приложений. С помощью индексатора они могут эффективно и правильно извлекать данные, обеспечивая тем самым плавный пользовательский опыт.

Индексатор предоставляет способ извлечения определенных данных из оригинальных блокчейн-данных. Это открывает возможности для более конкретного анализа данных, что в свою очередь обеспечивает всестороннее понимание.

Например, протокол бессрочной торговли может определить, какие токены имеют большой объем торгов, а какие токены будут генерировать сборы, чтобы решить, стоит ли добавлять эти токены в качестве бессрочных контрактов на свою платформу. Разработчики децентрализованных бирж могут создавать панели управления для своих продуктов, чтобы глубже понять, какие пулы ликвидности имеют наивысшую доходность или наибольшую ликвидность. Также можно создавать общие панели управления, позволяя разработчикам свободно и гибко запрашивать любые типы данных для отображения на графиках.

Поскольку доступно несколько индексаторов блокчейнов, важно различать различия между индексными протоколами, чтобы обеспечить выбор разработчиками наиболее подходящего индексатора для их нужд.

The Graph является первым протоколом индексирования, запущенным на Ethereum, который позволяет легко запрашивать ранее труднодоступные данные о транзакциях. Он использует подграфы для определения и фильтрации подмножества данных, собранных из блокчейна. Используя индексацию, индексатор ставит нативные токены для индексации и запросов, а делегаты могут выбрать, чтобы их токены были поставлены здесь. Кураторы могут получить доступ к высококачественным подграфам, чтобы помочь индексаторам определить, для каких подграфов нужно собирать данные для получения лучших сборов за запросы.

Инфраструктура позволяет снизить среднюю стоимость одного миллиона запросов до 40 долларов, что значительно ниже, чем стоимость самоуправляемых узлов. Используя файловые источники данных, она также поддерживает параллельный индекс как для данных в цепочке, так и вне ее для эффективного извлечения данных.

Награды для индексаторов The Graph стабильно росли в последние несколько кварталов. Это связано с увеличением объема запросов, но также обусловлено ростом цен на токены, так как они планируют в будущем интеграцию запросов с использованием искусственного интеллекта.

Subsquid — это децентрализованный дата-озеро с точка-точка и горизонтальной масштабируемостью, который эффективно агрегирует большие объемы данных как на блокчейне, так и вне его, и защищает их с помощью нулевых знаний. В качестве децентрализованной сети рабочих узлов каждый узел отвечает за хранение данных из определенного подмножества блоков, ускоряя процесс извлечения данных за счет быстрого определения узлов, хранящих необходимые данные.

Subsquid также поддерживает индексирование в реальном времени, что позволяет индексировать данные до их окончательной фиксации в блокчейне. Он также поддерживает хранение данных в формате, выбранном разработчиком, что упрощает анализ с использованием различных инструментов. Кроме того, подграфы могут быть развернуты в сети Subsquid без необходимости миграции на Squid SDK, что обеспечивает бескодовое развертывание.

Несмотря на то, что проект все еще находится на этапе тестирования, Subsquid достиг впечатляющих статистических данных, насчитывая более 80,000 пользователей тестовой сети, развернув более 60,000 индексаторов Squid и имея более 20,000 подтвержденных разработчиков в сети. 3 июня Subsquid запустил основную сеть своего дата-озера.

Помимо индексации, дата-центр Subsquid Network также может заменять RPC в таких случаях, как аналитика, ZK/TEE сопроцессоры, AI-агенты и оракулы.

SubQuery — это децентрализованная сеть промежуточной инфраструктуры, предлагающая RPC и услуги индексирования данных. Изначально она поддерживала сети Polkadot и Substrate, а теперь расширилась на более чем 200 цепочек. Ее работа похожа на The Graph с использованием индексных доказательств, где индексатор индексирует данные и предоставляет запросы на получение, а делегаторы ставят свои доли в залог индексатору. Однако она вводит потребителей для подачи заказов на покупку, чтобы гарантировать доход индексаторов, а не управляющих.

Он введет узлы данных SubQuery с поддержкой шардирования, чтобы предотвратить постоянную синхронизацию новых данных между каждым узлом, тем самым оптимизируя эффективность запросов и продвигаясь к большей децентрализации. Пользователи могут выбирать, платить ли около 1 SQT токена за каждые 1000 запросов в качестве вычислительных расходов или устанавливать пользовательские сборы для индексаторов через протокол.

Несмотря на то, что SubQuery только что выпустил свой токен в начале этого года, вознаграждения за выпуск для узлов и делегатов также увеличились в долларовом эквиваленте, что также отражает рост количества предоставляемых на его платформе услуг по запросам. С момента создания токена общее количество заложенных SQT увеличилось с 6 миллионов до 125 миллионов, что подчеркивает рост участия в его сети.

Covalent - это децентрализованная сеть индексаторов, созданная узлами сети производителей образцов блоков, которые создают копии данных блокчейна путем пакетного экспорта и публикуют доказательства на блокчейне Covalent L1. Эти данные затем уточняются узлами производителей результатов блоков в соответствии с установленными правилами, отбирая соответствующие данные.

С помощью единого API разработчики могут легко извлекать соответствующие данные блокчейна в едином формате запросов и ответов, не написав сложные пользовательские запросы для доступа к данным. Для получения этих предварительно настроенных наборов данных от операторов сети можно использовать токены CQT, которые рассчитываются на определенном блокчейне в качестве средства оплаты.

Награды Covalent, похоже, в целом имеют тенденцию к росту с первого квартала 23 года до первого квартала 24 года, отчасти благодаря росту цены токена Covalent CQT.

При выборе индексатора необходимо учитывать следующие факторы:

Настраиваемость данных: некоторые индексаторы являются универсальными индексаторами, которые предоставляют стандартные преднастроенные наборы данных только через API. Хотя они могут быть быстрыми, они не обеспечивают гибкости для разработчиков, которым нужны настраиваемые наборы данных. Использование фреймворка индексатора позволяет выполнять более тонкую настройку обработки данных для удовлетворения конкретных потребностей приложения.

Безопасность: Индексные данные должны быть безопасны, в противном случае приложения, построенные на этих индексах, также подвержены атакам. Хотя все индексаторы используют некоторые формы безопасности через ставку токенов, другие решения для индексаторов могут использовать доказательства для дальнейшего повышения безопасности.

Скорость и масштабируемость: по мере роста блокчейна объем транзакций также увеличивается, что делает индексацию больших объемов данных более сложной. Сохранение эффективности становится более трудной задачей, но протокол индексаторов представляет собой решение для удовлетворения этих растущих потребностей.

Поддерживаемые сети: несмотря на то, что большинство блокчейн-операций по-прежнему осуществляется в Ethereum, со временем различные блокчейны становятся все более популярными. Поддержка некоторых цепочек, которые не поддерживаются другими индексирующими протоколами, может привести к увеличению доли рынка.

Несмотря на то, что индексаторы широко используются в разработке децентрализованных приложений, их потенциал все еще огромен, особенно в случае интеграции с искусственным интеллектом. С ростом популярности ИИ в Web2 и Web3, его способности улучшаться зависят от доступа к соответствующим данным.