GolosSQL - Обновление 8 - Улучшение производительности
GolosSQL - это публичная база данных MS-SQL со всеми данными блокчейна внутри.
Предыдущие посты:
- Вступительный пост
- Обновление 1 - Распознавание языка (english only - только на английском)
- Обновление 2
- Обновление 3
- Обновление 4
- Обновление 5
- Обновление 6
- Обновление 7
Что нового?
GolosSQL - русский брат SteemSQL. Те из вас, у кого есть аккаунт в Стим, знают, что весь последний месяц количество пользователей лавинообразно увеличивалось. В результате этого активность на блокчейне испытала такой же прирост. И высказанное мной беспокойство по поводу способности SteemSQL ежедневно поглощать растущую массу данных оказалось пророческим.
Взгляните на следующий график, который отображает количество транзакций в день в блокчейне Steemit, и вы увидите, что количество транзакций, которое необходимо обрабатывать, утроилось (+199%) за последние 30 дней.
В случаях с количеством постов и комментариев это означает соответственное увеличение на 315% и 297%.
А количество апвоутов более чем удвоилось, увеличившись на 112%.
Постепенно показатели введения данных в базу данных ухудшились. В конце концов SteemSQL стал плохо справляться со всеми многочисленными обновлениями, генерируемыми каждой транзакцией. В некоторых случаях я обнаруживал задержку в 24 часа и более по сравнению с данными, имеющимися в блокчейне.
Поэтому я решил взять быка за рога и провел тщательный анализ, который привел к нескольким изменениям в базе данных и полной реорганизации инжектора базы данных.
1. Изменения в базе данных
В основном они касаются индексов базы данных. Я обнаружил, что было создано множество индексов для улучшения производительности некоторых запросов, но в итоге выяснилось, что эти индексы использовались редко.
Поэтому я проанализировал индексы базы данных один за другим: некоторые из них удалил, другие - изменил.
2. Изменения в инжекторе базы данных
Инжектор базы данных - это процесс, ответственный за чтение каждого блока блокчейна и распределение транзакций в разные таблицы базы данных.
Я поработал над оптимизацией этих процессов, отделив инъекцию транзакций от обновления затронутых нетранзакционных таблиц (таблицы Accounts и Comments).
Эти процессы теперь выполняются параллельно, благодаря оптимизированной многопоточной реализации различных задач.
Результат
Благодаря проделанной работе я смог сократить общее время обработки в 3 раза!
Теперь я перенес эти улучшения также и в GolosSQL, и сейчас он без проблем может совладать с таким ростом количества транзакций.
Будем надеяться, что в один прекрасный день мы увидим 1 000 000 транзакций в день. Это то, чего я действительно желаю платформе Голос!
Спасибо за чтение!
Все выплаты с этого поста пойдут на поддержание работы GolosSQL. Спасибо за вашу поддержку.
Спасибо @rusteemitblog за вычитку этого поста перед публикацией.
Голосуйте за меня в качестве делегата
Вы также можете проголосовать прямо с платформы Голос здесь. Для этого нужно проделать следующее. Каждый голос важен. Спасибо !
