Alpha.Community

В разделе Документация вы найдете все для уверенного старта и работы с Альфа платформой: от пошаговых инструкций по установке и конфигурированию до подробного описания работы компонентов и подсистем. Для поиска необходимых тем и вопросов в документации, воспользуйтесь поиском и фильтрацией результатов.

Оценка объёма базы данных

Методика оценки

Общий размер базы данных можно оценить по формуле:

Здесь:

  • StorageDepth – глубина хранения, указанная в конфигурации базы данных: параметр 4x/data/storage_limits/max_depth в файле local.jsonc.
  • Sourcei.VolumePerDay – среднесуточный объём данных от i-го источника (экземпляр Alpha.Server) в байтах.

Среднесуточный объём данных, сохраняемых источником:

Здесь:

Среднесуточный объём истории значений

Среднесуточный объём истории значений зависит от:

  • Интенсивности сохранения значений источником (как много значений он сохраняет и как часто).
  • Размера отдельных записей.

Оценить его можно по одной из формул:

Здесь:

  • j – отдельный сигнал, значения которого сохраняются в историю.
  • RecordSizej – средний размер отдельной записи для сигнала j. Его рассмотрим ниже.
  • Countj – количество значений сигнала j, сохраняемое за сутки.
  • 86400 – количество секунд в сутках.
  • Frequencyj – средняя частота сохранения значений сигнала j (количество записей в секунду).
  • Periodj – средний промежуток в секундах между сохраняемыми значениями сигнала j.

Все три приведённых формулы дают одинаковый результат вычислений. Используйте ту формулу, которую удобно применять в вашем конкретном случае.

Примеры:

  • Если значение сигнала сохраняется раз в час, то суточный объём данных по сигналу можно посчитать как RecordSize * 24 (используем количество записей).
  • Если значение сигнала сохраняется с частотой 2 значения в секунду, то суточный объём данных по сигналу можно посчитать как RecordSize * 86400 * 2 (используем частоту сохранения).
  • Если значение сигнала сохраняется раз в минуту, то суточный объём данных по сигналу можно посчитать, как RecordSize * 86400 / 60 (используем период сохранения).

Чтобы не считать объём данных, сохраняемых по каждому отдельному сигналу, можно в формулах сгруппировать сигналы, которые сохраняются с одинаковой частотой:

Здесь:

  • g – группа сигналов, сохраняемых с одинаковой частотой.
  • GroupRecordSizeg – сумма размеров отдельных записей для сигналов в группе:

  • Countg – количество сохранений группы за сутки. Например, для группы, сигналы которой сохраняются раз в час, Countg = 24.
  • Frequencyg – средняя частота сохранения сигналов в группе g.
  • Periodg – средний промежуток в секундах между сохранением значений сигналов в группе g.

Размер отдельной записи

Средний размер записи можно оценить по формуле:

Здесь:

  • Service – служебная информация.
  • Timestamp – метка времени.
  • Body – тело записи.

Средний размер служебной информации:

  • Для логических и числовых значений – 1 байт.
  • Для строковых значений – 3 байта.

Размер метки времени зависит от среднего интервала между записями:

Интервал Размер метки времени, байт
250 мс или меньше 1 байт
1 минута или меньше 2 байта
4,5 часа или меньше 3 байта
более 4,5 часов 4 байта

Для значений логических и числовых сигналов размер тела записи имеет фиксированный размер. Для значений строковых сигналов размер тела записи зависит от длины строки и равен количеству байт, занимаемых строкой (StringBody) + 9 байт метаинформации о строке, которая хранится в теле записи вместе со значением. Строки сохраняются в кодировке UTF-8, поэтому каждый символ может занимать 1 или более байт:

  • латинские символы, цифры – 1 байт
  • кириллические символы – 2 байта

Средний размер отдельной записи:

  Тип  Тело записи, байт Запись целиком, байт
250 мс или чаще

1 мин или чаще

4,5ч или чаще

4,5 ч или реже

bool 5 7 8 9 10

int1, uint1

6 8 9 10 11
int2, uint2 7 9 10 11 12
int4, uint4 9 11 12 13 14
int8, uint8 13 15 16 17 18
float 9 11 12 13 14
double 13 15 16 17 18
string 9 + StringBody 15 + StringBody 16 + StringBody 17 + StringBody 18 + StringBody

Примеры

Пример 1

Пусть:

  • Источник каждую секунду сохраняет значения 1000 сигналов типа double.
  • Глубина хранения – 1000 суток.

Тогда:

  • При ежесекундном сохранении размер сохраняемой метки времени для расчётов равен 2 байтам.

    Размер записи, соответственно:

  • Суточный объём сохраняемых данных от данного источника:

  • Общий объём данных за весь срок хранения:

Пример 2

Пусть:

  • Источник каждую минуту сохраняет значения 10000 сигналов типа int4.
  • Глубина хранения – 1000 суток.

Тогда:

  • При ежеминутном сохранении размер сохраняемой метки времени для расчётов равен 2 байтам.

    Размер записи, соответственно:

  • Суточный объём сохраняемых данных от данного источника:

  • Общий объём данных за весь срок хранения:

Пример 3

Пусть:

  • Источник 4 раза в секунду сохраняет значения 10000 сигналов типа int4.
  • Глубина хранения – 1000 суток.

Тогда:

  • При указанной частоте сохранения, размер метки времени для расчётов равен 1 байту.

    Размер записи, соответственно:

  • Суточный объём сохраняемых данных от данного источника:

  • Общий объём данных за весь срок хранения:

Среднесуточный объём истории событий

Среднесуточный объём истории событий можно оценить по формуле:

Здесь:

  • j – тип события.
  • AvgEventDataSizej – средний объём данных, сохраняемых для события.
  • EventsCountj – среднее количество событий, сохраняемых в течение суток.

Для каждого события:

  • В историю сохраняются записи разных типов: об активации и деактивации подусловий, о квитировании, об установке и снятии блокировок и подавлений.
  • В каждой записи в бинарном виде хранится структура, которая в зависимости от типа записи содержит разнородные данные, относящиеся к событию: сигнал-источник, метка времени срабатывания, тип и категория события, условие и подусловие, текст сообщения, комментарий квитирования, перечень атрибутов, и пр.
  • Для каждой записи дополнительно сохраняется сокращённая индексная запись.

Из-за наличия данных переменной длины (строки, атрибуты) и множественных записей, фактический объём данных, сохраняемый для события, значительно зависит от конфигурации источника и режима работы. Оценить его можно только на основе статистики, собранной для некоторого количества сохранённых событий.

Для оценки можно использовать следующие параметры статистики базы данных:

  • Content.StorageMetrics.DataSize – объём базы данных, байт.

    Включает в себя совокупный размер сохранённых записей и необходимые избыточные данные, которые мало влияют на общий объём: заголовки файлов, индексы и пр.

  • Content.DataMetrics.Persistent.NumRecords – количество записей, сохранённых в основной раздел базы данных.

  • Content.DataMetrics.Committed.NumRecords – количество сохранённых записей.

    Включает в себя все обработанные и доступные для чтения записи, в том числе ещё не попавшие в основной раздел базы данных.

Оценить средние показатели данных, сохранённых в истории событий, можно практическим путём с использованием приведённых параметров статистики для конкретной конфигурации источника следующим образом:

  1. Создать отдельную тестовую базу данных, настроить сохранение истории событий в неё.
  2. Генерировать события до тех пор, пока параметр Content.DataMetrics.Persistent.NumRecords не станет больше нуля.
  3. Зная из статистики источника количество сгенерированных событий (NumEvents), можно получить следующие показатели:

    • Среднее количество записей на одно событие:

    • Средний размер отдельной записи:

    • Средний объём данных, сохранённый для одного события:

Ниже приведён пример оценки. По полученным в нём показателям можно оценить порядок удельных размеров данных истории событий.

Пример

В базу данных сохранялись события:

  • Тип – Enumeration.
  • Текст: Сработала авария на агрегате N, где N – число от 1 до 9.
  • Каждое событие деактивировалось.
  • Каждое событие квитировалось с комментарием Событие квитировано.

По завершении генерации:

  • Общее количество сгенерированных событий – 93 635 (NumEvents)
  • Общее число записей, сохранённых в базу данных – 561 810 (Content.DataMetrics.Committed.NumRecords).

  • Объём базы данных – 61 123 305 байт (Content.StorageMetrics.DataSize).

  • Число записей, сохранённых в основной раздел базы данных – 554 188 (Content.DataMetrics.Persistent.NumRecords).

Соответственно:

  • Среднее количество записей на одно событие: 561 810 / 93 635 = 6
  • Средний размер отдельной записи: 61 123 305 / 554 188 ≈ 110 байт.
  • Средний объём данных, сохранённый для одного события: 110 * 6 = 660 байт.