Эффективное управление расходами в Azure Monitor и Azure Log Analytics имеет важное значение для контроля затрат на облако. Она охватывает стратегические меры, направленные на сокращение расходов и одновременно на максимизацию ценности полученных, обработанных и сохраненных данных. В Azure достижение такого баланса предполагает применение эффективных методов сбора данных, разумных политик хранения и разумного использования преобразований таблиц с помощью языка запросов Kusto (KQL).

Понимание влияния методов управления данными на расходы имеет решающее значение, поскольку каждый байт данных, полученных и сохраненных в Azure Log Analytics, влечет за собой расходы. Преобразования таблиц, такие как фильтрация, проектирование, агрегирование, сортировка, объединение и удаление данных, являются отличным способом уменьшить затраты на хранение и получение данных. Они позволяют фильтровать или изменять данные до того, как они будут отправлены в рабочую область Log Analytics. Уменьшение затрат на обработку данных, а также уменьшение продолжительности их хранения.

В этой статье мы рассмотрим четыре ключевые сферы, чтобы раскрыть стратегии оптимизации среды Azure Monitor и Azure Log Analytics, обеспечивая экономическую эффективность, сохраняя при этом высокую производительность и целостность данных. Дадим исчерпывающую информацию по управлению затратами на облачные сервисы в Azure.

Основные направления:

1. Учет затрат на потребление: объем потребляемых данных в первую очередь влияет на затраты. Внедрение фильтров в источнике имеет решающее значение для получения только самых необходимых данных.

2. Стратегии сохранения данных: эффективная политика сохранения данных является жизненно важной для контроля расходов. Azure Log Analytics позволяет автоматически удалять данные, превышающие определенные пороговые значения, предотвращая лишние расходы на хранение.

3. Оптимизация с помощью трансформаций: усовершенствование набора данных с помощью трансформаций таблиц может сосредоточить усилия на ценных данных и уменьшить потребности в долгосрочном хранении. Обратите внимание, что эти трансформации не снизят затраты в течение минимального периода хранения данных.

4. Практики управления затратами: использование инструментов Azure для управления затратами и выставления счетов имеет решающее значение для получения представления о моделях использования. Эти знания помогают вносить стратегические коррективы, согласовывая расходы с бюджетными ограничениями.

1) Рассуждения относительно затрат на поглощение:

Эффективное поглощение данных в Azure Monitor и Log Analytics - это баланс между получением всесторонней информации и управлением затратами. В этом разделе рассматриваются эффективные стратегии сбора данных для сред IaaS от Azure, освещается разумное использование правил сбора данных (DCR) для поддержания качества аналитики данных при одновременном решении проблем с затратами.

Расходы на сбор данных в Azure Log Analytics возникают в точке сбора, причем объем напрямую влияет на расходы. На этом этапе крайне важно создать первую линию защиты от высоких затрат. Выборка в источнике имеет решающее значение, гарантируя, что приложения и ресурсы передают только необходимые данные. Эта предварительная фильтрация создает основу для экономически эффективного управления данными. В среде Azure DCR становятся ключевым механизмом, с которого начинается эта важная выборка данных. Они упрощают процесс сбора, определяя, какие данные собираются и как. Однако важно понимать, что, хотя DCR являются всеобъемлющими, они могут не охватывать все типы данных или источников. Для более тонких или сложных требований может потребоваться дополнительная конфигурация или инструменты, выходящие за рамки стандартного объема DCR.

Кроме того:

Навигация по Azure Monitor Ingestion в IaaS

Виртуальные машины (ВМ) Azure предоставляют широкий спектр вариантов ведения журналов, которые влияют как на глубину операционной аналитики, так и на соответствующие расходы. Стратегическое использование DCR в сочетании с такими инструментами, как настройка диагностики журналов и аналитика, является важным для профессионального мониторинга и управления виртуальными машинами".

A) Параметры диагностики журнала:

При включении параметров диагностики журналов в Azure вам будет предложено выбрать правило сбора данных, хотя у вас нет возможности изменить правило сбора, вы можете получить доступ к параметрам DCR, перейдя в раздел службы Azure Monitor. DCR помогают настроить сбор журналов и показателей. Они поддерживают диагностику маршрутизации к журналам Azure Monitor, хранилищу или концентратору событий и являются ценными для получения детальных данных, таких как журналы загрузки виртуальных машин или счетчики производительности.

Минимизируйте расходы с помощью DCR:

Фильтруйте в источнике: DCR могут применять фильтры, чтобы отправлять только соответствующие данные в рабочую область.

Эффективный сбор данных: DCR могут уменьшить частоту сбора или сосредоточиться на ключевых показателях, что может потребовать дополнительной информации для сложных шаблонов данных.

Регулярные проверки: Хотя DCR автоматизируют некоторые практики сбора, ручной контроль все еще необходим для выявления и устранения больших объемов источников.

B) Insights (Azure Monitor для виртуальных машин)

Назначение: Azure VM Insights - это расширение Azure Monitor, предназначенное для предоставления комплексного решения для мониторинга, содержащего подробные показатели производительности, визуальные карты зависимостей и важную статистику состояния ваших виртуальных машин.

Подробнее: Используя агент Log Analytics, Azure VM Insights собирает и синтезирует данные с ваших виртуальных машин, предлагая целостную информационную панель, которая отображает производительность процессора, памяти, дисков и сети, а также детали процессов и межсервисные зависимости.

Варианты использования: Azure VM Insights является ключевым инструментом для расширенного мониторинга и диагностики производительности. Она позволяет на ранних стадиях выявлять проблемы с производительностью, помогает распознавать изменения в системе и проактивно предупреждает о потенциальных сбоях еще до того, как они существенно проявятся.

Среди мер по экономии средств:

  • Выборочный сбор: DCR гарантируют, что собираются только основные показатели, но понимание того, какие именно показатели являются важными, может потребовать детального анализа.
  • Частота сбора показателей: Регулирование частоты с помощью DCR может уменьшить перегрузку, но для определения оптимальных интервалов может потребоваться ручной анализ.
  • Используйте автоматизацию и политику Azure для конфигурации: Краеугольным камнем масштабируемого и экономически эффективного мониторинга является внедрение стандартизированных конфигураций для всех ваших виртуальных машин (ВМ). Автоматизация играет ключевую роль в этом процессе, гарантируя, что конфигурации мониторинга являются согласованными, безошибочными и согласованными с политиками организации и нормативными требованиями.
  • Политика Azure для обеспечения согласованности мониторинга: Azure Policy - это служба в Azure, которую можно использовать для создания, назначения и управления политиками. Эти политики применяют различные правила к вашим ресурсам, чтобы они соответствовали корпоративным стандартам и соглашениям об уровне обслуживания. Azure Policy может гарантировать, что на всех виртуальных машинах в вашей подписке установлены и правильно настроены необходимые агенты мониторинга.

Вы можете определить политики, которые проверяют или даже развертывают определенные параметры, такие как периоды хранения журналов и конкретные параметры диагностики, обеспечивая соответствие нормативным требованиям и помогая контролировать расходы. Например, можно настроить политику для автоматического развертывания агентов Log Analytics на каждой новой виртуальной машине, которая создается в рамках подписки. Другая политика может требовать сбора определенных показателей производительности и аудита виртуальных машин, чтобы убедиться, что сбор происходит должным образом. Если обнаружено несоответствие виртуальной машины требованиям, Azure Policy может запустить задание исправления, которое приведет виртуальную машину в соответствие, автоматически настроив правильные параметры.

C) Журналы (Azure Monitor Logs):

Назначение: журналы Azure Monitor Logs являются ключевыми для хранения и анализа данных журналов в рабочей области Log Analytics, используя язык запросов Kusto Query Language (KQL) для сложных запросов.

Детальный контроль расходов: хотя Azure Monitor Logs умеет агрегировать данные из разных источников, в том числе из виртуальных машин и журналов приложений, эффективное управление расходами является крайне важным. DCR контролируют сбор журналов для хранения и анализа в Log Analytics, где применяются те же правила сбора.

Базовые журналы Azure Monitor: журналы Azure Monitor предлагают два плана журналов, которые позволяют уменьшить расходы на сбор и хранение журналов, а также воспользоваться расширенными функциями и аналитическими возможностями Azure Monitor в соответствии с вашими потребностями.

2) Стратегии сохранения данных:

Эффективная политика хранения данных играет жизненно важную роль в контроле расходов. Azure Log Analytics позволяет автоматически удалять данные, превышающие определенные пороговые значения, избегая лишних затрат на хранение данных, которые больше не нужны. Журналы Azure Monitor Logs хранят данные в двух состояниях: интерактивное хранение, что позволяет хранить журналы аналитики для интерактивных запросов до 2 лет, и архивирование, что позволяет хранить более старые, реже используемые данные в рабочем пространстве за меньшую стоимость. Вы можете получить доступ к заархивированным данным с помощью поисковых запросов и восстановить их, а также хранить данные в архиве до 12 лет.

  • Назначение: Внедрение четко определенных политик хранения данных имеет важное значение для обеспечения баланса между доступностью исторических данных и управлением затратами в Azure Log Analytics. Цель состоит в том, чтобы хранить только те данные, которые добавляют ценности вашей организации, минимизируя при этом затраты на хранение и связанные с этим расходы.
  • Автоматическая очистка: Azure Log Analytics облегчает контроль расходов благодаря автоматической очистке данных. Настройте политику хранения, чтобы автоматически удалять данные, которые превышают заданный вами порог хранения, чтобы не платить за хранение ненужных данных.

Разработка политики хранения:

Оценка ценности данных: Регулярно оценивайте важность различных типов данных и их актуальность с течением времени, чтобы определить соответствующие периоды хранения.
Соображения относительно соответствия: Убедитесь, что периоды хранения соответствуют нормативным требованиям и политике управления данными организации.

Методы сокращения расходов:

Сокращение периода хранения: Хранение только необходимых данных приводит к прямой экономии средств на ресурсы хранения. Некоторые методы включают очистку, дедупликацию и архивирование данных и политику управления жизненным циклом.

Настройка "Период сохранения таблицы". Вы также можете указать периоды хранения для каждой отдельной таблицы в рабочей области Log Analytics.

Срок хранения интерактивных и архивных данных: позволяет хранить журналы аналитики для интерактивных запросов до двух лет

Автоматическая очистка данных: Если установить период хранения данных на 30 дней, вы можете немедленно очистить старые данные с помощью параметра immediatePurgeDataOn30Days в Azure Resource Manager. Рабочие пространства с 30-дневным периодом хранения могут хранить данные в течение 31 дня, если этот параметр не установлен.

Дедупликация данных: Рабочие пространства аналитики журналов Azure не предлагают встроенных функций дедупликации данных, однако вы можете реализовать дублирование данных как часть процесса поглощения перед отправкой данных в Azure Log Analytics с помощью функции Azure или логического приложения.

Перенесите более старые данные в Azure Blob с помощью экспорта данных: Экспорт данных в рабочей области аналитики логов позволяет непрерывно экспортировать данные в выбранные таблицы в рабочей области. Данные можно экспортировать в учетную запись репозитория или в центры событий Azure. Когда данные попадают в хранилище, к ним можно применять политики жизненного цикла. Еще одно преимущество экспорта данных заключается в том, что меньшие наборы данных сокращают время выполнения запросов и потенциально снижают затраты на вычисления.

3) Оптимизация с помощью трансформаций:

Основная цель преобразований данных в Azure Log Analytics - повысить эффективность обработки данных, сосредоточившись на важной информации, таким образом совершенствуя наборы данных. Во время этого процесса, который происходит в конвейере поступления данных Azure Monitor, данные подвергаются трансформации после того, как их отправляет источник, но до того, как они попадают в конечный пункт назначения (LAW). Этот ключевой шаг не только уменьшает затраты на поглощение данных, устраняя лишние строки и столбцы, но и обеспечивает соблюдение стандартов конфиденциальности благодаря анонимизации конфиденциальной информации. Благодаря добавлению слоев контекста и оптимизации релевантности, трансформации обеспечивают повышение качества данных, одновременно позволяя осуществлять детальный контроль доступа и оптимизировать управление затратами.

Существует два способа трансформации: один - на уровне правила сбора данных, вы выбираете только необходимые элементы, такие как счетчики производительности Windows из виртуальной машины, работающей под управлением ОС Windows в Azure, второй - на уровне таблицы в рабочем пространстве аналитики журналов Azure Log Analytics Workspace (LAW).

Процесс преобразования:

Выбор данных: Трансформации определяются в правиле сбора данных (DCR) и используют оператор языка запросов Kusto (KQL), который применяется индивидуально к каждой записи во входных данных и создает выходные данные в структуре, ожидаемой для места назначения.

Преобразование таблиц: Используйте язык Kusto Query Language (KQL) Azure Log Analytics для выполнения преобразований определенных таблиц в рабочем пространстве Azure Log Analytics. Не все таблицы поддерживают трансформации, пожалуйста, проверьте полный список.

Методы сокращения расходов:

Уменьшение объема памяти: Настройте правила сбора данных, чтобы собирать только нужные данные, и настройте преобразование таблиц, чтобы допускать в рабочее пространство Log Analytics только необходимые данные.

Регулярный просмотр: Постоянно оценивайте и обновляйте логику трансформации, чтобы убедиться, что она отражает текущий ландшафт данных и бизнес-цели.

4) Практика управления затратами:

Первоочередной задачей в управлении затратами является выяснение того, откуда возникают затраты, и поиск путей оптимизации либо в источнике, либо путем принятия некоторых или всех стратегий, изложенных в этом документе. Основным инструментом, который можно использовать в Azure, является инструмент Azure Cost Management and Billing. Он используется для получения четкого и действенного представления о ваших расходах на Azure. Эти инструменты предоставляют критически важную информацию о том, как потребляются ресурсы, что позволяет принимать обоснованные решения для оптимизации расходов. В дополнение к уже описанным стратегиям, ниже приведены другие методы управления затратами:

Механизмы контроля затрат:

  • Бюджеты и оповещения: Установите бюджеты для различных проектов или услуг и настройте оповещения, чтобы информировать вас, когда расходы приближаются к этим бюджетам или превышают их.
  • Размещение рабочих пространств аналитики журналов: продуманное размещение рабочих пространств аналитики журналов является важным и может существенно повлиять на расходы. Начните с одной рабочей области, чтобы упростить управление и запросы. По мере того как ваши требования будут развиваться, рассмотрите возможность создания нескольких рабочих пространств, исходя из конкретных потребностей, таких как комплаенс. Также следует рассмотреть региональное размещение. Создание отдельных рабочих пространств в каждом регионе может уменьшить расходы, но консолидация в едином рабочем пространстве может позволить вам воспользоваться преимуществами уровней обязательств и дополнительно сэкономить средства.

Стратегии реализации:

  • Добавление тегов и группировка: применяйте теги ресурсов, чтобы улучшить видимость и контролировать расходы на облако путем логического группирования расходов.
  • Распределение расходов: распределяйте расходы между отделами или проектами, поощряя подотчетность и экономичное поведение. Чтобы найти объем данных по ресурсу Azure, группе ресурсов или подписке, вы можете использовать запросы KQL в разделе Журнал рабочей области Log Analytics.



В заключение, мы представили структурированный подход к оптимизации затрат в Azure, в частности для служб, связанных с Azure Monitor и Log Analytics. Благодаря тщательному планированию стратегий поглощения, политик сохранения данных, практик трансформации данных и разумного управления затратами организации могут значительно сократить расходы на облако, не жертвуя глубиной и целостностью аналитики. Наши инженеры помогут применить на практике указанные советы, начиная от фильтрации и выборки данных на входе и заканчивая применением интеллектуальных стратегий сохранения и трансформации данных, направленных на создание экономически эффективной и одновременно надежной среды регистрации данных в Azure. Последовательно применяя эти стратегии и регулярно пересматривая модели использования и расходов с помощью инструментов Azure Cost Management, компании могут гарантировать, что их облачные операции будут оставаться в пределах бюджетных ограничений, сохраняя высокую производительность и стандарты соответствия.