Ефективне управління витратами в Azure Monitor і Azure Log Analytics має важливе значення для контролю витрат на хмару. Вона охоплює стратегічні заходи, спрямовані на скорочення витрат і водночас на максимізацію цінності отриманих, оброблених і збережених даних. В Azure досягнення такого балансу передбачає застосування ефективних методів збору даних, розумних політик зберігання та розумного використання перетворень таблиць за допомогою мови запитів Kusto (KQL).

Розуміння впливу методів керування даними на витрати має вирішальне значення, оскільки кожен байт даних, отриманих і збережених в Azure Log Analytics, тягне за собою витрати. Перетворення таблиць, такі як фільтрація, проєктування, агрегування, сортування, об'єднання та видалення даних, є чудовим способом зменшити витрати на зберігання та отримання даних. Вони дозволяють фільтрувати або змінювати дані до того, як вони будуть відправлені в робочу область Log Analytics. Зменшення витрат на обробку даних, а також зменшення тривалості їх зберігання.

У цій статті ми розглянемо чотири ключові сфери, щоб розкрити стратегії оптимізації середовища Azure Monitor і Azure Log Analytics, забезпечуючи економічну ефективність, зберігаючи при цьому високу продуктивність і цілісність даних. Дамо вичерпну інформацію щодо управління витратами на хмарні сервіси в Azure.

Основні напрями:

1. Врахування витрат на споживання: обсяг даних, що споживаються, насамперед впливає на витрати. Впровадження фільтрів у джерелі має вирішальне значення для отримання лише найнеобхідніших даних.

2. Стратегії збереження даних: ефективна політика збереження даних є життєво важливою для контролю витрат. Azure Log Analytics дозволяє автоматично видаляти дані, що перевищують певні порогові значення, запобігаючи зайвим витратам на зберігання.

3. Оптимізація за допомогою трансформацій: удосконалення набору даних за допомогою трансформацій таблиць може зосередити зусилля на цінних даних і зменшити потреби в довгостроковому зберіганні. Зауважте, що ці трансформації не зменшать витрати протягом мінімального періоду зберігання даних.

4. Практики управління витратами: використання інструментів Azure для управління витратами та виставлення рахунків має вирішальне значення для отримання уявлення про моделі використання. Ці знання допомагають вносити стратегічні корективи, узгоджуючи витрати з бюджетними обмеженнями.

1) Міркування щодо витрат на поглинання:

Ефективне поглинання даних в Azure Monitor і Log Analytics - це баланс між отриманням всебічної інформації та управлінням витратами. У цьому розділі розглядаються ефективні стратегії збору даних для середовищ IaaS від Azure, висвітлюється розумне використання правил збору даних (DCR) для підтримки якості аналітики даних при одночасному вирішенні проблем з витратами.

Витрати на збір даних в Azure Log Analytics виникають в точці збору, причому обсяг безпосередньо впливає на витрати. На цьому етапі вкрай важливо створити першу лінію захисту від високих витрат. Вибірка в джерелі має вирішальне значення, гарантуючи, що програми та ресурси передають лише необхідні дані. Ця попередня фільтрація створює основу для економічно ефективного керування даними. У середовищі Azure DCR стають ключовим механізмом, з якого починається ця важлива вибірка даних. Вони спрощують процес збору, визначаючи, які дані збираються і як. Однак важливо розуміти, що, хоча DCR є всеосяжними, вони можуть не охоплювати всі типи даних або джерел. Для більш тонких або складних вимог може знадобитися додаткова конфігурація або інструменти, що виходять за рамки стандартного обсягу DCR.

Крім того:

Навігація по Azure Monitor Ingestion в IaaS

Віртуальні машини (ВМ) Azure надають широкий спектр варіантів ведення журналів, які впливають як на глибину операційної аналітики, так і на відповідні витрати. Стратегічне використання DCR у поєднанні з такими інструментами, як налаштування діагностики журналів та аналітика, є важливим для професійного моніторингу та управління віртуальними машинами".

A) Параметри діагностики журналу:

При включенні параметрів діагностики журналів в Azure вам буде запропоновано вибрати правило збору даних, хоча у вас немає можливості змінити правило збору, ви можете отримати доступ до параметрів DCR, перейшовши в розділ служби Azure Monitor. DCR допомагають налаштувати збір журналів і показників. Вони підтримують діагностику маршрутизації до журналів Azure Monitor, сховища або концентратора подій і є цінними для отримання детальних даних, таких як журнали завантаження віртуальних машин або лічильники продуктивності.

Мінімізуйте витрати за допомогою DCR:

Фільтруйте у джерелі: DCR можуть застосовувати фільтри, щоб надсилати лише відповідні дані в робочу область.

Ефективний збір даних: DCR можуть зменшити частоту збору або зосередитися на ключових показниках, що може вимагати додаткової інформації для складних шаблонів даних.

Регулярні перевірки: Хоча DCR автоматизують деякі практики збирання, ручний контроль все ще потрібен для виявлення та усунення великих обсягів джерел.

B) Insights (Azure Monitor для віртуальних машин)

Призначення: Azure VM Insights - це розширення Azure Monitor, призначене для надання комплексного рішення для моніторингу, що містить докладні показники продуктивності, візуальні карти залежностей і важливу статистику стану ваших віртуальних машин.

Детальніше: Використовуючи агент Log Analytics, Azure VM Insights збирає та синтезує дані з ваших віртуальних машин, пропонуючи цілісну інформаційну панель, яка відображає продуктивність процесора, пам'яті, дисків і мережі, а також деталі процесів і міжсервісні залежності.

Варіанти використання: Azure VM Insights є ключовим інструментом для розширеного моніторингу та діагностики продуктивності. Вона дає змогу на ранніх стадіях виявляти проблеми з продуктивністю, допомагає розпізнавати зміни в системі та проактивно попереджає про потенційні збої ще до того, як вони суттєво проявляться.

Серед заходів з економії коштів:

  • Вибірковий збір: DCR гарантують, що збираються лише основні показники, але розуміння того, які саме показники є важливими, може вимагати детального аналізу.
  • Частота збору показників: Регулювання частоти за допомогою DCR може зменшити перевантаження, але для визначення оптимальних інтервалів може знадобитися ручний аналіз.
  • Використовуйте автоматизацію та політику Azure для конфігурації: Наріжним каменем масштабованого та економічно ефективного моніторингу є впровадження стандартизованих конфігурацій для всіх ваших віртуальних машин (ВМ). Автоматизація відіграє ключову роль у цьому процесі, гарантуючи, що конфігурації моніторингу є узгодженими, безпомилковими та узгодженими з політиками організації та нормативними вимогами.
  • Політика Azure для забезпечення узгодженості моніторингу: Azure Policy - це служба в Azure, яку можна використовувати для створення, призначення та керування політиками. Ці політики застосовують різні правила до ваших ресурсів, щоб вони відповідали корпоративним стандартам і угодам про рівень обслуговування. Azure Policy може гарантувати, що на всіх віртуальних машинах у вашій передплаті інстальовано та правильно налаштовано необхідні агенти моніторингу.

Ви можете визначити політики, які перевіряють або навіть розгортають певні параметри, як-от періоди зберігання журналів і конкретні параметри діагностики, забезпечуючи відповідність нормативним вимогам і допомагаючи контролювати витрати. Наприклад, можна налаштувати політику для автоматичного розгортання агентів Log Analytics на кожній новій віртуальній машині, яка створюється в рамках підписки. Інша політика може вимагати збору певних показників продуктивності та аудиту віртуальних машин, щоб переконатися, що збір відбувається належним чином. Якщо виявлено невідповідність віртуальної машини вимогам, Azure Policy може запустити завдання виправлення, яке приведе віртуальну машину у відповідність, автоматично налаштувавши правильні параметри.

C) Журнали (Azure Monitor Logs):

Призначення: журнали Azure Monitor Logs є ключовими для зберігання та аналізу даних журналів у робочій області Log Analytics, використовуючи мову запитів Kusto Query Language (KQL) для складних запитів.

Детальний контроль витрат: хоча Azure Monitor Logs вміє агрегувати дані з різних джерел, зокрема з віртуальних машин і журналів програм, ефективне управління витратами є вкрай важливим. DCR контролюють збір журналів для зберігання та аналізу в Log Analytics, де застосовуються ті ж правила збору.

Базові журнали Azure Monitor: журнали Azure Monitor пропонують два плани журналів, які дають змогу зменшити витрати на збір і зберігання журналів, а також скористатися розширеними функціями й аналітичними можливостями Azure Monitor відповідно до ваших потреб.

2) Стратегії збереження даних:

Ефективна політика зберігання даних відіграє життєво важливу роль у контролі витрат. Azure Log Analytics дозволяє автоматично видаляти дані, що перевищують певні порогові значення, уникаючи зайвих витрат на зберігання даних, які більше не потрібні. Журнали Azure Monitor Logs зберігають дані у двох станах: інтерактивне зберігання, що дозволяє зберігати журнали аналітики для інтерактивних запитів до 2 років, та архівування, що дозволяє зберігати старіші, рідше використовувані дані у робочому просторі за меншу вартість. Ви можете отримати доступ до заархівованих даних за допомогою пошукових запитів і відновити їх, а також зберігати дані в архіві до 12 років.

  • Призначення: Впровадження чітко визначених політик збереження даних має важливе значення для забезпечення балансу між доступністю історичних даних та управлінням витратами в Azure Log Analytics. Мета полягає в тому, щоб зберігати тільки ті дані, які додають цінності вашій організації, мінімізуючи при цьому витрати на зберігання і пов'язані з цим витрати.
  • Автоматичне очищення: Azure Log Analytics полегшує контроль витрат завдяки автоматичному очищенню даних. Налаштуйте політику зберігання, щоб автоматично видаляти дані, які перевищують заданий вами поріг зберігання, щоб не платити за зберігання непотрібних даних.

Розробка політики зберігання:

  • Оцінка цінності даних: Регулярно оцінюйте важливість різних типів даних та їхню актуальність з плином часу, щоб визначити відповідні періоди зберігання.
  • Міркування щодо відповідності: Переконайтеся, що періоди зберігання відповідають нормативним вимогам та політиці управління даними організації.

Методи скорочення витрат:

  • Скорочення періоду зберігання: Зберігання лише необхідних даних призводить до прямої економії коштів на ресурси зберігання. Деякі методи включають очищення, дедуплікацію і архівування даних та політику управління життєвим циклом.
  • Налаштування Період збереження таблиці. Ви також можете вказати періоди зберігання для кожної окремої таблиці в робочій області Log Analytics.

Термін зберігання інтерактивних та архівних даних: дозволяє зберігати журнали аналітики для інтерактивних запитів до двох років

Автоматичне очищення даних: Якщо встановити період зберігання даних на 30 днів, ви можете негайно очистити старі дані за допомогою параметра immediatePurgeDataOn30Days в Azure Resource Manager. Робочі простори з 30-денним періодом зберігання можуть зберігати дані протягом 31 дня, якщо цей параметр не встановлено.

Дедуплікація даних: Робочі простори аналітики журналів Azure не пропонують вбудованих функцій дедуплікації даних, однак ви можете реалізувати дублювання даних як частину процесу поглинання перед надсиланням даних до Azure Log Analytics за допомогою функції Azure або логічного додатка.

Перенесіть старіші дані в Azure Blob за допомогою експорту даних: Експорт даних у робочій області аналітики логів дає змогу безперервно експортувати дані до вибраних таблиць у робочій області. Дані можна експортувати до облікового запису сховища або до центрів подій Azure. Коли дані потрапляють до сховища, до них можна застосовувати політики життєвого циклу. Ще одна перевага експорту даних полягає в тому, що менші набори даних скорочують час виконання запитів і потенційно знижують витрати на обчислення.

3) Оптимізація за допомогою трансформацій:

Основна мета перетворень даних в Azure Log Analytics - підвищити ефективність обробки даних, зосередившись на важливій інформації, таким чином удосконалюючи набори даних. Під час цього процесу, який відбувається в конвеєрі надходження даних Azure Monitor, дані зазнають трансформацій після того, як їх надсилає джерело, але до того, як вони потрапляють до кінцевого пункту призначення (LAW). Цей ключовий крок не лише зменшує витрати на поглинання даних, усуваючи зайві рядки та стовпці, але й забезпечує дотримання стандартів конфіденційності завдяки анонімізації конфіденційної інформації. Завдяки додаванню шарів контексту та оптимізації релевантності, трансформації забезпечують підвищення якості даних, водночас дозволяючи здійснювати детальний контроль доступу та оптимізувати управління витратами.

Існує два способи трансформації: один - на рівні правила збору даних, ви вибираєте тільки необхідні елементи, такі як лічильники продуктивності Windows з віртуальної машини, що працює під управлінням ОС Windows в Azure, другий - на рівні таблиці у робочому просторі аналітики журналів Azure Log Analytics Workspace (LAW).

Процес перетворення:

  • Вибір даних: Трансформації визначаються у правилі збору даних (DCR) і використовують оператор мови запитів Kusto (KQL), який застосовується індивідуально до кожного запису у вхідних даних і створює вихідні дані у структурі, очікуваній для місця призначення.
  • Перетворення таблиць: Використовуйте мову Kusto Query Language (KQL) Azure Log Analytics для виконання перетворень певних таблиць у робочому просторі Azure Log Analytics. Не всі таблиці підтримують трансформації, будь ласка, перевірте повний список.

Методи скорочення витрат:

  • Зменшення обсягу пам'яті: Налаштуйте правила збору даних, щоб збирати лише потрібні дані, і налаштуйте перетворення таблиць, щоб допускати до робочого простору Log Analytics лише необхідні дані.
  • Регулярний перегляд: Постійно оцінюйте та оновлюйте логіку трансформації, щоб переконатися, що вона відображає поточний ландшафт даних і бізнес-цілі.

4) Практика управління витратами:

Першочерговим завданням в управлінні витратами є з'ясування того, звідки виникають витрати, і пошук шляхів оптимізації або в джерелі, або шляхом прийняття деяких або всіх стратегій, викладених у цьому документі. Основним інструментом, який можна використовувати в Azure, є інструмент Azure Cost Management and Billing. Він використовується для отримання чіткого та дієвого уявлення про ваші витрати на Azure. Ці інструменти надають критично важливу інформацію про те, як споживаються ресурси, що дає змогу приймати обґрунтовані рішення для оптимізації витрат. На додаток до вже описаних стратегій, нижче наведено інші методи управління витратами:

Механізми контролю витрат:

  • Бюджети та сповіщення: Встановіть бюджети для різних проєктів або послуг і налаштуйте сповіщення, щоб інформувати вас, коли витрати наближаються до цих бюджетів або перевищують їх.
  • Розміщення робочих просторів аналітики журналів: продумане розміщення робочих просторів аналітики журналів є важливим і може суттєво вплинути на витрати. Почніть з однієї робочої області, щоб спростити управління і запити. У міру того, як ваші вимоги розвиватимуться, розгляньте можливість створення декількох робочих просторів, виходячи з конкретних потреб, таких як комплаєнс. Також слід розглянути регіональне розміщення. Створення окремих робочих просторів у кожному регіоні може зменшити витрати, але консолідація в єдиному робочому просторі може дозволити вам скористатися перевагами рівнів зобов'язань і додатково заощадити кошти.

Стратегії реалізації:

  • Додавання тегів і групування: застосовуйте теги ресурсів, щоб покращити видимість і контролювати витрати на хмару шляхом логічного групування витрат.
  • Розподіл витрат: розподіляйте витрати між відділами або проєктами, заохочуючи підзвітність і економічну поведінку. Щоб знайти обсяг даних за ресурсом Azure, групою ресурсів або підпискою, ви можете використовувати запити KQL у розділі Журнал робочої області Log Analytics.



Насамкінець, ми представили структурований підхід до оптимізації витрат у Azure, зокрема для служб, пов'язаних із Azure Monitor і Log Analytics. Завдяки ретельному плануванню стратегій поглинання, політик збереження даних, практик трансформації даних і розумного управління витратами організації можуть значно скоротити витрати на хмару, не жертвуючи глибиною і цілісністю аналітики. Наші інженери допоможуть застосувати на практиці зазначені поради, починаючи від фільтрації та вибірки даних на вході і закінчуючи застосуванням інтелектуальних стратегій збереження та трансформації даних, спрямованих на створення економічно ефективного і водночас надійного середовища реєстрації даних в Azure. Послідовно застосовуючи ці стратегії та регулярно переглядаючи моделі використання й витрат за допомогою інструментів Azure Cost Management, компанії можуть гарантувати, що їхні хмарні операції залишатимуться в межах бюджетних обмежень, зберігаючи високу продуктивність і стандарти відповідності.