Набор метрик это: что это такое и зачем они нужны, какие виды бывают, как определить подходящие

Зачем нужны продуктовые метрики и как определить свой набор — Маркетинг на vc.ru

В чем измеряется успех? Каждая технологическая компания хочет его достичь, но как понять, куда в заданный момент времени движется бизнес: к успеху или неудаче? На эти вопросы отвечает Анна Маикова, руководитель продуктового маркетинга, PicsArt Россия.

4518
просмотров

Анна Маикова

Руководитель продуктового маркетинга, PicsArt Россия

Аналитика ключевых метрик помогает понять, какие действия предпринять, чтобы прийти к нужному результату. В каждой отрасли (если не в каждой компании) свое понимание успешности, и измеряется она по-разному. Рассказываем, как могут анализировать удачный запуск продукта разработчики мобильных приложений.

Продуктовые метрики бывают качественными и количественными – чаще используются последние, поскольку их легче сравнивать. Отслеживая динамику этих показателей во времени, бизнес делает выводы об успешности продукта: как меняется его популярность, частота и длительность использования, уровень удовлетворенности пользователей и т. д. Качественные исследования, тем не менее, играют важную роль. Например, мы раз в месяц проводим опросы в соцсетях и приложении, чтобы собрать предложения, вопросы и жалобы пользователей. На основе этого мы меняем продукт: из последнего — добавили больше кириллических шрифтов и инструмент изгиба текста.

Привязка к целям

Продуктовых метрик очень много: от общих вроде Показателя стоимости привлечения клиента – Customer Acquisition Cost (CAC), Коэффициента удержания клиента – Retention rate и показателя пожизненной ценности клиента – Lifetime Value (LTV), до специфических нишевых: например, для приложений это могут быть показатель установок/удалений – Installs/Uninstalls, показатель средней продолжительности сеанса – Session Duration, показатель количества загрузок/активаций – Activations rate, показатель частоты взаимодействия пользователя с продуктом – Stickiness и т.д.

Выбор метрики зависит от целевого действия: скачивания, регистрации, покупки подписки или товара, а фреймворк общего направления, например:

Изменения в продукте:

Важно измерить эффективность тех или иных итераций, которые делает команда, и отделить их, например, от результативности маркетинговых кампаний. Это позволяет понять, что именно привело к росту показателей, и избавиться от наложенного эффекта других факторов. Для этого двум когортам пользователей показывают разные варианты изменений, либо показывают изменение только контрольной группе, измеряя на отрезке времени конкретный показатель. Например, им может быть:

  • Retention rate – показывает, сколько человек продолжают пользоваться продуктом на определенном отрезке времени. Считается так: нужно из суммарного количества пользователей на конец периода (СE) вычесть количество новых (появившихся в этом периоде, СN), а затем полученное число разделить на количество пользователей на начало периода (CS). Умножаем на 100% и получаем метрику удерживания. Ее рост говорит о том, что изменения в продукте были успешными.

Это самый главный показатель для подписной модели. Он говорит о том, продлевают ли вашу подписку после покупки – иными словами, насколько ценным оказался продукт для аудитории.

  • Customer churn rate – обратная метрика, которая говорит об оттоке клиентов. Она рассчитывается довольно просто: от количества пользователей в начале периода (СS) отнимается количество в конце периода (CE), а затем делится на первое число (CS). Также удобнее считать в процентах.
  • Conversion Rate Install to Event – показатель того, сколько пользователей после установки доходят до целевого действия (например, покупки подписки). Рассчитывается как процент количества целевых действий от количества установок.
  • Active Users (MAU, DAU, WAU) – число активных пользователей за период. Выбор временного промежутка зависит от конкретного приложения: например, аудитория заходит в TikTok и Instagram практически ежедневно, поэтому для них ключевыми метриками будут DAU и длина сессии (Session Duration). Наши пользователи редактируют фото и видео по мере необходимости, поэтому мы измеряем активность за неделю (WAU – weekly active users). Приложение Flo обычно пригождается 1-2 раз в месяц, поэтому более важным показателем здесь будет MAU (monthly active users).

Пример метрик активности, которые мы отслеживаем в Piсsart: от активности в день, неделю, месяц до количества открытий приложения, просмотров страниц, сохранений, экспорта фото в соцсети

Монетизация:

Нужно оценить, как текущее развитие продукта способствует достижению стратегических целей и росту бизнеса в целом.

Пример разбивки метрик по целям

  • LTV – суммарная ценность клиента или прибыль, которую он принес за все время, пока пользуется продуктом. Средняя выручка от пользователя в месяц делится на коэффициент оттока (Churn Rate).
  • CAC – стоимость привлечения пользователя, которая должна быть ниже, чем LTV. Рассчитывается элементарно: сумма всех маркетинговых затрат на привлечение разделить на количество пользователей продукта.
  • Net Promoter Score – метрика лояльности, которая показывает, насколько пользователи готовы рекомендовать продукт своему окружению. Источником данных служат опросы пользователей. Чтобы определить NPS, нужно вычесть из процента самых лояльных пользователей процент наименее лояльных.
  • ARPU – средняя прибыль от одного пользователя за определенный период. Расчет зависит от модели монетизации приложения. Например, если это подписка, то прибыль от продаж за период делится на число покупателей.

Маркетинг:

  • Awareness – узнаваемость приложения. Мы отслеживаем динамику показателя с помощью качественных интервью и количественных опросов. Важно понимать, на каком месте находится приложение в конкурентном окружении.

Зачем внедрять продуктовые метрики в маркетинг?

Продакт-менеджеры говорят на языке метрик: стоимость привлечения клиента (CAC), его ценность (LTV), процент удержания (Retention), и заняты планированием или разработкой функций в продукте. На самом деле, не так важно, какие конкретно метрики выбраны – обычно они похожи. Главное, чтобы продакт-менеджеры и маркетологи говорили на общем языке. Что это значит?

1. Маркетолог понимает суть продуктовых метрик

2. Он имеет доступ к дашбордам и умеет пользоваться инструментами измерений

3. Метрики используются для измерения эффективности рекламных кампаний и продукта

У продуктологов и маркетологов должна быть понятная общая цель: привлечь больше пользователей, сделать продукт ценным для них, удержать аудиторию. Поэтому маркетинговые действия нужно измерять с точки зрения продуктовых метрик.

Примеры коллабораций для улучшения продуктовых метрик приложений

Мы в PicsArt используем следующий фреймворк: Рост, Активность, Монетизация. Расскажем подробнее о тех метриках, в повышении которых большую роль играет маркетинг, и где они активно используются для построения бренд-коммуникаций.

1. Метрики роста:

  • Количество просмотров (Impressions) – PR-специалисты, добиваясь повышения узнаваемости. Чем она выше, тем больше вероятность, что приложение узнают в сторе.

  • Конверсия просмотров страницы в установки (Conversion from Impressions to Installs) – маркетолог или ASO-специалист включают ключевые слова в описание приложения; участвуют в работе над дизайном экранов приложения в сторах (делают тесты визуалов и заголовков, демонстрируют новые функции на экранах приложения). Например, запустили новый эффект – показываем его на втором скрине стора и выделяем заголовок, добавляем название эффекта в ключевые слова.
  • Количество регистраций (Registration rate) – маркетолог вместе с UX-исследователем и юристом составляет текст регистрации, чтобы продакт-менеджер с дизайнером сделали тесты скрина и последовательности его показа. Чем удачнее текст и привлекательнее скрин, тем выше вероятность получить регистрацию. Кроме того, помощь маркетолога важна для скрина с разрешением push-уведомления на IDFA (разрешение на сбор данных) и подписки на на новостную рассылку. Чем больше разрешений получит приложение, тем интенсивнее последующая коммуникация с пользователями (например, по поводу новинок).

2. Метрики активности

  • MAU, WAU, DAU – маркетолог смотрит на действия пользователя в первый месяц (например, какие бесплатные фотофильтры пользуются спросом) и коммуницирует их через push, рассылку или всплывающие экраны. Совместно с продакт-менеджером маркетолог определяет путь пользователя и релевантность сообщений. На рост метрики влияет контент-маркетинг: например, пользователи любят узнать про тренды обработки фото, поэтому мы держим их в курсе или направляем в свой Instagram-аккаунт, где показываем туториалы и примеры обработки.
  • D1 retention (количество пользователей, которые воспользовались приложением в первый день после установки) – это очень важная метрика для формирования stickiness (привязанность пользователя к продукту). Продуктологи и маркетологи совместно работают над подталкиванием пользователей к гиду или целевому действию с помощью навигатора или всплывающих экранов. Здесь также важно использовать язык аудитории.
  • Количество целевых действий (просмотров страниц, покупок и т.д., а в нашем случае – число редактирований Edit Done). Метрика помогает выделить «суперюзеров», которых можно превратить в амбассадоров и использовать в бренд-коммуникациях.

Метрики монетизации

  • Views (просмотры) – актуально для монетизации на рекламе: чем больше пользователь листает страниц или проводит времени в приложении, тем больше рекламы видит.

  • mMAU – количество active users в месяц, которые платят. Важно понимать конверсию из бесплатных пользователей в платные. Метрика помогает понять, видят ли они ценность продукта. Если показатель стагнирует или снижается, проблема может быть как в самом продукте, так и в коммуникациях, и маркетологам важно смотреть на показатель до и после кампании по стимулированию подписки.

  • CAC (стоимость привлечения пользователя) – метрика учитывает все рекламные каналы, которые приводят к скачиванию, включая платные, смешанные и органические. Для оптимизации показателя маркетологу и рекламным агентствам важно постоянно тестировать текстовые и визуальные рекламные креативы, чтобы делать выбор в пользу наиболее эффективных при том же бюджете. Чтобы креатив работал лучше, маркетолог может проводить опросы на тему того, что нравится пользователям в продукте, и тестировать язык аудитории в рекламе. Если отклик повышается, язык можно использовать в продуктовой коммуникации внутри приложения.

Пример рекламного теста на лучшую CAC (победитель – девушка с розовыми волосами)

Это не все продуктовые метрики, которые мы используем, но одно можно сказать точно – маркетинг активно отслеживает большую часть этих показателей и непосредственно на них влияет. Есть и другие примеры коллаборации продуктологов: например, совместная работа с командой поддержки и QA (quality assurance), чтобы снижать количество негативных ревью в сторах и повышать число позитивных. Чем выше зрелость сквозной системы метрик в компании, тем ближе она к пользователям.

#marketing #analytics #technology #PicsArt #it #rate #ltv #busines #маркети #маркетингпродукта #технологии #аналитикаспроса #метрики

Что такое продуктовая метрика? | Университет СИНЕРГИЯ

Какие показатели предприятия измерять и контролировать? У разных типов бизнеса – разные параметры. Чтобы не действовать вслепую, составляются продуктовые метрики, совершенствуя и анализируя которые, получится точно узнать узкие участки своей работы.

Содержание

Занятие бизнесом требует строгого учета и знаний правил привлечения клиентов. Успешность дела невозможна без всестороннего анализа деятельности, процесса продаж, результатов. Для этой цели отслеживаются определенные показатели.

Любому бизнесмену следует разобраться, какие показатели измерять и контролировать. У разных типов бизнеса – разные параметры. Чтобы не действовать вслепую, составляются продуктовые метрики, совершенствуя и анализируя которые, получится точно узнать узкие участки своей работы.

Что такое метрика?

Продуктовая метрика это совокупность набора данных, позволяющих определить, как используется и работает конкретный продукт. Она позволяет узнать, как оценивают продукт покупатели, насколько он полезен. От правильности ее составления зависит многое. Прежде всего она должна проявить проблемные показатели, нуждающиеся в проработке.

Всестороннее знание товара / услуги поможет создать эффективные списки показателей, отображающих реальное положение вещей, способность продукта развиваться, прогрессировать.

Виды метрик

Сформировано несколько основных видов, необходимых любому предпринимателю независимо от типа бизнеса.

  • Цена привлечения пользователя (Customer Acquisition Cost – CAC) отображает, сколько денег тратится на привлечение одного полноценного клиента. Чтобы бизнес приносил выгоду, нужно создать продукт и покупать пользователей, рекламируя собственный сервис, товар, услугу. CAC – число, равное потраченной на одного клиента сумме.

Формула расчета:

CAC = потраченный рекламный бюджет / число новых полноценных клиентов.

  • Коэффициент удержания (Retention Rate) показывает количество пользователей, продолжающих применять продукт в течение определённого промежутка времени. От данного показателя напрямую зависит показатель пожизненной ценности пользователя LTV.

Формула расчета:

RR = число активных юзеров в конце срока / число активных юзеров в начале срока * 100.

Приведем пример: пусть из 100 юзеров в 1-й день активировались 50, на 8-й — 20. Получим RR = 20/50 * 100 = 40%: коэффициент удержания за 8 суток равен 40% всех привлеченных юзеров.

  • Коэффициент оттока (Churn Rate) показывает процент оттока клиентов. Как правило, кривая Churn Rate круто идет вверх 1-й месяц работы и выходит на плато к 4-5-му месяцу. Это объясняется тем, что в начале работы клиенты, не оценившие товар или подписавшиеся ошибочно, часто отписываются. Далее бизнес взаимодействует с “удержанными” клиентами. На данном этапе компании нужно заработать благодаря им столько, чтобы окупить 100% расходов на привлечение когорты юзеров.

Также бизнесу потребуется понижать значение Churn Rate путем обеспечения безупречности продукта.

Формула расчета:

CR = (1 – число юзеров в конце срока / число юзеров в начале срока) * 100.

Рассмотрим пример: допустим, в мае было 50 платящих юзеров, в июне – 20. Вычислим CR = (1 – 20/50) * 100 = 60: отток клиентов за выбранный промежуток времени составил 60%.

  • Пожизненная ценность клиента (Lifetime Value — LTV) дает величину прибыли, принесенную клиентом за время применения продукта.

Метрика предоставляет данные для анализа эффективности потраченных средств на рекламу. Причем CAC обязательно должен составлять значение, меньшее LTV, чтобы бизнес выжил и принес доход.

Формулы расчета могут отличаться у разных бизнесов:

  1. интернет-магазин: LTV = средняя сумма покупки * частота вторичных покупок * период активности юзера.
  2. бизнес по подписке: LTV = средний чек клиента за месяц / CR.

Приведем пример: в мае было получено 100 платящих юзеров. Допустим, месячный отток равен 30%. Следовательно, к следующему маю останется 1% этих юзеров. Сложив помесячно числа платящих юзеров, умножив сумму на величину платежа и поделив на 100, получится LTV, равное 330рублям.

  • Индекс потребительской лояльности (Net Promoter Score — NPS) отображает готовность клиентов поделиться мнением о продукте.

Получив приятное впечатление, пользователь непременно выскажет собственное мнение в соцсетях, расскажет друзьям. Некоторые заинтересуются продуктом. Таким образом, довольный пользователь приведет новых юзеров. Бизнес при этом ощутимо выигрывает: приглашенные клиенты достаются бесплатно.

Формула расчета:

Провести опрос пользователей по шкале 0 – 10 с вопросом , насколько вероятно, что они порекомендуют продукт. Ответы разделят опрашиваемых
на 3 группы: критик (0 — 6), нейтралы (7 – 8), промоутеры ( 9-10 ).

Получаем NPS = количество промоутеров (%) — количество критиков (%).

50% считается отличным результатом.

NPS коррелирует с метрикой суммы, заработанной с помощью рекомендаций (Customer’s Referral Value — CRV).

  • Число уникальных юзеров (Daily Active Users, Monthly Active User – DAU, MAU) показывает, сколько пользователей использовал товар за сутки & за месяц, не учитывая вторичных сессий.
  • Длительность сессии (Session duration) выражает количество времени, проведенное пользователем в продукте.

Плюсы использования метрик

Метрики, как инструмент исследования и анализа устойчивости и успеха продукта четко показывают, что предпринять для его улучшения.

Они бывают намного разнообразнее, чем перечислено выше. Для разных товаров и моделей бизнеса они составляются по-разному. Их составление – непростая задача для управляющих по продуктам.

Метрики иногда представляют, как пирамиду, где верхушка — главный показатель, второй уровень — данные, обеспечивающие верхушку, третий уровень — данные, обеспечивающие 2-й уровень и т. д.

Вычисление показателей отображает состояние предприятия в текущий момент. Кроме того, следует учитывать взаимосвязанные наборы данных для выяснения причин сужения спроса, падения дохода.

Функции метрик

  1. Числовое выражение бизнес-процессов. Предприниматель получает правдивые данные. Он узнает конверсию, сколько клиентов прикоснулись к продукту, прогноз стабильности ситуации на протяжении нескольких месяцев.
  2. Быстрая реакция на отрицательные сигналы. Последовательный анализ данный позволяет незамедлительно заметить упадок интереса покупателей, выяснить причину возникшей ситуации.
  3. Распознавание пика сезона. Бизнесмену легко обнаружить рост/снижение спроса в различные периоды.
  4. Итоги маркетинговой кампании и работы отдела продаж. Характер изменений обуславливается эффективностью рекламы и качеством товара.

Для успеха предпринимательства показатели бизнеса необходимо контролировать с начала запуска бизнеса. Опираясь на цифровые данные, бизнесмен сможет принимать правильные бизнес-решения. Главные метрики послужат базовыми точками, покажут эффективность предприятия, проявят слабые участки.

Набор показателей — Маркетинговая мысль

Опубликовано

Целевая группа CMA

Процесс был следующим:

Что началось с Целевой группы CMA, которая включала информацию от канадских бухгалтеров по управленческому учету Онтарио, было определено множество показателей. Затем они были объединены и проверены Советом CMA по изучению и аналитике клиентов с точки зрения важности метрики, консенсуса в отношении ее определения и ее принятия в маркетинговом сообществе .

CMA 2013, курсив мой

Процесс CMA, как и опросы новостей о том, является ли подозреваемый вероломным, не является научным. Тем не менее, он дает нам приблизительное представление о том, что думают респонденты. Тем не менее, я бы посоветовал CMA взять на себя более активную руководящую роль. Они должны продвигать передовой опыт. Чего они не должны делать, так это просто сообщать о том, что в настоящее время делают маркетологи.

Тенденции

Добыча аудио и маркетинг: большой потенциал

Что ценят маркетологи

Проблема в том, что маркетологи оценивают в настоящее время, вызывает некоторое беспокойство. Возникший набор показателей производительности плохо сочетается друг с другом.

  • Приобретение/удержание
  • COA: Стоимость приобретения
  • Удовлетворенность клиентов
  • Удовлетворенность сотрудников
  • LTR: Вероятность рекомендации/повторной покупки
  • Уровень удержания
  • ROMI: возврат инвестиций в маркетинг

Довольно случайный набор маркетинговых показателей

Набор показателей, которые не работают как набор

Чтобы понять, почему этот набор показателей не работает, скажем, я бы мне нравится быть ответственным за маркетинг в компании, использующей их для поощрения моей работы. Моим первым действием было бы снижение цен. Существует разумная вероятность того, что это:

  • а) улучшит привлечение/удержание,
  • б) упростит привлечение (снизит стоимость приобретения),
  • c) повысить удовлетворенность клиентов, которых просят платить меньше,
  • d) повысить количество рекомендаций/повторных покупок этого продукта со значительной скидкой и
  • e) повысить коэффициент удержания.

Это не повлияет напрямую на удовлетворенность сотрудников, но довольные клиенты, вероятно, повысят качество работы сотрудников. Это повысит удовлетворенность сотрудников. Затем ROMI (используя их определение) можно было обыграть. Сделайте это, выбрав лишь небольшое количество краткосрочных высокодоходных проектов, т. е. недостаточно инвестируя в будущее. Возможно, вы разрушите свою компанию, но показатели производительности будут выглядеть хорошо, пока вы падаете.

Мой совет: когда вы создаете набор показателей, подумайте, как они связаны друг с другом.

Подробнее о маркетинговых показателях см. здесь.

Читать : Маркетинговые показатели: ключевые понятия, определенные CMA (2013 г.), http://www.the-cma.org/about/blog/marketing-metrics-key-concepts-defined, 27 июня 2013 г. 9: 00:00

Поделиться в социальных сетях

Определение показателей

Что такое показатели?

Метрики — это меры количественной оценки, обычно используемые для оценки, сравнения и отслеживания производительности или производства. Как правило, группа показателей обычно используется для создания информационной панели, которую руководство или аналитики регулярно просматривают для поддержания оценок эффективности, мнений и бизнес-стратегий.

Метрики

Понимание Метрики

Метрики использовались в бухгалтерском учете, операциях и анализе производительности на протяжении всей истории.

Метрики бывают самых разных разновидностей, и их использование часто регулируется отраслевыми стандартами и проприетарными моделями.

Руководители используют их для анализа корпоративных финансов и операционных стратегий. Аналитики используют их для формирования мнений и инвестиционных рекомендаций. Менеджеры портфелей используют метрики для управления своими инвестиционными портфелями. Кроме того, менеджеры проектов также считают их необходимыми для руководства и управления стратегическими проектами всех видов.

В целом, метрики относятся к большому количеству точек данных, полученных с помощью множества методов. Передовой опыт в разных отраслях позволил создать общий набор всесторонних показателей, используемых в текущих оценках. Однако выбор используемых показателей обычно определяется отдельными случаями и сценариями.

Выбор показателей

У каждого руководителя бизнеса, аналитика, портфельного менеджера и руководителя проекта есть целый ряд доступных им источников данных для построения и структурирования собственного анализа показателей. Потенциально это может затруднить выбор наилучших показателей, необходимых для важных анализов и анализов. Как правило, менеджеры стремятся создать информационную панель того, что стало известно как ключевые показатели эффективности (KPI).

Чтобы установить полезную метрику, менеджер должен сначала оценить свои цели. Оттуда важно найти наилучшие результаты, которые измеряют деятельность, связанную с этими целями. Последним шагом также является установка целей и задач для показателей KPI, интегрированных с бизнес-решениями.

Академики и корпоративные исследователи определили множество отраслевых показателей и методов, которые могут помочь сформировать KPI и другие информационные панели показателей. Полный метод анализа решений, называемый прикладной информационной экономикой, был разработан Дугласом Хаббардом для анализа метрик в различных бизнес-приложениях. Другие популярные методы анализа решений включают анализ затрат и результатов, прогнозирование и моделирование методом Монте-Карло.

Несколько предприятий также популяризировали определенные методы, которые стали отраслевыми стандартами во многих секторах. DuPont начала использовать метрики для улучшения своего бизнеса и в процессе разработала популярный анализ DuPont, который тщательно изолирует переменные, связанные с показателем рентабельности собственного капитала (ROE). GE также заказала набор показателей, известных как шесть сигм, которые широко используются сегодня, с показателями, отслеживаемыми в шести ключевых областях: критическое значение для качества; дефекты; возможность процесса; вариация; стабильная работа; и дизайн для Six Sigma.

Примеры показателей

Хотя существует широкий спектр метрик, ниже приведены некоторые часто используемые инструменты:

Экономические показатели

  • Валовой внутренний продукт (ВВП)
  • Инфляция
  • Уровень безработицы

Операционные показатели компании

С комплексной точки зрения руководители, отраслевые аналитики и индивидуальные инвесторы часто рассматривают ключевые показатели операционной эффективности компании с разных точек зрения. Некоторые операционные показатели верхнего уровня включают показатели, полученные в результате анализа финансовой отчетности компании. Ключевые показатели финансовой отчетности включают продажи, прибыль до вычета процентов и налогов (EBIT), чистую прибыль, прибыль на акцию, маржу, коэффициенты эффективности, коэффициенты ликвидности, коэффициенты заемных средств и нормы прибыли. Каждая из этих метрик дает различное представление об операционной эффективности компании.

Руководители используют эти операционные показатели для принятия корпоративных решений, касающихся затрат, рабочей силы, финансирования и инвестиций. Руководители и аналитики также строят сложные финансовые модели для определения будущих перспектив роста и стоимости, интегрируя как экономические, так и операционные прогнозы показателей.

Есть несколько показателей, которые являются ключевыми для сравнения финансового положения компаний с их конкурентами или рынком в целом. Два из этих ключевых сопоставимых показателей, основанных на рыночной стоимости, включают отношение цены к прибыли и соотношение цены к балансовой стоимости.

Управление портфелем

Менеджеры портфелей используют метрики для определения инвестиционных ассигнований в портфеле. Все типы метрик также используются для анализа и инвестирования в ценные бумаги, которые соответствуют определенной портфельной стратегии. Например, экологические, социальные и управленческие критерии (ESG) представляют собой набор стандартов для деятельности компании, которые социально сознательные инвесторы используют для проверки потенциальных инвестиций.

Показатели управления проектом

В управлении проектами метрики необходимы для измерения прогресса проекта, целевых показателей и общего успеха проекта. Некоторые из областей, где часто требуется анализ показателей, включают ресурсы, стоимость, время, объем, качество, безопасность и действия. Руководители проектов несут ответственность за выбор показателей, обеспечивающих наилучший анализ и направленное понимание проекта. Метрики используются для измерения общего прогресса, производительности и производительности.

This entry was posted in Популярное