Мера, метрика, показатель / Habr

Вступление

При написании статьи по управлению процессами, было обнаружено неполное и не четкое понимание понятий меры, метрики и показателя. При поиске пояснений и определений для них выяснилось, что на данный момент не существует, или по крайней мере я не смог найти, однозначных определений или непротиворечивых пояснений этих понятий. Поэтому была проведена небольшая работа по разрешению противоречий, результаты которой представлены здесь.

Разрешение противоречий

Сначала разберем все понятия основываясь на определениях из словарей и стандартов.
Мера — это категория, которая фиксирует и обобщает результаты и процедуры измерения качественно-количественной определенности объектов, а так же тех средств измерения, которые выступают в функции эталонов. [1] Таким образом, мера — это самое общее, первичное понятие, обозначающее результаты измерений, процедуры измерений и эталонов измерений. Необходимо заметить, что мера может измеряет не только количественные характеристики, но и качественные. Например, можно сказать: “мера справедливости”, “мера храбрости”. Так же к этому толкованию подходит выражение “безмерная любовь”. Как единица измерения или какой-либо стандарт (не обязательно количественный) т.е. как эталон мера определена в [1] и [2]. В [8], мера определена как метод, при помощи которого мы применяем идею количества к объектам. Это сужает понятие меры из [1], что не допустимо для категорий.

С понятием меры хорошо согласуется определение термина измерение: “определять или оценивать путем сравнения со стандартом” [3]. Стандарт в этом случае может быть как количественный, так и качественный.

Согласно [4], метрика — это правило для определения расстояния между любыми двумя точками какого-либо пространства. Согласно [2], метрика — это количественная мера степени до которой объект обладает каким-либо свойством. Следовательно, метрика — это сужение понятия мера до количественных результатов, процедур и эталонов измерений. Как это связывается с концепцией расстояния? Если что-либо можно измерить количественно, то к этому всегда можно приложить концепцию расстояния. Хотя в [8] есть пример с величиной вероятности события, т.е. количественной мерой, показывающий, что к нему не может быть применена концепция расстояния. В любом случае, эти два определения не противоречат друг другу.

В Интернете, можно найти использование понятия метрика в контексте применения к поисковым машинам. Здесь так же используют концепцию расстояния между двумя объектами. Под расстоянием понимают что угодно, например близость или похожесть двух объектов друг на друга. Т.е. там где можно применить концепцию расстояния, там можно использовать понятие метрика. Но вот можно ли сказать, что в случае “похожести” расстояние определено количественно? Думаю, что можно. Например по отношению количества похожих (рекурсия) свойств двух объектов к общему количеству свойств.

В самом общем виде показатель — это данные, по которым можно судить о развитии, ходе, состоянии чего-нибудь [6]. Однако, для наших целей согласования, больше подойдет такое определение как: показатель — это метрика, по которой можно судить о ходе какого-нибудь процесса [2].

В настоящее время, в некоторых сферах применения, понятия меры, метрики и показателя сужаются. Так в [9] мера сужается только до количественных мер. Метрики определяются как сравнение [7] или комбинация [9] двух или более количественных мер. Показатель определяется как сравнение метрики с базовой линией или ожидаемым результатом [7], [9]. Основанием для таких сужений служит то, что мера — это всего лишь одно значение, по которому нельзя сделать объективное суждение. Метрика же показывает тенденцию, так как есть результат сравнения двух или более мер. А вот показатель уже может служить основанием для принятия решения, так как сравнивает текущее метрику с критерием достижения цели. Считаю данное сужение обоснованным и пригодным к использованию.

В [10] содержания понятий меры и метрик поменяны местами, однако дальнейшие рассуждения четкие и непротиворечивые.

Выводы

Для разрешения противоречий в понятиях и согласования их эволюции, необходимо пользоваться следующими определениями и толкованиями. Заметьте, что между понятиями меры и измерения существует кольцо. Но так как мера это категория, которая не определяется, а поясняется, то это считаю допустимым.

• Мера — это категория, обозначающая результаты измерений, процедуры измерений и эталонов измерений [1].
• Измерение — это процесс определения или оценки меры путем сравнения со стандартом [3].
• Метрика — это количественная мера, к которой можно применить концепцию расстояния [2], [4].
• Показатель — это метрика, по которой можно судить о ходе какого-нибудь процесса [2].

Следовательно, имеет место следующее иерархия наследования (сужения): мера < — метрика < — показатель.

Словарь

Мера (measure): категория философского дискурса, фиксирующая и обобщающая результаты и процедуры измерения качественно-количественной определенности предметов, процессов и их взаимоотношений, тех средств измерения, которые выступают в функции эталонов. В противовес квалитативизму, где речь идет о качественном описании, и квантификационизму, где абсолютизируются количественные параметры и величины измеряемых предметов и процессов, анализ меры и мерных отношений исходит из единства качественных и количественных характеристик, из важности, с одной стороны, количественных изменений для существования качественной определенности, для возникновения нового качества, и, с другой стороны, качественной определенности для порогового значения количественных изменений, интервала изменений количественных величин, в рамках которого можно говорить о сохранении качества исследуемого предмета или процесса. Категория меры тесно связана с такими понятиями философского (гносеологического, эстетического, этического) дискурса, как пропорция, гармония, соразмерность, масштаб, порядок, умеренность, середина, ритм, метр и др. В науке начиная с 17 в., когда процедуры измерения стали методологически значимыми, мера обычно трактуется как единица измерения, масштаб измерения, способ фиксации того, что данное количество или данная величина применяются для измерения других качественно определенных предметов и процессов, причем эталон измерения оказывается безразличным к особенностям измеряемых предметов или процессов и речь идет об определенном количестве единого субстрата, однородного вещества, материи, лишенной формы. [1]
Единица измерения, мера (measure): a standard or unit of measurement.[2]
Процесс измерения (measure): an act or process of measuring.[2]
Результат измерения (measure): a result of measurement.[2]
Измерять (measure): To ascertain or appraise by comparing to a standard.[3]
Метрика (metric): (1) математический термин, обозначающий формулу или правило для определения расстояния между любыми двумя точками (элементами) данного пространства (множества). [4]

(2) A quantified measure of the degree to which a system, component, or process possesses a given attribute. [2]
Показатель (index): (1) A metric that provides insight into software development processes and software process improvement activities concerning goal attainment. [2]

(2) Явление или событие, по которому можно судить о ходе какого-нибудь процесса. [5]

(3) Данные, по к-рым можно судить о развитии, ходе, состоянии чего-н. [6]
Измерение (measurement): (1) The act or process of measuring. A figure, extent, or amount obtained by measuring. [3]

(2) Measurement is the process by which numbers or symbols are assigned to attributes of entities in the real world so as to describe such entities according to clearly defined rules. [11]

Литература

1. Новая философская энциклопедия: В 4 тт. М.: Мысль. Под редакцией В. С. Стёпина. 2001.
2. Engineering an Effective Measurement Program Course Notes, 1994.
3. IEEE Standard Glossary of Software Engineering Terminology, IEEE Std 729 1983.
4. Большой Энциклопедический словарь. 2000.
5. Толковый словарь Ушакова. Д.Н. Ушаков. 1935-1940.
6. Толковый словарь Ожегова. С.И. Ожегов, Н.Ю. Шведова. 1949-1992.
7. Ragland, B. (1995). Measure, Metric or Indicator: What’s the Difference? Crosstalk. 8.
8. Forum: Metric vs measure vs measurement as noun.
9. Measures, Metrics, and Indicators
10. Metrics and Measures
11. Fenton, N. E., & Pfleeger, S.L. (2004). Software Metrics: A Rigorous & Practical Approach (2nd ed. Revisited Printing). London: International Thomson Computer Press.

Метрики vs показатели, KPI и ССП в BABOK®Guide и product-анализе

Автор Анна Вичугова

В этой статье рассмотрим, чем метрика отличается от показателя, каковы критерии их качества, что такое прокси-метрика и почему не каждый показатель является ключевым. Сегодня на практических примерах я расскажу, как все эти понятия отражены в BABOK®Guide и руководстве по продуктовому мышлению в бизнес-анализе, Guide to Product Ownership Analysis.

Метрики vs показатели: комментарий BABOK®Guide

Руководство к своду знаний по бизнес-анализу BABOK®Guide упоминает технику «Метрики и ключевые показатели эффективности» (Metrics and KPI) как способ измерения эффективности решений, компонентов решений и прочих сущностей, важных для стейкхолдеров.

При этом BABOK отмечает разницу между метрикой и показателем следующим образом:

• показатель — это результат анализа одного или более конкретных измерений для оценки потребности, ценности, результата, деятельности или входной информации. В табличном или в графическом виде он определяет конкретное числовое измерение, отражающее степень прогресса в достижении цели или выполнения деятельности. Например, число посетителей на сайте, общее количество требований в бэклоге.
• метрика – это измеримая в конкретные моменты времени величина показателя, который используется в организации для измерения прогресса. Метрика может быть конкретным значением, порогом или диапазоном в рамках различных периодов времени (год, месяц, неделя, день). Например, число уникальных посетителей в день (DAU, Daily Active Users), % нереализованных требований в бэклоге по окончании недельного спринта.

Управление бизнес-анализом — курс для руководителей

Таким образом, можно сказать, что метрика уточняет показатель с привязкой ко времени. При этом показатель не является абстрактным понятием, а должен иметь следующие 6 характеристик:

• Ясность — точность и недвусмысленность;
• Релевантность — соответствие теме;
• Экономичность — доступность по разумной цене;
• Адекватность — обеспечение достаточных оснований для оценки эффективности;
• Измеримость – может быть независимо подтвержден;
• Надежность и достоверность — основан на фактических данных и исследованиях.

При этом далеко не все можно (да и нужно) корректно измерить. Поэтому BABOK®Guide рекомендует использовать косвенные показатели, если данные для прямых измерений отсутствуют или их слишком дорого/невозможно собирать регулярно. Например, доля продленных контрактов для оценки удовлетворенности клиентов. Продуктовая аналитика предлагает свое название для таких понятий, называя их прокси-метриками.

Проки-метрики аппроксимируют целевую переменную, но имеют гораздо большее число наблюдений, которые достаточно просто, быстро и относительно дешево собрать. Прокси-метрики коррелируют с бизнес-целями и позволяют оперативно улучшать продукты и услуги. Например, для интернет-магазина время, проведенное пользователем на сайте, напрямую связано с важной бизнес-метрикой LTV (Lifetime Value – пожизненная ценность клиента за все время работы с ним, сколько денег он приносит компании), о чем мы упоминали здесь. Поэтому длительность «зависания» пользователя в мобильном приложении или на сайте, измеренные с помощью Google Analytics или Яндекс. Метрика, могут быть прокси-метриками для LTV.

ТОП-10 инструментов бизнес-анализа для предпринимателя и менеджера

Что такое KPI и причем здесь ССП, а также зачем вам прокси-метрики

Говоря про карту Нортона-Каплана, мы упоминали, что в качестве критериев достижения стратегических цели на ней обычно располагают ключевые показатели эффективности (Key Performance Indicator, KPI). Иерархия KPI составляет сбалансированную систему показателей (ССП, Balanced Scorecard) организации, которая декомпозируется от высшего уровня абстракции (для всей организации) до показателей работы каждого сотрудника.

Стоит помнить, что далеко не каждый показатель является KPI! Ключевой показатель эффективности измеряет прогресс в достижении стратегической цели, важной для всей организации, а не отдельного процесса или сотрудника/подразделения. Самым ярким примером KPI является то, что связано с финансами или непосредственно влияет на них. Например, прибыль, выручка, число продаж через сайт или количество клиентских жалоб. А вот число посетителей на сайте для некоторых бизнесов не всегда напрямую конвертируется в продажи, поэтому данный может не являться ключевым. Другой пример: число требований к бэклоге никак не связано с успехом продукта и ничего не говорит менеджерам о ходе реализации. А вот ожидаемый ROI или средняя стоимость исправления дефектов (в зависимости от их количества) вполне могут быть ключевыми показателями. Таким образом, KPI не просто что-то измеряет, а напрямую связан с эффективностью бизнеса и дает действительно важную информацию, необходимую для принятия управленческих решений.

Основы бизнес-анализа: вход в профессию для начинающих

В заключение отмечу, что техника «Метрики и ключевые показатели эффективности» упоминается в BABOK®Guide достаточно часто. Это руководство к своду знаний по бизнес-анализу рекомендует аналитикам использовать ее для решения 8 задач из 4 областей знаний, описанных в BABOK:

• определение возможностей улучшения эффективности бизнес-анализа;
• анализ текущего состояния;
• определение будущего состояния;
• верификация требований;
• валидация требований
• анализ потенциальной ценности и рекомендация решения;
• измерение эффективности решения;
• анализ показателей эффективности.

Руководство IIBA® по продуктовому мышлению в бизнес-анализе, Guide to Product Ownership Analysis, также советует применять технику Metrics and Key Performance Indicators для измерения эффективности продукта и другие атрибутов, которые имеют отношение к его разработке. Там же приводятся примеры метрик и показателей, разделенные по 3-м уровням относительно влияния на продукт: стратегические (Strategic), продуктовые (Product) и итерационные, связанные с непосредственной доставкой и реализацией продукта (Delivery). Например, ROI относится к стратегическому уровню, NPS – к продуктовому, а плотность дефектов, равная отношению количества дефектов в итерации, например, в спринте, к общему числу багов в ПО, — явная метрика уровня Delivery.

В следующей статье мы продолжим разговор про ключевые показатели эффективности и рассмотрим, чем OKR отличаются от KPI.

Узнать больше о метриках и ключевых показателях продуктовой разработки вам поможет мой новый курс «От процессов к продуктам: Product ownership и Agile-практики для бизнес-аналитика».

От процессов к продуктам: Product Ownership и Agile-практики для бизнес-аналитика

Чтобы детально разобраться с содержанием BABOK®Guide на практических примерах, приглашаю вас на курсы нашей Школы прикладного бизнес-анализа в лицензированном учебном центре обучения и повышения квалификации системных и бизнес-аналитиков в Москве:

• Лучшее из BABOK®Guide: ТОП-10 задач и техник для аналитика
• Управление бизнес-анализом — курс для руководителей

ЗАПИСАТЬСЯ НА ОБУЧЕНИЕ

— Выберите курс -INTRO: Основы бизнес-анализа: вход в профессию для начинающихMODP: Методы описания бизнес-процессов (IDEF, DFD, BPMN, EPC, UML)EXBAB: Лучшее из BABOK®Guide: ТОП-10 задач и 20+ техник для аналитикаTTIS: Разработка ТЗ на информационную систему по ГОСТ и SRSOAIS: Основы архитектуры и интеграции информационных системBUML: UML для бизнес-аналитика: основы ООП и разработка моделейBAMP: Управление бизнес-анализом — курс для руководителейPOAP: От процессов к продуктам: Product Ownership и Agile-практики для бизнес-аналитикаBSTUD: Курсы по системе Business Studio для бизнес-архитекторов и аналитиковFTOP: ТОП-10 инструментов бизнес-анализа для предпринимателя и менеджераCBAB: Штурм BABOK за 40 часов — подготовка бизнес-аналитиков к экзамену на сертификат CBAP/CCBA Я даю свое согласие на обработку персональных данных и соглашаюсь с политикой конфиденциальности.

Метрики и индикаторы | Знаете, в чем основные отличия?

Знаете ли вы, что такое метрики и индикаторы? В чем их основные отличия?

Метрики и индикаторы — это два общих термина, когда речь идет о планировании и управлении ИТ. И то, и другое помогает измерять и количественно оценивать результаты операций и обеспечивает основу, необходимую для оценки и обзора незавершенной работы.

Но они также имеют различные формы и способы использования, которые часто путают даже самые опытные ИТ-менеджеры. Не делайте эту ошибку! Узнайте разницу между метриками и индикаторами прямо сейчас!

Что такое показатели?

Метрики — это грубые, атомарные и простые составные меры, такие как форматы значений и количества. Они являются основой любого оперативного наблюдения. Они не предназначены для использования в качестве основы для принятия стратегических решений, поскольку они измеряют больше, чем фактически указывают на какой-то конкретный результат. Однако, совмещая их с другой информацией, можно получить более существенные данные. Не путайте их со знаменитыми «метриками успеха», широко известными как KGI (Key Goal Indicators).

Что такое индикаторы?

Индикаторы — это расчетные показатели эффективности, состоящие из набора различных показателей. Их также называют ключевыми показателями эффективности или просто KPI.

Поскольку это немного более сложные данные (и могут содержать более одной переменной), индикаторы производительности могут обеспечить более точное представление о ситуации и ее исторической эволюции. Они служат ключом к тому, все ли идет хорошо и достигнуты ли желаемые цели.

KPI оценивают эффективность организации, помогают в анализе тенденций, способствуют постоянному совершенствованию и проактивной работе, помимо прозрачного управления процессами и персоналом. Обычно они выражаются в процентах или частотных форматах.

Как лучше всего использовать метрики и индикаторы?

Знание того, какие метрики и индикаторы имеют отношение к ИТ-индустрии, — это лишь часть работы, которая не поможет, если эти цифры не будут тщательно отслеживаться. Многих проблем больше не предвидится просто потому, что ответственные лица не смотрят на метрики и индикаторы так, как должны. Необходимо облегчить доступ к этой информации. Лучший способ обеспечить последующие действия — это создание информационных панелей.

Панели мониторинга

— это визуальные доски, которые централизуют информацию на основе метрик и показателей производительности, которые были определены как относящиеся к ИТ-отрасли. Они позволяют создавать множество возможностей широкой визуализации и легкой интерпретации данных. См. пример ниже:

 
Достигнутые результаты и то, что необходимо улучшить, всегда должны быть доступны для всей команды, которая должна иметь возможность внимательно следить за развитием разработанной работы и осознавать, в каких точках ее необходимо улучшить для достижения поставленной цели.

Как использовать метрики и индикаторы для улучшения управления вашим бизнесом?

Используя наборы метрик (индикаторов), которые имеют значение для принятия решений, вы можете эффективно контролировать результаты своей области или своего бизнеса. Если они созданы для автоматического создания графиков, а также с оповещениями, все это обновляется ежеминутно, это еще лучше!

Эта визуализация индикаторов в режиме реального времени и прогнозирование проблем называется визуальным управлением. Это связано с тем, что менеджеры делятся метриками и показателями со всеми сотрудниками, и благодаря этому можно иметь команду, которая более привержена результату.

В другом приведенном ниже примере панель инструментов, созданная на основе платформы OpMon, позволяет получать соответствующую информацию для принятия решений по показателям торговых площадей:

 
Теперь, когда вы знаете разницу между метриками и индикаторами, вы больше никогда не будете путать эти два термина. Неправильное понимание обеих концепций может привести к одной из самых больших опасностей, когда мы говорим о мониторинге и измерении результатов: неверной интерпретации данных.

Важно различать метрики и индикаторы, чтобы точно знать, когда и как использовать каждый из них на благо бизнеса.

KPI и метрики: советы и рекомендации по оценке эффективности

Понимание того, как вы будете измерять успех в стратегическом планировании, является одним из важнейших элементов успешного и реализуемого стратегического плана. Но мы откроем вам небольшую коммерческую тайну — показатели эффективности и ключевые показатели эффективности могут быть совершенно непростыми.

Как стратегические организации, мы все хотим быть уверены, что принимаем правильные решения на основе данные. И это здорово, но мы должны быть особенно осведомлены о том, как мы расставляем приоритеты и измеряем эти данные, особенно когда речь идет об измерении нашего стратегического плана.

Многие организации используют термины KPI (ключевой показатель эффективности) и показатели эффективности как синонимы. И хотя это простительно, существует ключевое различие между KPI и показателем эффективности, когда речь идет как о создании, так и о реализации вашего стратегического плана.

В чем разница: KPI и метрики

Метрики и ключевые показатели эффективности часто путают, но очевидное различие заключается в том, что ключевые показатели эффективности являются ключевыми показателями, которые окажут наибольшее влияние на продвижение вашей организации вперед. Они четко формулируют и дают представление о том, что ваша организация должна измерить и достичь для достижения своих долгосрочных целей. У хороших стратегических планов есть 5-7 четких ключевых показателей эффективности, которые держат руку на пульсе того, как вы выполняете свой план.

Метрики

также отслеживают и предоставляют данные о стандартных бизнес-процессах вашей организации, но не являются наиболее важными показателями, которые ваша организация должна измерять, отслеживать и использовать для достижения прогресса в соответствии со своим стратегическим планом.

Эти два термина легко использовать как взаимозаменяемые, но вот хороший способ подумать об этом. Ключевые показатели эффективности помогают определить вашу стратегию и четко сфокусировать внимание. Метрики — это показатели вашего «обычного бизнеса», которые по-прежнему повышают ценность вашей организации, но не являются критическими показателями, которых вам необходимо достичь. Каждый KPI — это метрика, но не каждая метрика — это KPI.

Получить бесплатное руководство по созданию ключевых показателей эффективности (со 100 примерами!)

Получить руководство

Пример: KPI и показатели

Примером отличного KPI является увеличение пробных версий для новых клиентов на 15 % в 2019 году, что соответствует росту с 15 пробных версий в неделю до 18 пробных версий в неделю. Этот KPI поддерживает конкретный стратегический результат — увеличение чистого нового дохода и помогает четко определить результат.

Примером метрики может быть органический входящий трафик веб-сайта. Важно отслеживать этот показатель, поскольку он помогает обеспечить результат вашей стратегии, но это не четко определенный KPI, связанный с результатом. Это просто ценный показатель.

Структурирование ключевых показателей эффективности

Создание KPI заставляет вашу организацию четко определить показатели эффективности, которые определяют, как вы будете достигать своих больших стратегических приоритетов. Вот отличное видео о том, как вы можете разработать свои KPI.

Посмотреть видео

Когда вы создаете свои KPI, они состоят из четырех ключевых атрибутов, и на выходе вы должны получить 5-7 четких KPI для вашего плана. Помните следующее:

1) Определите свою меру — Это звучит очевидно, но каждый KPI должен иметь четкое выражение того, что вам нужно измерить. Чем более описательным будет ваш показатель эффективности, тем лучше. Вы можете разделить показатели эффективности на следующие категории:

• Показатели деятельности — Измеряет активность и может включать процент, число, валюту и действия или процессы. Примером этой меры может быть количество потенциальных клиентов в вашей воронке.
• Измерение результата — Измеряет прогресс по отношению к определенному результату, часто выражаемому в виде процентного увеличения, изменения или результатов результата. Примером этого может быть % увеличение дохода по сравнению с прошлым годом.
• Мера проекта – Измеряет ход выполнения проекта, часто выражаемый в процентах завершения, результата, действия или процесса, на который может влиять владелец. Примером может быть % выполнения для завершения XX стратегического проекта.
• Целевая структура — Они представляют числовой результат по отношению к дате. Прекрасным примером может быть доход в размере XXX миллионов долларов к дате окончания стратегической цели.

Получить бесплатное руководство по созданию ключевых показателей эффективности (со 100 примерами!)

Получить руководство

2) Определите свою цель — Ваша цель — это числовое значение, которого вы хотите достичь. Цели должны соответствовать вашему типу измерения и сроку выполнения. Если вы измеряете в процентах, ваша цель должна быть в процентах. Если ваша мера представляет собой необработанное число, цель должна быть необработанным числом.

3) Описание источника данных — Каждый KPI должен иметь четкий источник данных. Убедитесь, что вы четко сформулировали, откуда вы извлекаете свои данные и каковы расчеты, чтобы все были на одной странице.

4) Определить владельца и частоту отслеживания — Как и для любой цели SMART, у KPI должен быть четкий владелец и определенная частота отслеживания. Поэтому убедитесь, что кто-то отвечает за сбор данных и обновление производительности с определенной периодичностью. Мы рекомендуем ежемесячно в большинстве случаев.

Контрольный список, чтобы убедиться, что вы правильно определили ключевые показатели эффективности

Мы знаем, что KPI и показатели производительности могут быть очень сложными.

This entry was posted in Популярное