Методология мониторинга и оценки

Мониторинг можно определить как постоянно продолжающийся процесс, благодаря которому регулярно получают информацию о прогрессе в достижении целей и поставленных задач. В отличие от множества определений, которые представляют мониторинг в основном как процесс наблюдения за прогрессом, достигнутым в ходе реализации тех или иных мероприятий, определение, используемое в данном руководстве, основано на анализе результатов деятельности медицинских организаций, например, для оценки хода реализации Государственной программы «Туберкулез» на 2010-2014 годы. В хорошо организованной системе мониторинга и оценки мониторинг значительно облегчает оценку.

Эффективный мониторинг создает надежную базу данных для оценки. Полученные данные, отчеты, результаты анализа и решения, основанные на фактах мониторинга, следует сохранять для их последующего использования при оценке[2].

Оценка представляет собой тщательный и независимый контроль завершенной или продолжающейся деятельности для определения степени достижения поставленных целей и содействия принятию управленческих решений. Основное различие между оценкой и мониторингом состоит в том, что оценка является независимым процессом, обеспечивающим руководителей и сотрудников информацией о степени реализации поставленных задач. Однако цели мониторинга и оценки очень схожи: предоставление информации, которая может помочь в принятии правильных решений, в улучшении качества деятельности медицинской организации.

Оценка должна быть независимой, прозрачной, этичной, беспристрастной, высококачественной, своевременной и используемой.

Оценка результатов позволяет измерить достижение непосредственных задач программы, например, частоты выявления случаев заболевания ТБ или контрольных индикаторов эффективности лечения пациентов с ТБ. Оценка должна ориентироваться на анализ прогресса в достижении результатов и факторов, влияющих на результаты. Оценка позволяет вскрыть причины неудач в достижении ожидаемых результатов в целом и провести своевременную коррекцию, если она необходима, и таким образом дать пользователям информацию, которая нужна им для принятия решений, мер или пополнения базы знаний.

Источниками информации для проведения оценки служат отчетные данные о результатах деятельности ПТО, отчеты о результатах мониторинговых визитов, финансовая и административная информация.

Оценка подразумевает анализ причин и следствий и включает в себя 3 основных этапа:

1. Измерение изменений в изучаемых показателях.

2. Связь наблюдаемых изменений с деятельностью ПТО.

3. Определение важности изменений (положительных или отрицательных).

Важными разделами оценки являются синтез и анализ данных, интерпретация заключений, составление выводов и рекомендаций.

Предварительная оценка проводится до начала деятельности, промежуточная – в середине, итоговая, или заключительная, – в конце, оценка отдаленных результатов – через 2 года и/или более после завершения деятельности.

Результаты оценки должны быть оформлены в виде отчета (акта, справки) и содержать заключения, основанные на достоверных фактах, выводы и основанные на них конкретные практические рекомендации. Отчёт по оценке должен быть доскональным и логически систематизированным.

Руководители структурных подразделений отвечают за проведение оценки в областях деятельности, за которые они несут ответственность, а также за использование полученной информации при принятии управленческих решений. Оценка требует ответных мер со стороны руководства. Результаты оценки должны использоваться при планировании деятельности.

Показатель – это переменная, используемая для оценки степени реализации намеченных целей и задач программы деятельности, позволяющая руководителям оценивать процесс по отношению к контрольным индикаторам за определенный период времени. При выборе показателей следует руководствоваться следующими критериями отбора показателей:

показатели должны измерять условия или события, для измерения которых эти показатели предназначены;

при измерении условий или событий должны использоваться одинаковые методы/приборы/инструменты;

показатели должны быть объективными и давать одинаковые результаты, когда проводится более одного измерения одинаковых условий или событий;

показатели должны отражать изменения условий или событий в процессе наблюдения;

показатели должны быть соизмеримы с определениями, которые разработаны и тестированы на уровне программы и сравнительных стандартов;

стоимость измерения показателей должна быть разумной;

должна иметься возможность осуществления сбора предложенных данных при нормальных условиях работы программы;

показатель должен быть измерен объективно;

показатели должны быть сопоставимы по времени и по различным географическим зонам (ВОЗ, 1978).

Результат представляет собой изменения, произошедшие в ходе воздействия определенных мероприятий или программы в целом.

Анализ данных является систематическим процессом, включающим в себя организацию и классификацию собранной информации, ее резюмирование и сравнение результатов с другими имеющимися в наличии данными для извлечения полезных сведений, которые отвечают на вопросы оценки и соответствуют ее целям.

Анализ данных направлен на формулирование важных заключений (анализ) или же комбинирования данных, полученных из разных источников информации для достижения понимания ситуации (синтез).

Интерпретация заключений – это процесс осмысливания заключений оценки, вытекающих из анализа. Интерпретация – это усилия, направленные на выявление значений полученных данных, придание смысла доказательствам, собранным при оценке и их практическое применение в здравоохранении.

Вывод – это аргументированное рассуждение, основанное на синтезе практических заключений или фактических утверждений. Выводы считаются вескими и надежными, если они связаны с фактами и могут быть подтверждены с помощью соответствующих методов анализа и синтеза.

Выводы должны:

– учитывать принцип сравнения результатов (например, по сравнению с программными целями, группой сравнения, национальными нормами, прошлой деятельностью или потребностью);

– давать объяснения заключениям;

– служить основой для рекомендуемых мер и решений, соответствующих выводам;

– быть всеобъемлющими и сбалансированными, выдвигать на первый план сильные и слабые стороны, а также результаты деятельности, и отвечать на основные вопросы оценки.

Рекомендации – это основанные на фактах предложения для последующих действий со стороны пользователей оценки. Рекомендации должны основываться на выводах и быть реалистичными.

Планирование – это процесс постановки целей, разработки стратегий развития, определения ресурсов для достижения этих целей:

без надлежащего планирования и чёткой формулировки намеченных результатов очень сложно определить объекты мониторинга, следовательно, мониторинг не может проводиться правильно;

без эффективного планирования база для проведения оценки будет слабой, следовательно, оценка не может быть проведена качественно;

без тщательного мониторинга невозможно собрать необходимые данные, следовательно, оценка не может быть проведена качественно.