Проблема оценки качества информации и эффективности ее использования

Проблема оценки качества ИР и эффективности их использования достаточно многогранная и неоднозначная при своем решении, так как связана с определением смысловой содержательности сообщения, с оценкой объема содержащихся в нем знаний и выяснением пользы или выгоды, которую эти знания могут принести. Отсюда возникают трудности при методических разработках исследования качества ИР и особенно при формализации оценочных процессов и процедур.

Суть проблемы заключается в том, что на информационные процессы оказывает влияние множество объективных и субъективных, случайных и неслучайных факторов формального и неформального характера. В их числе: репрезентативность и достоверность исходной информации, возможные искажения в процессах ее передачи и приема, степень корректности и четкости в запросе потребителя на получение ИР определенной тематики и заданного его смыслового содержания, различные условия и обстоятельства непосредственного использования информации в разных областях деятельности человека (научной, технической, производственно-технологической, социальной, образовательной и т. п.) и др.

При этом огромное значение имеют такие субъективные фактора, как степень подготовленности потребителя к рациональному использованию полученного ИР, его индивидуальные взгляды на характер и величину получаемого эффекта от применения именно данного ресурса и проч.

С учетом сказанного наиболее полную оценку качества ИР и эффективности его использования может произвести только тот специалист, который использует данный ресурс в известной ему сложившейся ситуации и который (в качестве эксперта) может применить как неформальные (экспертные), так и формальные методы оценки согласно методикам, включающим качественные и количественные меры учета и анализа совокупности основных характеристик получаемого и применяемого ресурса.

Ввиду слабой разработанности этой тематики и практического отсутствия таких методик при наличии постоянно растущей востребованности в подобных методических инструментах актуальность их разработки в настоящее время велика. В данном случае требуется разработка некоторой теории, которая должна раскрыть методологию определения свойств ИР и их оценки. При этом специалист, применяющий какой-либо ИР в некотором процессе управления, должен:

достаточно квалифицированно оценить степень фактического влияния данного ИР на общий результат управления на фоне влияния других контролируемых и неконтролируемых факторов, воздействующих на всех стадиях сбора, обработки информации и процесса управления; степень влияния отдельных параметров (характеристик) ИР на общий результат управления;

выразить полученные оценки в некотором обобщенном виде, позволяющем произвести критериальный анализ и получить вывод о целесообразности использования предлагаемого ИР в дальнейшем.

Из всех ранее перечисленных признаков, характеризующих ИР, только цена может являться объективным свойством, которое имеет количественную меру оценки. Остальные признаки являются качественными, показатели которых могут выражаться относительными понятиями предпочтений. Причем оценка степени влияния признаков может носить бинарный характер, например, "использование ИР неэффективно или нецелесообразно" или "использование ИР эффективно или целесообразно", либо градационный характер с помощью шкалы предпочтений, к примеру:

"использование ИР крайне эффективно (целесообразно)";

"использование ИР эффективно";

"использование ИР малоэффективно";

"использование ИР неэффективно".

Методически реализовать экспертную оценку потребителем ИР возможно путем анкетирования или собеседования.

Произвести качественную, а тем более количественную, оценку того факта, что при использовании именно данного ИР был получен определенный прагматический эффект экономического, производственного или социального характера, достаточно сложно. Это объясняется воздействием на процесс управления реальными объектами или процессами (организационно-экономическими, технологическими, социальными) ряда управляемых и неуправляемых факторов, имеющих различную природу, в том числе информационную. Выделить же на этом фоне степень влияния на конечный результат управления конкретного ИР среди других используемых в управлении ресурсов чрезвычайно затруднительно.

Таким образом, возможность произвести всестороннюю, объективную и адекватную оценку всех обстоятельств применения ИР и результатов его использования зависит от многих факторов, в том числе:

фактора квалификации потребителя;

фактора характера ИР;

фактора времени использования ИР;

фактора метода экспертизы.

Рассмотрим более подробно перечисленные факторы.

Фактор квалификации потребителя и его способности произвести тщательный и всесторонний анализ полученного ИР, используемого в момент принятия решения по управлению, несомненно, является наиболее важным в процедуре экспертной оценки, так как носит исключительно субъективный характер. Более высокий уровень знаний потребителя, использование им большего количества разнообразной информации позволяет произвести более объективную оценку применяемого ИР. Значительный опыт работы потребителя, связанной с принятием решения по управлению в различной информационной обстановке позволяет более объективно и адекватно оценить величину ожидаемого или реального эффекта экономического, технологического или другого характера в результате использования определенного ИР.

Наивысшая квалификация потребителя заключается в том, что он способен при получении нового ИР без практического его апробирования оценить его параметры по сравнению с известными параметрами уже применяемых ресурсов и на этом основании предсказать или спрогнозировать априори возможные результаты, получаемые при дальнейшем использовании данной информации.

Фактор характера ИР связан с целевым направлением его использования и вытекающим отсюда характером получаемого эффекта при его использовании.

Для ИР консультационного характера оценить его качество и получаемый экономический эффект в результате его использования достаточно сложно, так как такая информация служит в основном в качестве дополнительной, оперативной и, скорее всего, своевременной информации к уже имеющемуся запасу информационного обеспечения в ситуации принятия решения по управлению. В данном случае повышается "вес" таких признаков, как соответствие запросу, актуальность и важность ИР.

Для ИР проектно-инновационного характера главным признаком выступает полезность ИР, т.е. величина ожидаемого или реально получаемого экономического, технологического, социального или другого эффекта при его использовании. Это объясняется тем, что ИР данного типа направлены на решение определенных задач, имеющих конкретное задание и ориентировочные результаты его выполнения.

ИР образовательного характера направлены на познавательные цели накопления или обновления знаний. Эти цели определяют повышенный уровень значимости признаков, прежде всего таких, как соответствие запросу и важность ИР.

ИР рекламного характера предлагаются потребителям в познавательных целях, т.е. в целях создания некоторого стратегического запаса предварительной информации об определенных содержательных материалах, которые могут быть доступны потребителям при проявлении с их стороны к ним интереса. С учетом этого главным признаком, определяющим эффективность использования таких ИР, является важность.

Для ИР, имеющих другой характер использования, необходимо рассмотреть основные направления их применения и определить те признаки, которые имеют приоритетное значение по отношению к другим признакам рассматриваемой информации.

На основании вышеприведенного можно сделать следующий вывод: в зависимости от характера ИР и его целевого назначения меняются приоритеты при оценке отдельных признаков этого ИР. Следовательно, при разработке методологической процедуры оценки эффективности использования ИР прежде всего необходимо предусмотреть определение характера используемой информации и вследствие это-то определить коэффициенты весомости рассматриваемых признаков качества и порядок их ранжирования. Это должно явиться основой для разработки методики экспертизы, например, путем построения специальной анкеты экспертного анализа, или разработки специальной программы собеседования, привязанных к характеру ИР.

Фактор времени использования ИР является весьма существенным при проведении экспертного анализа качества и эффективности использования ИР и их окончательной оценки.

С точки зрения потребителя ИР такую оценку целесообразно производить после получения конечных результатов. При этом необходимо учитывать, что для такой оценки требуются различные отрезки времени, позволяющие в одном случае довольно быстро оценить эффективность использования некоторого ИР, например, оперативной информации рыночного характера, а в другом — для этого потребуется достаточно длительное время, например, при использовании ИР, связанного с внедрением технологии инновационного характера.

Однако, с точки зрения передающей стороны, желательно получение экспертных оценок в момент передачи ИР потребителю, что позволит в дальнейшем предлагать данный продукт с описанием его качественных характеристик. В ином случае необходимо составлять программу экспертной оценки, "растянутую" по времени (с учетом различных периодов освоения ИР, в том числе и достаточно продолжительных) и предусматривающую организацию новых контактов с потребителями информации, что потребует привлечения дополнительных ресурсов.

В некоторых случаях установление дополнительных контактов с потребителями ИР может быть проблематичным, а зачастую и невозможным, например, по причине территориальной удаленности или по причине прекращения деятельности потребителя с конкретными ресурсами.

Учитывая это, целесообразно методически организовать экспертную оценку качества и эффективности использования ИР непосредственно при его получении потребителем. В том случае если потребитель не сможет оперативно оценить качественные характеристики и эффект (научный, экономический, социальный или другой) при использовании полученного ИР и если ему необходимо для этого продолжительное время, то потребитель сможет на основании своего опыта и квалификации предположить возможный эффект при дальнейшем применении и использовании информации и предложить прогностический вариант оценки.

Фактор метода экспертизы связан с методической процедурой проведения экспертной оценки качества и эффективности использования ИР, в основе которой могут быть заложены определенные способы проведения анкетирования или программы собеседования.

В этом случае могут быть применены различные методы и формы представления анкеты или программы собеседования, имеющей специфицированные наборы качественных признаков ИР и определенных градационных шкал для их количественной оценки с учетом приоритетного ранжирования этих признаков. При этом выбранное количество признаков, их расположение, выбор градационного разбиения по шкалам предпочтений и прочие особенности могут повлиять на качество оценки отдельных признаков. Например, первые по порядку признаки могут анализироваться с большей тщательностью, а последующие — с меньшей.

В данном случае присутствует еще одна проблема методологического плана, а именно: каким образом представлять форму анкеты или программы собеседования в виде набора качественных характеристик признаков или в виде их количественных предварительных оценок для последующего выбора из них определенных значений.

В первом случае появляется возможность создания единой типовой формы анкеты или типовой программы собеседования, при которой пользователь должен указывать или отмечать на качественном уровне только те формулировки, которые, на его взгляд, наиболее соответствует всем обстоятельствам использования ИР. Это упрощает процедуру экспертизы со стороны пользователя, однако для некоторых потребителей такая оценка может представляться неточной или неопределенной для производства вывода.

Во втором случае оценки носят более конкретный и точный формализованный характер, но некоторые пользователи могут быть не согласны с представленными количественными оценками. Кроме того, появляется необходимость наличия множества различных форм анкетных листов или программ собеседования для исследований разнообразных по характеру ИР.

Учитывая вышесказанное, главная задача в разработке методологии проведения экспертизы по оценке качества и эффективности использования ИР заключается в нахождении достаточно простых, но весьма содержательных форм анкетирования, программ опроса или собеседования. Причем эти формы должны быть:

понятны и доступны любому потребителю (конечно, при условии необходимой квалификации, обеспечивающей профессиональный уровень принятия решения по управлению);

служить средством, помогающим потребителю найти или отыскать в процедуре оценки те признаки ИР, которые наиболее соответствуют всем обстоятельствам применения и использования ИР, а также определить их уровни влияния с помощью предлагаемых градационных шкал или уровней предпочтений.

Исходя из вышесказанного, проблема оценки качества и эффективности использования ИР с учетом их разнообразия и различных областей применения связана с рядом задач, в том числе: установления отдельных наборов качественных признаков ИР, отвечающих конкретному характеру тех или иных ресурсов, определения приоритетности этих признаков, а также разработки методических материалов по проведению оценочной экспертизы. При этом требуется привязка конкретных методических рекомендаций к определенному характеру ИР.

Из последнего следует, что для поставщиков информационных продуктов возникает ряд задач, в том числе:

системный анализ всех отраслевых (или межотраслевых) ИР;

их четкая структуризация и систематизация по характеру применения, областям знаний и отраслям своего использования.

Это позволит организовать базу данных по ИР, с помощью которой можно вводить, хранить и обрабатывать не только сами ресурсы, но и оценки их качественных характеристик.

В таком случае появляется возможность использования методических средств (типовых методик оценки качества ИР, соответствующих общей системной их организации) и инструментальных средств (баз данных и систем их управления) для эффективного управления процессами сбора информации, формирования ИР, доведения их до потребителей и оценки эффективности их использования.

При этом для информационных работников появляется возможность принятия следующих решений. В случае низкой эффективности использования ИР при определенном критериально заданном значении количества запросов к данному ресурсу делается вывод о необходимой качественной модернизации содержательной части этого ресурса или (в крайнем случае) удаления его из базы (банка) данных. С другой стороны, при высокой величине эффективности использования ИР производятся вывод о чрезвычайной полезности или эффективности данного ресурса и необходимости его тиражирования «переноса на другие источники для дальнейшего распространения. При фиксации значительного количества обращений запросов (согласно функции спроса) к определенному виду ресурсов можно делать выводы о необходимости первоочередного инвестиционного развития данного ресурса.

С учетом вышесказанного на первый план выдвигается задача непрерывного ранжирования ресурсов по количеству запросов к каждому из них и определения количественной оценки эффективности их использования, решение которой позволит построить и эксплуатировать систему управления банком ИР в части его наполнения и актуализации наиболее эффективными и современными информационными материалами, базами данных и базами знаний.

Для производителя или поставщика ИР чрезвычайно важно на всех этапах планирования, проектирования, производства и реализации информационных продуктов определить цели и назначения их дальнейшего использования. Необходимо оценить потребительские свойства ИР (уровень спроса, количество потребителей, получивших данный ресурс и его использующих, обобщенные оценки отдельных признаков качества, обобщенная оценка эффективности использования, например, на базе статистических исследований экспертных оценок различных потребителей и т.п.).

Характеристиками ИР в данном случае могут служить обобщенные показатели, которые определяются на основании статистической обработки и анализа множества индивидуальных оценок качества и эффективности использования информации, проведенных рядом ее потребителей. В частности, к таким показателям можно отнести среднее, минимальное и максимальное значения обобщенной функции оценки эффективности использования ИР.

Таким образом, разработка методики оценки качества ИР позволит его поставщику более точно определить те свойства ресурса, которые желательно указывать в его общем описании.

Проводимые исследования качества ИР позволят принимать более обоснованное решение по управлению этим ресурсом, в том числе:

продвигать данный ИР на рынке информационных продуктов и широко его распространять с помощью рекламы и пропаганды;

подвергнуть ИР развитию, реконструкции или модернизации в случае недостаточного уровня спроса на него и низкой эффективности использования-

прекратить распространение ИР и удалить его из перечня предлагаемых ресурсов, из информационных систем, баз данных и других хранилищ при отрицательных оценках эффективности его использования.

Следовательно, для характеристического описания ИР с помощью набора выявленных свойств и их оценок передающая сторона должна вести статистический учет данных по передаваемым ресурсам и прежде всего данных по количеству потребителей, получивших конкретный ресурс. Этот показатель может характеризовать популярность ИР и потребительский спрос на него, но он не может отражать показатели качества самого ресурса, для чего необходима экспертиза свойств полученной информации ее потребителями.

Исходя из этого, методику экспертной оценки ИР целесообразно использовать непосредственно в процессе передачи его потребителю, который должен выявить основные признаки влияния на результаты применения ресурса, оценить их и определить общую эффективность использования ИР по значению обобщенной функции. Если это невозможно сделать по объективным причинам отсутствия практических результатов управления, то потребителю необходимо спрогнозировать ситуацию применения ИР и произвести такую экспертизу априори.