Анализ публикаций дает основания говорить о том, что специально проблема эффективности систем поддержки научных исследований и образовательных процессов, тем более ориентированных на определенную предметную область, не рассматривается. Это справедливо и для исторической отрасли, которой посвящена данная работа: задачи, содержание, критерии и методики анализа и оценки историко-ориентированных информационных систем недостаточно разработаны и понимаются не всегда однозначно. Возможно, недостаточная разработанность методик анализа и оценки эффективности предметных (в том числе исторических) систем объясняется их сложностью и многообразием.
Рассмотрим, какие основания можно и важно выделить при разработке методики оценки историко-ориентированных информационных систем.
Во-первых, одно из важных мест занимает эффективность использования этих систем в целях получения научных исторических знаний, их репрезентации и обеспечения доступа к ним, совершенствования труда историка.
Во-вторых, необходимо опираться на уже разработанные и сложившиеся подходы к анализу и оценке эффективности информационных ресурсов и систем.
В-третьих, важно учитывать специфику создания, назначения, использования именно исторических информационных систем и выделять соответствующие этому показатели эффективности.
Исходя из этого, для анализа и оценки эффективности историко-ориентированных информационных систем будем использовать системный и комплексный подходы, а также вытекающий из них подход, предусматривающий сочетание формализованных и качественных показателей [Матчин, Монахов, Мордвинов, Свечников, Шленов, 2003/2004, с. 11, 12]. Сочетание этих подходов ориентирует на определение целей информационной системы; анализ ее структуры, отдельных подсистем; учет общих и специфических для истории критериев. Указанные подходы позволяют подойти к анализу и оценке эффективности историко-ориентированных систем как многоуровневого объекта, включая уровень информационных ресурсов вообще и информационных ресурсов определенной предметной области (истории). На каждом из уровней выделяются подуровни, связанные с назначением системы и ее научными или образовательными задачами, которые могут быть ориентированы на различные, порой не совпадающие информационные потребности разных категорий пользователей. При этом историко-ориентированная система выступает и как информационный ресурс, и как технология, и как программный продукт для хранения и обработки информации.
