Телефон: +7 (383)-202-16-86

Статья опубликована в рамках: XLVI Международной научно-практической конференции «Инновации в науке» (Россия, г. Новосибирск, 24 июня 2015 г.)

Наука: Технические науки

Скачать книгу(-и): Сборник статей конференции

Библиографическое описание:
Сироткин Г.В. МОДЕЛЬ СИСТЕМЫ ИНТЕГРАЛЬНОЙ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ И ЭФФЕКТИВНОСТИ ДЕЯТЕЛЬНОСТИ ВУЗА // Инновации в науке: сб. ст. по матер. XLVI междунар. науч.-практ. конф. № 6(43). – Новосибирск: СибАК, 2015.
Проголосовать за статью
Дипломы участников
У данной статьи нет
дипломов

 

МОДЕЛЬ  СИСТЕМЫ  ИНТЕГРАЛЬНОЙ  ОЦЕНКИ  КАЧЕСТВА  ОБРАЗОВАНИЯ  И  ЭФФЕКТИВНОСТИ  ДЕЯТЕЛЬНОСТИ  ВУЗА

Сироткин  Григорий  Вячеславович

аспирант 
Астраханского  государственного  технического  университета, 
РФ,  г.  Астрахань

Е-mail: 

 

THE  MODEL  OF  INTEGRATED  SYSTEM  OF  EDUCATION  QUALITY  ASSESSMENT  AND  EFFECTIVENESS  OF  THE  UNIVERSITY

Grigoriy  Sirotkin

postgraduate 
of  Astrakhan  State  Technical  University, 
Russia,  Astrakhan

 

АННОТАЦИЯ

В  статье  впервые  представлена  модель  системы,  определяющей  величину  качества  образования  и  уровень  эффективности  либо  неэффективности  вуза  в  целом,  исходя  из  множества  величин  количественных  и  качественных  показателей,  одним  числом  в  процентном  выражении  с  отображением  данных  на  одной  диаграмме.

ABSTRACT

The  paper  first  presents  a  model  of  the  system  that  determines  the  value  of  the  quality  of  education  and  level  of  efficiency  or  inefficiency  of  the  University  as  a  whole,  based  on  many  variables  quantitative  and  qualitative  indicators,  one  number  as  a  percentage  and  displays  the  data  on  a  single  chart.

 

Ключевые  слова:   модель;  система;  интегральная  оценка  качества  образования;  интегральная  оценка  эффективности  деятельности  вуза.

Keywords:   model;  system;  integral  assessment  of  the  quality  of  education;  integral  assessment  of  efficiency  of  activity  of  the  University.

 

Вопросы  оценки  деятельности  вузов  являются  актуальными  для  современного  российского  высшего  образования.  Качество  —  не  случайное  и  не  само  собой  приходящее  свойство.  Для  его  достижения,  поддержания  и  развития  необходима  система  управления  качеством.  Качественное  образование  —  продукт  хорошо  работающей  системы  управления.  Процесс  улучшения  качества  образования  напрямую  зависит  от  потенциальных  возможностей  систем  управления  качеством  образования,  его  социальной  эффективности.

Применяемые  сегодня  системы  оценки  качества  и  эффективности  деятельности  вузов,  а  также  системы  менеджмента  качества,  разработаны  на  основе  лучшего  отечественного  и  зарубежного  опыта,  однако  проведенные  в  2012  и  последующие  годы  Министерством  образования  и  науки  РФ  мониторинги  показали,  что  в  новых  условиях  их  влияние  на  качество  образования  в  вузах  недостаточно.

Реакция  вузов  на  действия  регулирующих  органов  усилила  внимание  к  проблемам  определения  и  измерения  качества  образования.  Однако  возникает  реальная  проблема  выбора  модели  оценки  качества  образования  и  эффективности  деятельности  вуза,  которая  отвечала  бы  интересам  государства,  потребителей  и  вузов,  была  бы  доступна  для  массового  внедрения  в  образовательных  учреждениях.

Актуализируется  данная  проблема  для  ее  дальнейшей  разработки  и  Федеральной  целевой  программой  развития  образования  не  только  на  2011  и  2015  годы,  но  и  на  2016—2020  годы,  где  в  качестве  пятой  основной  задачи  выделено  —  формирование  востребованной  системы  оценки  качества  образования  и  образовательных  результатов.

Совершенствование  управления  деятельностью  вузов  в  современных  условиях  для  повышения  качества  образования  возможно  путем  разработки  методики  оценки  качества  образования  и  эффективности  деятельности  вуза  в  целом  по  одному  числу  (МОК).

Разработке  любой  методики  предшествует  создание  модели  системы  (МСО).  Данная  статья  является  продолжением  работы  [10]  о  необходимости  разработки  новой  системы  управления  качеством  образования  для  устранения  выявленных  недостатков  их  эффективности  и  их  совершенствования,  работы  [13]  о  возможности  на  основе  новой  системы,  разработки  системы  рейтинга  вузов  и  работы  [11],  в  которой  определена  структура  системы  оценки  (ССО).  Методической  основой  исследований  является  метод  системного  анализа.

ПОСТРОЕНИЕ  МОДЕЛИ  СИСТЕМЫ

При  построении  системы  оценки  была  использована  концепция  «ограниченной  рациональности»  по  Герберту  Саймону  о  том,  что  наиболее  эффективной  стратегией  принятия  решений  является  выбор  первого  вполне  удовлетворительного  варианта,  даже  если  известно,  что  он  не  является  оптимальным.

Качество  образования  рассматривается  как  совокупность  требований,  выраженных  в  измеряемых  и  сравнимых  показателях,  отражающих  требуемое  и  текущее  состояние  определенных  направлений  деятельности  вуза,  влияющих  на  образование,  позволяющих  путем  принятия  управленческих  решений  определить  текущее  и  обеспечить  требуемое  состояние  системы  управления.

Система  обеспечивает  качество  трех  видов  деятельности  вуза:  основной  —  направленной  на  обучение  и  результат,  вспомогательной  —  направленной  на  создание  условий  обучения,  проверки  и  реализации  результата,  и  дополнительной  —  коммерческой,  направленной  на  продажу  услуг  и  получения  дохода.

Основой  для  построения  МСО  послужила  ССО  оценки,  которая  описана  и  представлена  в  схемах,  рисунках  и  таблицах  в  работе  [11,  с.  68—82].  ССО  разработана  под  системы  показателей,  используемые  вузами.  Недостающие  показатели,  разрабатываются  тоже  самими  вузами  (государством)  в  процессе  использования  СО,  т.  к.  предлагаемая  СО  позволяет  оценивать  качество  образования  и  эффективность  деятельности  вуза  при  отклонении  количества  показателей  системы  от  определенной  минимальной  нормы.  Такой  подход  не  потребует  значительных  затрат  и  изменений  в  деятельности  вузов  при  внедрении  СО.

В  отличие   от  старой,  новая  ССО  предусматривает  поблочно-целевую  классификацию  факторов  —  направлений  деятельности  вуза  и  показателей  структуры  системы,  которая  позволяет:

1.  Охватить  оценкой  и  контролем  не  отдельные  направления  деятельности  вуза,  как  сейчас,  а  деятельность  всех  структур  вуза  в  целом.

2.  Перейти  от  оценки  отдельных  направлений  деятельности  вуза,  к  блочно-структурно-целевой.

3.  Вместо  лепестковой  оценки  качества  определенных  направлений  вуза  ввести  двух  уровневую  оценку.  На  уровне  вуза  и  на  уровне  структурных  подразделений.  Это  вовлечет  весь  коллектив  в  обеспечение  качества  не  зависимо  от  занимаемой  должности  и  места  работы,  и  повысит  их  ответственность  за  результаты  своей  деятельности,  что  повлечет  повышение  качества  образования.

4.  Заменить  способ  сравнения  пороговых  и  фактических  величин  показателей  с  лепестковых  диаграмм,  на  таблично-ленточные  диаграммы,  предусматривающие  отражение  отклонений  одним  числом  в  процентном  выражении  в  динамике  во  времени  за  длительный  период,  а  не  как  сейчас,  двумя  величинами  за  предыдущий  и  фактический  период,  передав  контроль  за  величинами  с  уровня  вуза,  на  уровень  структурных  подразделений.

5.  Ввести  систему  интегральной  оценки  качества  образования  и  эффективности  деятельности  вуза  по  одному  числу  с  отображением  данных  на  одной  диаграмме-линии  в  прямоугольной  системе  координат,  передав  контроль  за  величинами  на  уровень  вуза.  Удобство  интегральных  оценок  состоит  в  том,  что  они  дают  единый  числовой  критерий  качества. 

6.  Постепенное,  по  мере  внедрения  новых  показателей,  изменение  в  деятельности  вуза.

В  результате  проведенной  работы  нами  построена  МСО,  которая  представлена  на  рис.  1.

 

Рисунок  1.  Модель  системы  оценки  качества  образования  и  эффективности  деятельности  вуза  в  целом

 

СО  проста  и  понятна.  Она  состоит  из  блока  данных,  расчетного  блока  и  диаграммы-линии.  в  прямоугольной  системе  координат. 

Блок  данных   состоит  из  5  таблиц.  Таблицы  блока  данных  включают  в  себя  элементы  структуры  ССО  и  колонки  с  определенными  в  таблице  данными.  Таблицы  блоков  1,2,3,4  и  5  объединены  в  одну  таблицу.  Для  наглядности  структура  таблицы  блока  1  и  части  блока  2  показана  в  таблице  1.  Данные  таблиц  взяты  произвольно.  Данные  колонок  таблицы  №  4,  №  6  и  №  7  обрабатываются  расчетным  блоком,  и  результат  выводится  на  диаграмму. 

Расчетный  блок   предназначен  для  расчета  величины  качества  образования  (ВКО).  Алгоритм  расчета  ВКО  включает  в  себя  последовательный  вычислительный  процесс  в  определенном  порядке  по  9  формулам,  начинающийся  с  расчета  разницы  величин  пороговых  (колонка  6  таб.  1)  и  фактических  (колонка  7  таб.  1)  по  каждому  показателю  и  заканчивающийся  расчетом  ВКО  одним  числом  в  процентном  выражении.  Алгоритм  расчета  ВКО  опробован  математическим  способом  путем  вычислений.  Апробация  подтвердила  способность  математической  модели  определять  ВКО  одним  числом  в  процентном  выражении,  но  методика  расчета  будет  представлена  после  программной  апробации  СО. 

Диаграмма   построена  в  прямоугольной  системе  координат.  По  вертикали  определяется  расчетное  ВКО,  а  по  горизонтали  время  контроля  —  год  либо  год  и  полугодие  (время  ввода  фактических  величин  показателей  в  СО).  Место  данных  в  системе  координат  определяется  точкой  пересечения  ВКО  и  времени  расчета.  Динамика  мониторинга  состояния  СО  определяется  положением  линий  пересечения  данных  (рис.  1).  Диаграмма  построена  произвольно,  для  наглядности.  Линия  разграничения  уровней  эффективности  либо  неэффективности  равной  80  %,  определена  результатами  сценарного  моделирования  ядра  НСУ  [12].  Она  определяет  критический  уровень,  который  в  последствие  может  быть  повышен  с  целью  повышения  уровня  эффективности  деятельности  вуза,  а  это  повлечет  за  собой  и  повышение  качества  образования.

 

Таблица  1.

Таблица  блока  данных

№  п/п

ПОКАЗАТЕЛИ

  Код  струк

туры

Сила  влияния  фактора

Ед.

изме

рения.

Пороговая  величина  показателя  (стандарт)

Фактич.  величина  показателя

1

2

3

4

5

6

7

Блок  1  .  ОБЕСПЕЧЕНИЯ  КАЧЕСТВА  ОБРАЗОВАТЕЛЬНОЙ  ПРОГРАММЫ

1

Факторы,  влияющие  на  качество  образовательной  программы

.1

СТАНДАРТЫ

 

0, 3

     

11.1

Соответствие  ОП  международным  стандартам

A

-

«+»  «-»

«+»

«-»

11.2

Соответствие  ОП  национальным

  стандартам

D

-

«+»  «-»

«+»

«+»

12

ПРАВОВЫЕ  ТРЕБОВАНИЯ

 

0,7

     

12.1

Соответствие  ОП 

Законам  РФ

C

-

«+»  «-»

«+»

«-»

12.2

Соответствие  ОП

  Указам  президента  РФ

A

-

«+»  «-»

«+»

«+»

13.

ОБРАЗОВАТЕЛЬНАЯ  ПРОГРАММА

 

1

     

13.1

 

R

-

-

-

-

13.2

 

M

-

-

-

-

14.

ПРОФЕССОРСКО-ПРЕПОДА

ВАТЕЛЬСКИЙ

  СОСТАВ 

 

1

     

14.1

Доля  профессорско-преподавательского  состава  в  группе,  прошедших  обучение  по  разработке  ОП

R

-

%

80

 

 

 

60

14.2

 

C

-

-

-

-

15

СОТРУДНИКИ

 

0,7

     

15.1

  Доля  сотрудников  в  группе,  прошедших  обучение  по  разработке  ОП

R

-

%

60

60

15.2

 

C

-

-

-

-

16

МЕЖДУНАРОДНАЯ  ДЕЯТЕЛЬНОСТЬ

 

 

0,7

     

16.1

 

M

-

-

-

-

16.2

 

C

-

-

-

-

.7

НАУЧНАЯ  ДЕЯТЕЛЬНОСТЬ

 

0,7

     

17.1

Количество  публикаций  по  разработке  и  переработке  ОП

N

 

единиц

20

15

17.2

 

C

-

     

18

ПАРТНЕРСКАЯ  ДЕЯТЕЛЬНОСТЬ

 

0,7

     

18.1

 

-

-

-

 

-

18.2

 

-

-

-

-

-

Блок  2.  ОБЕСПЕЧЕНИЯ  КАЧЕСТВА  ОБРАЗОВАТЕЛЬНОГО  ПРОЦЕССА

2

Факторы,  влияющие  на  качество  образовательного  процесса

99

ПРОФЕССОРСКО-ПРЕПОДОВАТЕЛЬСКИЙ  СОСТАВ

 

1

 

 

 

99..1

 

-

-

-

-

-

29.2

 

-

-

-

-

-

               

 

Эффективность  управления  системы  достигается  за  счет  автоматизации  процессов  оценки  и  контроля  качества  образования  и  эффективности  деятельности  вуза,  которые  объединены  в  единую  комплексную  систему,  учитывающую  все  многообразие  задач,  решаемых  вузом.

Объективность  и  достоверность  оценки  достигается  за  счет  увеличения  объема  оценочной  информации,  охватывающей  не  отдельные  направления  деятельности  вуза,  а  деятельность  вуза  в  целом,  путем  охвата  оценкой  всех  его  структур.  Это  позволит  вовлечь,  весь  коллектив  в  обеспечение  качества  на  своем  рабочем  месте  не  зависимо  от  их  желания  и  занимаемой  должности.

Эффективность  оценки   достигается  за  счет  уменьшения  объема  результатов  оценки  с  множества  до  одного  параметра  и  одной  диаграммы.  Это  значительно  сократит  объем  обрабатываемой  информации  при  оценке  на  уровне  вуза,  время  для  оценки  результатов,  принятия  по  ним  решений  и  расходов  на  эти  цели.

Основная  цель   (высокое  качество  образования)  обеспечивается  за  счет  достижения  5  текущих  целей,  через  обеспечение  качества  61-го  направления  деятельности  вуза  и  более  61-го  показателя  и  величин  их  качества.

Развитие  системы  и  устранение  допущенных  в  её  структуре  недостатков  достигается  за  счет  возможности  приведение  системы  в  новое  состояние,  соответствующее  текущему  времени  путем  изменения,  дополнения  и  исключения  элементов  системы  без  изменения  физического  принципа  действия.  Также,  путем  добавления  подсистем  обеспечения  и  рейтинга  эффективности  всех  вузов  России.  В  период  расширения  функций  системы,  возможны  и  другие  подсистемы.

Единство  системы   обеспечивается  за  счет  возможности  встраивания  в  неё  действующих  в  вузах  систем  оценки.

Универсальность  системы   обеспечивается  за  счет  возможности  её  использования  всеми  вузами,  не  зависимо  от  их  типа.  Она  соответствует  международным  стандартам  ISO,  т.  к.  принципы  стандарта  образуют  основу  построения  и  функционирования  системы.  Поэтому  она  будет  хорошим  дополнением,  действующим  в  вузах  систем  менеджмента  качества.

Устойчивость  и  сбалансированность  системы   обеспечивается  за  счет  постоянной  работы  всего  коллектива  по  обеспечению  качества  и  периодического  контроля  состояния  элементов  системы,  а  при  отклонении  фактических  величин  качества  показателей  от  пороговых,  принятия  решений  и  действий  для  приведения  их  в  требуемое  состояние.

Необходимо  отметить ,  что  наличие  системы  управления  качеством  в  вузе  не  гарантирует  достижение  цели.  Поскольку  исследования  новой  системы  управления  показали,  что  конечный  результат  обучения,  может  быть,  достигнут,  если:

1.  Знания,  умения  и  практические  навыки  абитуриента  достаточны  для  освоения  образовательной  программы.

2.  Обучающийся  добросовестно  будет  относиться  к  обучению,  освоит  учебные  дисциплины  и  выполнит  учебный  план  в  полном  объеме.

3.  Вуз  обеспечит  высокое  качество  образования.

4.  Вуз  обеспечит  мотивацию  студентов  на  обучение.

Значит,  отмеченные  обстоятельства  должны  также  учитываться  и  быть  реализованы  в  показателях  и  единицах  их  измерения  для  осуществления  контроля  над  их  обеспечением.

Проведенная  Оболяевой  Н.М.  сравнительная  оценка  обобщенной  модели  управления  качеством  в  российских  вузах  и  модели  качества  университета  Гейдельберга  (Германия)  показала,  что  перенос  моделей  одной  национальной  системы  образования  в  другую  не  приносит  повышение  качества  образования  без  учета  национальных  особенностей  и  адаптации  к  ним  соответствующих  моделей,  с  чем  нельзя  не  согласиться  [5].

Сравнительный  анализ  обобщенной  модели  управления  качеством  в  российских  вузах,  модели  качества  университета  Гейдельберга  (Германия)  и  предлагаемой  модели  СО  показал,  что  элементы  обобщенной  модели,  а  также  элементы  и  принципы  Гейдельберской  модели  заложены  в  ССО  и  охватываются  ею  в  полном  объеме.  МСО  совместима  и  с  применяемыми  в  вузах  системами  оценки  качества  образования  и  эффективности  их  деятельности  [2;  9].

Отличие  моделей  и  систем  в  подходах  достижения  конечной  цели,  объемах  оценочной  информации  и  способах  оценки  конечного  результата  —  качества  образования  и  уровня  эффективности  деятельности  вузов.

По  сравнению  с  другими  системами ,  МСО  охватывает  все  направления  деятельности  вуза  в  целом,  т.е.  всех  его  структур,  а  не  отдельные  её  направления.  Поэтому  она  может  быть  объединяющей  системой,  и  использована  как  единая  система  по  достижению  главной  цели  —  обеспечению  массового  «хорошего»  качества  обучения  в  России.

АЛГОРИТМ  ФОРМИРОВАНИЯ  СИСТЕМЫ

Алгоритм  формирования  системы  определяет  следующие  этапы  действий:

1.  Выбор  показателей  качества  факторов  каждого  блока  и  ввод  их  в  систему

Каждый  вуз  имеет  свою  систему  показателей.  ССО  позволяет  встроить  в  неё  применяемые  в  вузах  системы  оценки  [2;  9]  на  уровне  показателей,  путем  распределения  элементов  этих  систем  по  факторам  —  направлениям  деятельности,  качество  которых  они  определяют  в  колонку  2  с  указанием  порядкового  номера  в  колонке  1  таблицы  1.  Оставшиеся  незаполненные  показатели  СО  определяются  вузом  и  каждым  подразделением  самостоятельно.  После  утверждения  их  в  определенном  в  вузе  порядке,  они  могут  вводиться  в  СО  поэтапно,  без  резких  изменений  в  их  деятельности  и  больших  материальных  затрат  в  том  же  порядке.  Расчет  ВКО,  уровней  эффективности  либо  неэффективности  деятельности  вуза,  в  этом  случае,  будет  производиться  СО  по  введенным  в  неё  показателям.  Точность  расчета  будет  выше,  если  показателей  будет  равно  или  больше  факторов  —  направлений  деятельности,  определенных  ССО.

При  формировании  системы  показателей,  необходимо  добиваться,  чтобы  показатели  отражали  не  только  качество  блоковых  задач  и  определенных  факторами  направлений  деятельности  вуза,  направленных  на  обучение  и  результат,  обеспечение  условий  обучения,  результата  и  его  реализацию  в  виде  трудоустройства,  получения  дохода  и  продажу  товара,  но  и  главной  цели  —  обеспечения  высокого  качества  образования  (достаточных  знаний,  умений  и  практических  навыков),  которое  должно  обеспечить  выпускникам  не  только  их  конкурентоспособность  на  рынке  труда,  но  и  их  трудоустройство).

Факторы,  по  которым  показатели  не  определены,  на  начальном  этапе  величина  отклонения  таких  показателей  определяется  равной  0  и  считается,  что  фактор  находится  в  требуемом  состоянии.  По  мере  определения  показателей  и  встраивания  их  в  СО  по  каждому  фактору  каждого  блока,  система  считается  сформированной,  т.  к.  СО  охватит  оценкой  и  контролем  все  структуры  вуза  в  целом.  Показатели  качества  следует  определять  по  каждой  структуре.  В  этом  случае,  каждой  структуре  присваивается  идентификационный  код,  например,  заглавная  буква  «С»,  как  показано  в  таблице  1.  Код  структуры  подразделения  вносится  в  колонку  №  3  таблицы  1.  Принадлежность  показателей  к  определенной  структуре  вуза  определяется  номером  структуры  в  строке  напротив  каждого  показателя.

При  автоматизации  процессов,  наведении  стрелки  мышки  на  букву  —  код  и  нажатии  на  левую  кнопку  мышки,  откроется  сводная  таблица  структуры  вуза  (табл.  2).

Сводная  таблица  показателей  состоит  из  двух  частей.  Первая  часть  слева  от  показателей.  Она  предназначена  для  ввода  фактических  величин  показателей  и  их  единиц  измерения.  Вторая  часть  справа  от  показателей.  Верхняя  часть  предназначена  для  ввода  времени  мониторинга.  Нижняя  часть  для  контроля  за  состоянием  величин  показателей.  При  их  отклонении  от  требуемых  100  %,  подразделением  принимаются  действия  и  решения  для  приведения  отклонений  в  требуемое  состояние.

Данные  сводной  таблицы  произвольные,  приведены  для  наглядности.  Это  позволит  каждому  подразделению  в  динамике  во  времени  наблюдать  не  состояние  пороговых  и  фактических  величин  показателей  на  множестве  общих  лепестковых  диаграммах,  одна  из  которых  показана  для  наглядности  на  рис.  2,  а  в  одной  таблице  только  по  подразделению,  за  годы  мониторинга  в  процентном  выражении  [7,  с.  14].

Таблица  2.

Сводная  таблица  показателей  качества

Код  -  С

 

СВОДНАЯ  ТАБЛИЦА  ПОКАЗАТЕЛЕЙ  КАЧЕСТВА  ФИНАНСОВО  -  ЭКОНОМИЧЕСКОГО  ОТДЕЛА  (Управления)

 

п\п

Ед.

измер.

Фактич.

величина

показателя

Показатели

качества

Год

2014

Год

2015

Год

2016.1

Год

2016.2

Год

 

Год

 

2.1

Руб.

2000000

Доходы  от  научной  деятельности

100  %

80  %

90  %

 

 

 

4.3

%

80

Рентабельность  по  основной  деятельности

60  %

100  %

95  %

 

 

 

5.1

…….

…….

   

 

 

 

 

 

                     

 

Рисунок  2.  Пример  лепестковой  диаграммы  показателей

 

Это  дает  более  объективное  представление  о  динамике  состояния  величин  показателей,  что  в  свою  очередь  позволит  принимать  более  действующие  меры  и  действия  для  приведения  отклонений  в  требуемое  состояние.  При  этом,  анализ  недостатков  по  каждому  показателю  имеющему  отклонение  от  требуемого  состояния  (100  %),  позволит  вузу  определять  приоритеты  направлений  его  деятельности,  что  приведет  к  сокращению  нерационального  расходования  средств  и  их  экономии,  что  в  свою  очередь  позволит  сэкономленные  средства  направить  на  другие  цели.  При  выборе  приоритетов  расходования  денежных  средств  и  их  размера,  вуз  должен  учитывать  силу  влияния  факторов  на  качество  образования,  к  которому  относится  показатель.

2.  Определение  пороговых  величин  параметров  каждого  показателя.

Пороговая  величина   —  это  показатель,  принятый  за  исходную  единицу  (стандарт)  при  сравнительных  оценках  качества.  Пороговые  показатели  вносятся  в  колонку  6  таблицы  1.  Пороговые  величины  могут  быть  как  количественные,  в  цифрах,  так  и  качественными,  в  знаках  «+»  (совершил  требуемые  действия)  и  «-»  (не  совершил  требуемые  действия).  Количественные  величины  выражаются  в  кв.м.,  руб.,  %  и  других.  Они  должны  позволить,  путем  вычитания,  определить  отклонение  фактических  величин  от  пороговых.  Пороговые  величины  параметров  показателей  определяются  вузом  и  (или)  государством.  Они  должны  отражать  высокие  требования,  которым  должен  соответствовать  нормальный  вуз,  имеющий  самый  высокий  уровень  качества  образования  в  России  либо  за  рубежом,  чтобы  другие  вузы  стремились  достичь  этого  уровня  и  ему  соответствовать.  Только  так  можно  сравнять  качество  образования  в  вузах  на  всей  огромной  территории  России.

3.  Определение  фактических  величин  параметров  каждого  показателя.

Фактические  величины   показателей  определяются  в  порядке  и  методикам,  которые  применялись  вузами  для  их  определения.  Данные  таблицы  1  постоянны,  кроме  фактических  величин  параметров  показателей  (колонка  7  табл.  1).  Каждому  подразделению  раз  в  год  или  раз  в  год  и  в  полугодие  требуется  только  ввести  в  таблицу  2  данные  величин  фактических  показателей,  отнесенных  к  их  ведению,  и  время  рейтинга.  СО,  данные  введенные  в  таблицу  2,  внесет  в  таблицу  1,  а  расчетный  блок  в  автоматическом  режиме  по  определенному  алгоритму  определит  ВКО.  Затем  по  ВКО  и  года  расчета  СО  в  автоматическом  режиме  построит  графическую  диаграмму  в  прямоугольной  системе  координат.  Точка  пересечения  данных,  определит  состояние  качества  и  уровень  эффективности  либо  неэффективности  вуза.  Для  наблюдения  результатов  в  динамике,  по  отношению  к  прежним  величинам,  точки  пересечения  соединяются  линией  (рис.  1).

4.  Определение  Силы  влияния  факторов  на  качество  образования  (знания,  умения  и  практические  навыки).

Сила  влияния   факторов  определяется  в  весах  по  таблице  3.  Данные  вносятся  в  колонку  №  4  таблицы  1.  Веса  определяются  путем  словесного  суждения  о  силе  влияния  каждого  фактора  блока  на  качество  образования  на  основе  шкалы  таблицы  №  3.  В  данном  случае,  применим  аналогию  построению  матрицы  весов.

Таблица  3.

Шкала  для  формализации  силы  влияния  факторов  в  системе

Элемент  шкалы

Интерпретация  в  терминах  силы  влияния

0

Влияние  отсутствует

0,1

Минимально  возможное  (практически  отсутствует)

0,3

Слабое

0,5

Среднее

0,7

Существенное

0,9

Сильное

1

Максимально  возможное

0,2,  0,4,  0,6,  0,8

Промежуточные  уровни

 

5.  Расчет  величины  качества  образования  вуза  в  целом.

Алгоритм  расчета  ВКО  включает  в  себя  последовательный  вычислительный  процесс  в  определенном  порядке  по  9  формулам,  начинающийся  с  расчета  величин  отклонения  фактических  от  пороговых  параметров  по  каждому  показателю  и  заканчивающийся  расчетом  ВКО  одним  числом  в  процентном  выражении.  ВКО  —  это  показатель  качества  работы  всего  коллектива  вуза  в  целом.  При  его  отклонении  от  нормы,  на  уровне  вуза,  принимаются  решения  и  действия  для  приведения  его  в  требуемое  состояние  —  100  %.

АЛГОРИТМ  ФОРМИРОВАНИЯ  ПОКАЗАТЕЛЕЙ  СИСТЕМЫ

Выше  отмечено ,  что  в  основу  системы  будут  положены  показатели  применяемых  в  вузах  систем  оценки  качества  и  эффективности  их  деятельности.  Однако  их  может  быть  недостаточно  для  формирования  СО  в  определенных  минимальных  пределах.  Поэтому  нам  необходимо  определить  алгоритм  формирования  недостающих  показателей,  т.  к.  целью  исследований  не  является  определение  и  группировка  показателей  системы  оценки.

Существующие  методики  по-разному  решают  вопросы  формирования  показателей  [1;  2;  3;  4;  8;  9;  14].  Есть  и  другие  методики.  При  этом,  не  одна  из  них  ни  отдельно,  ни  совместно,  проблему  оценки  качества  образования  на  сегодня  не  разрешили.

Показателей,  используемых  вузами  при  оценке  качества  образования  и  эффективности  деятельности  вуза,  очень  велико.  Для  их  исследования  и  систематизации  необходимо  определить  порядок  отбора  показателей  для  формирования  показателей  системы  оценки.  Предлагается  начать  исследования  с  определения  понятия  качества  образования,  т.  к.  от  его  смыслового  содержания  зависит  направление  и  эффективность  исследований.

Как  в  отечественной,  так  и  в  зарубежной  литературе  понятие  качества  образования  признается  сложным  и  многоаспектным.  Многоплановость  понятия  определяет  трудности  при  решении  вопросов,  связанных  с  оценкой  качества  образования.

В  Федеральном  законе  «Об  образовании  в  Российской  Федерации»,  вступившем  в  силу  1  сентября  2013  года,  качество  образования  определяется  как  «комплексная  характеристика  образовательной  деятельности  и  подготовки  обучающегося,  выражающая  степень  их  соответствия  федеральным  государственным  образовательным  стандартам,  образовательным  стандартам,  федеральным  государственным  требованиям  и  (или)  потребностям  физического  или  юридического  лица,  в  интересах  которого  осуществляется  образовательная  деятельность,  в  том  числе  степень  достижения  планируемых  результатов  образовательной  программы».

Межгосударственный  стандарт  ГОСТ  ISO  9000-2011  определяет  понятие  качества  как  «степень  соответствия  совокупности  присущих  характеристик  требованиям».  Причем  требования  рассматриваются  в  двух  аспектах:  соответствие  стандартам  или  спецификациям  и  соответствие  запросам  потребителя.

В  педагогической  практике  в  настоящее  время  существует  несколько  подходов  к  содержанию  понятия  «качество  образования».

М.М.  Поташник  под  качеством  образования  понимает  соотношение  цели  и  результатов,  меру  достижения  целей.

С.Е.  Шишов  и  В.А.  Кальней  качество  образования  рассматривают  как  социальную  категорию,  определяющую  состояние,  результативность  процесса  образования  в  обществе,  его  соответствие  потребностям  и  ожиданиям  общества  в  развитии  и  формировании  гражданских,  бытовых  и  профессиональных  компетенций  личности.

A.M.  Моисеев  понятие  «качество  образования»  определяет  как  совокупность  существенных  свойств  и  характеристик  результатов  образования,  способных  удовлетворить  потребности  самих  учащихся,  общества,  заказчиков  на  образование.

Л.Б.  Железнова  под  качеством  образования  понимает  «соответствие  характеристик  образовательных  услуг  требованиям  социума».

В.А.  Болотов  определяет  качество  образования  как  «интегральную  характеристику  системы  образования,  отражающую  степень  соответствия  реальных  достигаемых  образовательных  результатов  нормативным  требованиям,  социальным  и  личностным  ожиданиям».  При  этом  качество  образования  рассматривается  как  комплексный  показатель,  интегрирующий  все  этапы  становления  личности,  условия  и  результаты  учебно-воспитательного  процесса.

Академик  РАО  А.М.  Новиков  отмечает,  что  в  последнее  время  специалистами  в  области  оценки  качества  образования  принято  следующее  определение:  «под  качеством  образования  понимается  характеристика  системы  образования,  отражающая  степень  соответствия  реальных  достигаемых  образовательных  результатов  нормативным  требованиям,  социальным  и  личностным  ожиданиям».  При  этом  в  корневом  понятии  «образование»  ученый  выделяет  «образование»  как  результат  (образованность)  и  «образование»  как  образовательный  процесс,  позволяющий  получить  необходимый  результат,  то  есть  понятие  «качество  образования»  он  соотносит  и  к  результату,  и  к  процессу.

На  основе  проведенного  анализа  видно,  что  на  сегодняшний  день  существуют  различные  подходы  к  определению  понятия  «качество  образования»,  что  обусловлено  его  сложным  интегративным  характером  и  многомерностью  [4,  с.  11—14].  Тем  не  менее,  они  дают  возможность  определить  его  содержание  и  алгоритм  формирования  системы.

Из  определений  видно,  что  субъектами  формирования  требований  к  качеству  образования  являются:

·     Международные  и  иностранные  организации.

·     Государство,  в  лице  гос.  органов.

·     Потребители  образовательных  услуг:  граждане  и  юридические  лица.

·     Вузы.

Исходя  из  субьектов,  требования  можно  разделить  на:

·     иностранные;

·     национальные.

По  характеру  исполнения,  требования  можно  разделить  на:

·     Обязательные  —  подлежащие  обязательному  соблюдению  вузами.

·     Требуемые  —  требования  потребителей  услуг:  физических  и  юридических  лиц,  не  обязательные,  но  вузами  должны  учитываться.

·     Рекомендательные  —  не  обязательные,  т.  е.  могут  учитываться  либо  не  учитываться,  по  усмотрению  вузов.

·     Добровольные  —  установленные  вузами.

По  требованиям  их  можно  разделить  на  содержащие  их  источники:

·     международные  и  иностранные  правовые  акты;

·     национальные  правовые  акты;

·     результаты  исследований  и  мониторингов  требований  потребителей:

·     правовые  акты  вузов;

·     работы  ученых  и  специалистов.

Отсюда,  основой  формирования  системы  показателей  составят  перечисленные  нами  источники  содержащие  показатели  качества  либо  требования  к  качеству  образования  и  эффективности  деятельности  вузов.  Например:  Международный  стандарт  по  менеджменту  качества  ISO  9001:2008;  Стандарты  и  Директивы  для  гарантии  качества  Высшего  образования  в  Европейском  регионе»,  разработанные  Европейской  сетью  (Ассоциацией)  гарантии  качества  (ENQA)  в  сфере  высшего  образования;  Межгосударственный  (национальный)  стандарт  ГОСТ  ISO  9001-2011;  Приказ  Федеральной  службы  по  надзору  в  сфере  образования  и  науки  от  25  октября  2011  г.  №  2267  об  утверждении  показателей  для  учреждений  ВПО;  Приказ  Министерства  образования  и  науки  Российской  Федерации  от  8  ноября  2010  г.  №  1116"О  целевых  показателях  эффективности  работы  бюджетных  образовательных  учреждений,  находящихся  в  ведении  Министерства  образования  и  науки  Российской  Федерации;  Приказ  Министерства  образования  и  науки  РФ  от  10  декабря  2013  г.  №  1324,  об  утверждении  Общих  показателей  самообследования  деятельности  вузов:  Положение  формировании  системы  независимой  оценки  качества  профессионального  образования  от  31  июля  2009  г.  №  АФ-318/03;  показатели  оценки  качества  образования,  Пермского  ГТУ  [6],  Астраханского  ГТУ  [8]  и  др.;  показатели  международных  и  российских  рейтингов  вузов;  работы  ученых  и  т.  д..

Выбор  показателей  из  источников,  предлагается  осуществлять  через  осмысление  совокупности  следующих  элементов:

1.  Конечной  цели  —  обеспечение  высокого  качества  образования  вуза.

2.  Промежуточных  целей.

3.  Направлений  видов  деятельности.

4.  Возможности  количественного  и  качественного  их  измерения.

5.  Возможности  их  оценки  путем  сравнения  пороговых  и  фактических  величин  для  определения  недостатков  и  их  устранения,  т.  е.  приведение  отклонений  в  требуемое  состояние.

Предлагаемый  подход  к  формированию  системы  показателей  учитывает  интересы  всех  субъектов  образовательной  деятельности  —  государства,  потребителей  и  вуза  через  включение  в  СО  их  требований  к  качеству  образования  и  деятельности  вуза  в  качестве  показателей  СО.  Алгоритм  формирования  показателей  СО,  объединяет  в  себе  все  используемые  сегодня  методики  путем  включения  показателей,  определенных  на  их  основе  и  применяемые  на  сегодня  вузами,  в  одну  систему.  СО,  сформированная  на  основе  предлагаемого  алгоритма,  может  быть  использована  любым  типом  вуза  и  для  её  внедрения  в  вузы  не  потребуется  значительных  изменений  в  их  деятельности,  т.  к.  все  показатели  известны  и  в  той  или  иной  мере  вузами  используются.

ПЕРСПЕКТИВЫ  РАЗВИТИЯ  СИСТЕМЫ  ОЦЕНКИ

Интегральная  оценка  (рейтинг)  деятельности  вуза  с  целью  выявления  его  эффективности  (неэффективности)  является  проблемой,  не  имеющей  пока  идеального  решения.

Президент  Владимир  Путин  по  итогам  съезда  Российского  союза  ректоров  в  октябре  2014  года  поручил  правительству  и  российскому  совету  ректоров  (РСР)  представить  предложения  по  формированию  ежегодного  национального  рейтинга  вузов. 

Согласно  концепции,  подготовленной  РСР,  национальный  рейтинг  вузов  должен  представлять  собой  мировой  университетский  рейтинг  со  штаб-квартирой  в  Москве.  Основной  акцент  при  формировании  национального  рейтинга  вузов  Российский  союз  ректоров  предлагает  сделать  на  оценке  успешности  выпускников  вузов  и  научных  публикаций  сотрудников.

Как  отмечается  в  концепции,  чтобы  получить  признание  за  рубежом,  национальный  рейтинг  должен  основываться  исключительно  на  объективных  количественных  проверяемых  параметрах.  В  качестве  критериев  оценки  вузов  предлагается  использовать  такие  параметры,  как  доля  выпускников,  работающих  на  позициях  профессоров  лучших  университетов  мира  и  страны,  и  ведущих  исследователей  лучших  научных  организаций,  крупнейших  международных  и  российских  компаний.  Также  рейтинг  должен  отражать  долю  выпускников  вузов,  работающих  на  руководящих  позициях  в  крупнейших  компаниях  мира  и  России.  Кроме  того,  при  составлении  рейтинга  будут  учитываться  показатели,  характеризующие  публикационную  активность  сотрудников  университетов:  суммарный  импакт-фактор  статей,  опубликованных  сотрудниками  вуза  в  ведущих  международных  журналах,  в  расчете  на  одного  научно-педагогического  работника  и  доля  статей  в  ведущих  международных  журналах,  написанных  сотрудниками  вуза  в  соавторстве  с  иностранными  коллегами.

Отказ  от  экспертных  опросов  может  потребовать  и  использования  нетрадиционных  показателей,  отмечается  в  концепции.  В  частности,  при  составлении  рейтинга  предлагается  анализировать  поток  отзывов  о  деятельности  вуза  в  национальных  и  мировых  СМИ,  а  также  академических  соцсетях.  РСР  предлагает  Минобрнауки  РФ  предусмотреть  специальное  финансирование  работ  по  созданию  рейтинга.  «Без  государственной  поддержки  ни  одна  существующая  в  России  рейтинговая  организация  не  сможет  создать  и  вывести  на  достойный  международный  уровень  новую  версию  рейтинга  университетов»,  —  говорится  в  концепции  [6].

Таким  образом,  для  оценки  рейтинга  предлагаются  определенные  показатели  качества  деятельности  вуза.  Однако  механизмов  решения  проблемы,  которую  ранее  поставил  президент  РФ  В.В.  Путин,  —  определить  критерий,  по  которому  можно  бы  выстроить  вузы  с  точки  зрения  эффективности  [3],  в  концепции  нет.

При  принятии  за  образец  предложенной  МСО,  на  первом  этапе  Минобрнауки  РФ  необходимо  провести  её  доработку  с  целью  формирования  единого  образца  для  всех  вузов:

·     провести  корректировку  факторов;

·     определить  и  сгруппировать  систему  показателей;

·     определить  силу  влияния  факторов  на  качество  образования  по  каждому  блоку;

·     провести  корректировку  матрицы  весов  влияния  факторов  друг  на  друга  и  сценарную  модель  системы  (сила  влияния  факторов  на  качество  образования  и  друг  на  друга,  как  отмечено  ранее,  необходимы  для  выбора  приоритетов  направления  действий  и  денежных  средств,  для  приведения  системы  в  требуемое  состояние  при  наличии  отклонений).

После  доработки  МСО,  разработке  веб-приложения  СО  и  принятии  решения  о  её  использовании  в  вузах  России,  необходимо  на  начальном  этапе  провести  апробацию  веб-приложения  в  двух  трех  вузах,  имеющих  самые  высокие  результаты  деятельности.  При  наличии  положительных  результатов,  Минобрнауки,  своим  решением  должно  рекомендовать  веб-приложение  для  его  использования  вузами  России  при  оценке  качества  образования.  После  внедрения  веб-приложения  в  вузы  на  всей  территории  России,  на  его  основе  может  быть  разработано  веб-приложение  «Рейтинг  вузов  России»  с  открытием  на  сайте  Министерства  образования  и  науки  РФ  его  портала.  Исходными  данными  будут  ВКО  и  уровни  эффективности  либо  неэффективности  деятельности  вузов.  На  сегодня  аналогичной  системы  нет.  Для  наглядности,  потоки  обмена  информации  в  объединенной  системе,  нами  показаны  на  рис.  3.

Алгоритм  работы  веб-приложения  «Рейтинг  вузов  России»,  по  нашему  мнению,  прост  и  понятен.  Раз  в  год  или  в  другое  время,  определив  фактические  величины  показателей,  все  вузы  в  одно  время,  вводят  их  в  определенном  порядке  в  СО,  а  результаты  —  ВКО  и  уровень  эффективности  по  эл.  почте  направляются  на  эл.  почту  веб-приложения  «Рейтинг  вузов  России»,  где  на  одной  из  веб-страничек  системы  все  вузы  выстраиваются  в  два  списка  исходя  из  ВКО  и  уровня  эффективности  либо  неэффективности.  Данные  списков,  на  сайте  Минобрнауки  РФ,  будут  иметь  открытый  доступ  и  каждый  желающий,  не  зависимо  от  его  места  нахождения  по  интернету  может  с  ним  ознакомиться

 

Рисунок  3.  Схема  потоков  обмена  информацией  в  объединенной  системе

 

Подобная  система  могла  бы  облегчить  работу  Министерства  образования  и  науки  РФ  по  мониторингу  за  качеством  образования  и  эффективностью  деятельности  всех  вузов  России.  Через  неё  Министерство  образования  и  науки  РФ  могло  бы:

1.  Контролировать  состояние  качества  образования  и  эффективности  деятельности  вузов  дистанционно  в  режиме  текущего  времени.

2.  В  автоматическом  режиме,  дистанционно,  устанавливать  пороговые  величины  показателей  (стандарты).  Также,  приводить  систему  в  состояние,  требуемое  временем,  путем  изменения,  дополнения  или  исключения  направлений  деятельности,  показателей  и  величин  их  качества.

3.  По  определенному  системой  алгоритму,  выстроит  все  вузы  России,  по  убыванию,  исходя  из  величин  качества  образования  и  уровней  эффективности  либо  неэффективности  их  деятельности.

При  использовании  объединенной  системы  отпадет  необходимость  в  ежегодном  проведении  мониторингов  деятельности  вузов  на  предмет  их  эффективности,  что  снизит  затраты  на  эти  цели  и  повысит  эффективность  управления  качеством  высшего  образования  в  России.

Предложенная  МСО  не  является  идеальной,  но  имеется  возможность  доведения  её  до  приемлемого  варианта.  Она  проста,  понятна,  востребована  в  образовании  и  практически  реализуема  через  создание  веб.  приложения  и  открытии  портала  на  сайте  вузов  под  названием  «Система  оценки  качества  образования». 

Модель  интегральной  оценки  качества  образования  и  эффективности  деятельности  вуза,  исходя  из  множества  величин  количественных  и  качественных  показателей,  одним  числом  в  процентном  выражении  с  отображением  данных  на  одной  диаграмме  новая  и  представлена  впервые.  Она  может  быть  использована  любым  типом  вуза  (Институт;  Академия;  Университет),  техническим  или  гуманитарным,  государственным  или  негосударственным.  Поэтому  она  может  быть  общей  системой  для  всех  вузов,  и  использована  для  массового  внедрения  в  вузы  России.

Предложены  новый  подход  к  интеграции  отдельных  показателей  деятельности  вуза,  новый  подход  интегральной  оценки  качества  образования  и  эффективности  деятельности  вуза,  новый  подход  оценки  (рейтинга)  эффективности  (неэффективности)  деятельности  вуза,  которые  могут  быть  применимы  и  к  другим  организациям. 

 

Список  литературы:

1.Данилова  С.В.  Балльно-рейтинговая  методика  оценки  конкурентоспособности  вузов.  Вестник  СамГУ.  —  2013.  —  №  4  (105)  —  С.  19—26.

2.Качество  образования  в  Пермском  государственном  техническом  университете.  Критериальная  модель  управления  качеством  образования  [Электронный  ресурс]  —  Режим  доступа.  —  URL:  http://www.bologna.ntf.ru/DswMedia/case_quality_pstu_app5.pdf  (дата  обращения  10.01.  2015). 

3.Михальченкова  Н.А.  Формирование  системы  образовательной  организации  на  основе  интеграции  моделей  гарантии  качества  образования:  автореферат  …  кандидата  экономических  наук:  08.00.05.  ―  Тамбов,  —  2007.  [Электронный  ресурс]  —  Режим  доступа.  —  URL:  http://www.dissercat.com/content/formirovanie-sistemy-kachestva-obrazovatelnoi-organizatsii-na-osnove-integratsii-modelei-gar  (дата  обращения  19.01.2015).

4.Ниязова  М.В.  Формирование  системы  оценочных  показателей  предпринимательской  деятельности  вуза.  автореферат  …  кандидата  экономических  наук:  08.00.05.  ―  Астрахань,  —  2003.  [Электронный  ресурс]  —  Режим  доступа.  —  URL:  http://economy-lib.com/formirovanie-sistemy-otsenochnyh-pokazateley-predprinimatelskoy-deyatelnosti-vuza  (дата  обращения  19.01.2015).

5.Оболяева  Н.М.  Сравнительная  оценка  моделей  качества  образования.  Перспективы  науки  и  образования.  —  2014.  —  №  3(9).  —  С.  43—46.

6.Российский  союз  ректоров  подготовил  концепцию  создания  национального  рейтинга  вузов.  [Электронный  ресурс]  —  Режим  доступа.  —  URL:  http://www.ug.ru/news/15050  (дата  обращения  12.05.2015).

7.Расчет  и  анализ  показателей  государственной  аккредитации  [Электронный  ресурс]  —  Режим  доступа.  —  URL:  dmq.spbstu.ruindex.php?option=com…download&gid  (  дата  обращения  20.04.2015  г).

8.Рябова  С.В.  Мониторинг  качества  образования  как  базовый  элемент  системы  управления  вузом:  автореферат  …  кандидата  экономических  наук:  08.00.05.  ―  М.,  —  2013.  [Электронный  ресурс]  —  Режим  доступа.  —  URL:  http://discollection.ru/article/22112013_151136_rjabova/3  (дата  обращения  14.04.2015).

9.Система  менеджмента  качества  АГТУ  [Электронный  ресурс]  —  Режим  доступа.  —  URL:  http://www.astu.org/pages/show/445  (дата  обращения  22.08.2014).

10.Сироткин  Г.В.  Недостатки  современных  систем  менеджмента  качества  и  возможный  способ  их  устранения  //  Г.В.  Сироткин  //  «Прикаспийский  журнал:  управление  и  высокие  технологии».  —  2013.  —  №  1  (21).  —  С.  145—150.

11.Сироткин  Г.В.  Новая  структура  системы  оценки  качества  образования  и  эффективности  деятельности  для  любого  типа  вуза  в  целом.  //  Инновации  в  науке:  сборник  статей  по  материалам  XLIV  международная  научно-практическая  конференция  (Новосибирск,  27  мая  2015  г.).  2015.  —  С.  68—82.

12.Сироткин  Г.В.  Сценарная  модель  ядра  новой  системы  управления  качеством  образования  вуза  в  целом  //  «Естественные  и  математические  науки  в  современном  мире»:  сборник  статей  по  материалам  XX  международной  научно-практической  конференции.  (Новосибирск,  02  июля  2014  г.).  —  2014.  —  №  20.  —  С.  6—17.

13.Сироткин  Г.В.  Элементы  новой  системы  управления  качеством  образования,  оценки  качества  образования  и  эффективности  любого  типа  вуза  //  Технические  науки  –  от  теории  к  практике:  сборник  статей  по  материалам  XXVI  международной  научно-практической  конференции  (Новосибирск,  2  октября  2013  г.).  —  2013.  —  №  26.  —  С.  43—50.

14.Штырова  И.А.  Мониторинг  качества  вузовского  дополнительного  образования  на  основе  интегрированных  показателей:  автореферат  …  кандидата  технических  наук:  05.13.10.  Астрахань,  —  2014.  [Электронный  ресурс]  —  Режим  доступа.  —  URL:  http://www.astu.org/Content/UserImages/informcentr_astu/диссертация%20ШтыроваИАpdf.pdf  (дата  обращения  20.04.2015).

Проголосовать за статью
Дипломы участников
У данной статьи нет
дипломов

Оставить комментарий