ИНФОРМАЦИОННАЯ БЕЗОПАСНОСТЬ КАК СОЦИОТЕХНИЧЕСКАЯ СИСТЕМА: УЯЗВИМОСТЬ ЧЕЛОВЕЧЕСКОГО ФАКТОРА В КОНТУРЕ УПРАВЛЕНИЯ

INFORMATION SECURITY AS A SOCIO-TECHNICAL SYSTEM: THE VULNERABILITY OF THE HUMAN FACTOR IN THE CONTROL LOOP

Pchelintsev Igor Viktorovich

Postgraduate, Moscow State Linguistic University,

Russia, Moscow

АННОТАЦИЯ

Целью работы является обоснование необходимости перехода к адаптивным архитектурам защиты в условиях таргетированной эксплуатации когнитивных уязвимостей операторов. С использованием системно-теоретического анализа (STAMP-Sec) и моделирования цикла OODA доказана методологическая несостоятельность концепции «Человек в контуре» (HITL), провоцирующей алгоритмическую зависимость. В результате обоснован архитектурный сдвиг к парадигме «Человек над контуром» (HOTL) с делегированием тактического реагирования автономному Агентному ИИ.

ABSTRACT

The aim of this work is to justify the need to transition to adaptive security architectures in the context of targeted exploitation of operators’ cognitive vulnerabilities. Using systems-theoretical analysis (STAMP-Sec) and OODA loop modeling, the methodological inconsistency of the “Human-in-the-Loop” (HITL) concept, which provokes algorithmic dependence, has been demonstrated. As a result, an architectural shift toward the “Human Over the Loop” (HOTL) paradigm is justified, with tactical response delegated to autonomous Agent AI.

Ключевые слова: информационная безопасность; социотехнические системы; человеческий фактор; когнитивная уязвимость; адаптивная защита; цикл OODA; Human-on-the-Loop.

Keywords: information security; socio-technical systems; human factor; cognitive vulnerability; adaptive defense; OODA loop; Human-on-the-Loop.

Эпистемологический сдвиг в парадигме кибербезопасности

Эволюция индустриальной парадигмы фундаментально переопределила характер взаимодействия между человеком, аппаратными комплексами и алгоритмической средой. В современной архитектуре обеспечения информационной безопасности традиционный техноцентричный подход, рассматривающий вычислительные сети, маршрутизаторы и криптографические протоколы как изолированные технические артефакты, демонстрирует прогрессирующую методологическую несостоятельность. В рамках устаревшей парадигмы человеческий компонент воспринимался исследователями и инженерами исключительно как «слабое звено», что приводило к систематическому игнорированию когнитивных характеристик, эргономических потребностей и психологических мотиваций конечных пользователей [1].

Наблюдаемый в настоящее время эпистемологический сдвиг требует строгой концептуализации информационной безопасности как сложной социотехнической системы (СТС). Социотехническая система представляет собой тесно связанную, динамичную сеть, в которой технические компоненты непрерывно и нелинейно взаимодействуют с социальными сущностями, образуя единую экосистему [2]. С математической точки зрения социотехническая сеть может быть формализована как объединение множеств вершин и ребер: , где технические и человеческие элементы связаны коммуникационными и управляющими потоками [2]. Киберустойчивость в таких условиях перестает быть статичным свойством отдельного программного модуля и трактуется как динамическая способность, развивающаяся во времени и зависящая от того, насколько гармонично интегрированы человеческие агенты в контуры управления цифровыми рисками. В условиях, когда злоумышленники целенаправленно переносят вектор атак с эксплуатации уязвимостей программного кода на область когнитивного манипулирования, уязвимость человеческого фактора становится центральной проблемой проектирования отказоустойчивых систем [3].

Когнитивные уязвимости и предвзятости в архитектуре безопасности

Функционирование современных центров мониторинга информационной безопасности (SOC) сопряжено с обработкой колоссальных массивов разрозненной телеметрии. Аналитики вынуждены коррелировать срабатывания систем защиты, оценивать поведение потенциального противника и рекомендовать меры реагирования в условиях хронического дефицита времени и эпистемической неопределенности. Подобная среда выступает идеальным катализатором для активации глубоких когнитивных искажений, которые присущи человеческой психике и не могут быть устранены исключительно путем административного регулирования [4].

Исследования в области поведенческой психологии и науки о принятии решений выделяют две фундаментальные предвзятости, критически влияющие на процессы кибербезопасности: эффект привязки и предвзятость подтверждения [4]. Эффект привязки проявляется в том, что оператор системы безопасности чрезмерно полагается на первую поступившую информацию. Например, если автоматизированная система первичной сортировки классифицирует инцидент как «низкоприоритетный», аналитик с высокой долей вероятности проигнорирует последующие телеметрические данные, указывающие на эскалацию угрозы [4]. Предвзятость подтверждения, в свою очередь, заставляет специалистов интерпретировать сетевые аномалии таким образом, чтобы они соответствовали их первоначальной гипотезе, бессознательно отбрасывая факты, свидетельствующие о реализации сложной целевой атаки (APT) [4].

Помимо когнитивных искажений, разрушительное воздействие на контур управления оказывает информационная перегрузка и профессиональное выгорание. Постоянный стресс снижает качество принимаемых решений, что ведет к пренебрежению правилами безопасности ради ускорения выполнения рутинных задач [3]. Злоумышленники активно используют данные феномены, инициируя атаки социальной инженерии, направленные на провоцирование человеческих ошибок. Инсайдерские угрозы, возникающие как следствие халатности или когнитивной перегрузки, требуют многоуровневого подхода, сочетающего технический контроль с пониманием психологического базиса сотрудников.

Таблица 1.

Влияние когнитивных факторов на уязвимость контура управления

Трансформация цикла управления: сжатие OODA и машинное ускорение

Для глубокого научного понимания уязвимости человека в контуре управления необходимо обратиться к классической модели принятия тактических решений — циклу OODA (Observe, Orient, Decide, Act — Наблюдение, Ориентация, Решение, Действие), разработанному Джоном Бойдом [6]. В традиционной парадигме кибербезопасности аналитик SOC наблюдает телеметрические данные, ориентируется в контексте инцидента на основе своей подготовки и текущей картины угроз, принимает обоснованное решение и реализует контрмеру. Фундаментальный принцип цикла гласит: сторона, способная осуществлять итерации быстрее и точнее противника, захватывает инициативу, вынуждая оппонента действовать исключительно реактивно [6].

Однако интеграция больших языковых моделей (LLM) и алгоритмов Агентного ИИ в наступательные арсеналы злоумышленников привела к беспрецедентному сжатию цикла OODA. Современные киберпреступники автоматизируют этапы разведки, социальной инженерии и эксплуатации уязвимостей на скоростях, принципиально недоступных человеческому когнитивному аппарату [7].

В ответ на это защитные системы также форсированно внедряют искусственный интеллект, что порождает критический парадокс. Когда искусственный интеллект сжимает цикл OODA до машинных скоростей, присутствие человека в прямом контуре управления перестает быть фактором надежности и трансформируется в системное «бутылочное горлышко». Более того, на этапе «Ориентации» аналитик все чаще вынужден полагаться на контекст, сгенерированный машиной. В ситуации, когда скорость изменения цифровой среды превышает биологическую скорость осмысления, человек-оператор деградирует до роли номинального проверяющего, одобряющего машинные решения без возможности их глубокой независимой верификации [7]. Скорость без осмысленного суждения становится самостоятельной угрозой, подрывающей устойчивость социотехнической архитектуры [7].

Таблица 2.

Системные уязвимости ввиду влияния интеграции LLM на этапах цикла OODA

Системно-теоретическое моделирование инцидентов: Методология STAMP-Sec

Классические подходы к анализу рисков информационной безопасности исторически выстраивались на основе линейных моделей причинно-следственных связей. Однако в сложных социотехнических системах катастрофические инциденты происходят не только вследствие дискретного отказа отдельных компонентов, но и из-за непредвиденного, эмерджентного взаимодействия между ними, даже если каждый технический узел функционирует в соответствии со спецификацией [9]. Для преодоления этого фундаментального методологического пробела в инженерную практику был внедрен системно-теоретический подход STAMP (Systems-Theoretic Accident Model and Processes), концептуально адаптированный для задач кибербезопасности как STAMP-Sec (или STPA-Sec) [10].

Методология STAMP-Sec реализуется через строгий, формализованный алгоритм:

1) Определение системных угроз и формулирование жестких ограничений безопасности, которые система не должна нарушать ни при каких обстоятельствах [11].

2) Проектирование статической структуры управления, предназначенной для предотвращения угроз, с последующим назначением ограничений конкретным системным компонентам [11].

3) Идентификация неадекватных управляющих воздействий (Inadequate Control Actions, UCA), способных перевести СТС в небезопасное состояние. Анализ охватывает сценарии, при которых управляющее действие не выдается, выдается некорректно, слишком рано, слишком поздно или останавливается преждевременно [10].

4) Анализ причин нарушения ограничений с применением методов системной динамики для математического и логического моделирования процессов деградации структуры контроля с течением времени под влиянием человеческих факторов, организационной усталости или давления бизнес-показателей [11].

Применение методологии STAMP-Sec позволяет вскрыть глубокие социотехнические условия возникновения инцидентов. Например, ретроспективный анализ масштабной утечки данных из сети корпорации Target (2013/2014 гг.) через призму STAMP продемонстрировал, что первопричиной стала не просто техническая уязвимость биллинговой системы, а каскад организационных отказов: неадекватная внутренняя коммуникация относительно новых векторов угроз, отсутствие проактивного управления безопасностью, неспособность к обучению на прошлых инцидентах и критически неэффективный контроль над цепочкой поставок подрядчиков [12].

Важнейшим преимуществом STAMP-Sec является возможность включения ментальной модели человека-оператора в контур анализа. Если субъективная ментальная модель оператора (формируемая на этапе «Ориентации» в цикле OODA) рассинхронизирована с фактическим состоянием киберфизической системы, он неизбежно сгенерирует неадекватное управляющее воздействие [9]. Злоумышленники используют методы социальной инженерии именно для того, чтобы целенаправленно исказить эту ментальную модель, заставляя легитимного пользователя воспринимать компрометирующее действие (например, отключение протоколов аутентификации или открытие вредоносного канала) как необходимое и алгоритмически правильное [9].

Для предотвращения деградации социотехнических контуров управления организациям необходимо переходить от поверхностного исправления ошибок к внедрению концепции трехконтурного обучения [13]. Практика показывает, что симуляционные учения и кибер-полигоны, интегрирующие человеческий фактор, способны инициировать глубокие трансформации: организация не просто переписывает локальную политику, но фундаментально переосмысливает свои базовые парадигмы, ценности и культуру безопасности, формируя долгосрочный иммунитет к манипуляциям [14].

Эволюция контура управления: от HITL к HOTL и адаптивной безопасности

Исторически, в попытках компенсировать алгоритмические «слепые зоны» искусственного интеллекта и сохранить юридическую подотчетность, индустрия ИБ массово внедряла архитектуры «Человек в контуре управления» (Human-in-the-Loop, HITL). Концепция HITL базировалась на предпосылке, что машина должна выполнять ресурсоемкие вычисления и выявлять аномалии, в то время как человек осуществляет финальную верификацию и принимает окончательное решение. На ранних этапах этот подход обеспечивал необходимый баланс между вычислительной мощностью машин и этическим, контекстуальным суждением эксперта [15].

Однако по мере усложнения систем выявились критические системные риски парадигмы HITL. Ключевой проблемой стала так называемая «самоуспокоенность при автоматизации». По мере того, как ИИ демонстрирует все большую точность, операторы подсознательно начинают безоговорочно доверять его выводам, утрачивая способность к независимой критической оценке [16]. Когда человек ежедневно подтверждает тысячи корректных машинных классификаций, его когнитивная вовлеченность стремится к нулю. В результате, если алгоритм совершает критическую ошибку или подвергается успешной состязательной атаке, оператор машинально одобряет деструктивное действие [16]. Кроме того, архитектура HITL генерирует проблему размытия ответственности и создает недопустимые операционные трудности в условиях, когда реагирование на угрозы должно исчисляться миллисекундами [16].

Сдвиг парадигмы: Human-on-the-Loop и ограниченная автономия

Осознание деструктивности иллюзорного человеческого контроля стимулирует стратегический сдвиг к архитектурам «Человек над контуром управления» (Human-on-the-Loop, HOTL). В парадигме HOTL искусственный интеллект наделяется делегированной, ограниченной автономией для самостоятельного принятия тактических решений и немедленной реализации защитных мер без ожидания подтверждения от аналитика [17].

Роль человека в HOTL претерпевает фундаментальную трансформацию: он перестает быть микроменеджером для каждой транзакции и переходит в позицию системного супервизора [17]. Человек-оператор задает стратегические ограничения, определяет границы приемлемого риска, формулирует правила эскалации и вмешивается в работу системы исключительно при обнаружении высокоуровневых аномалий или нарушении ценностных ограничений [18]. Успешная реализация HOTL требует внедрения жестких механизмов управления рисками, непрерывной калибровки доверия к ИИ и обеспечения интерпретируемости принимаемых решений, чтобы избежать каскадных сбоев инфраструктуры вследствие машинных галлюцинаций [8].

Таблица 3.

Сравнение архитектур HITL и HOTL

Обеспечение устойчивости СТС в условиях HOTL достигается за счет интеграции Агентного ИИ и передовых нейроморфных архитектур. Агентный ИИ способен функционировать на уровне когнитивного цикла, автономно рассуждая о намерениях противника, предвосхищая стратегии злоумышленников и координируя адаптивные ответные действия в распределенных средах, таких как платформы low-code/no-code [8].

Заключение

Индустриализация киберугроз, ускоренная внедрением генеративного искусственного интеллекта и автономных алгоритмических агентов, окончательно нивелировала возможность восприятия информационной безопасности как сугубо технической дисциплины. Злоумышленники все чаще избегают прямых атак на криптографические и сетевые периметры, целенаправленно смещая фокус на когнитивные уязвимости человеческого фактора, используя методы социальной инженерии и когнитивной войны для манипуляции процессом принятия решений.

Глубокий анализ через призму теории социотехнических систем [2] и методологии STAMP-Sec [10] доказывает, что уязвимость человека в контуре управления проистекает не из его абстрактной некомпетентности, а из структурных противоречий системы: информационной перегрузки, неизбежных когнитивных искажений (таких как эффект привязки) и десинхронизации ментальных моделей операторов со сверхбыстрыми алгоритмическими процессами [4]. Экстремальное сжатие цикла OODA до скоростей машинного интеллекта превращает традиционную парадигму Human-in-the-Loop в критическую угрозу, провоцирующую самоуспокоенность и алгоритмический конформизм [7].

Для обеспечения киберустойчивости в условиях нарастающей регуляторной волатильности требуется системный переход к архитектурам Human-on-the-Loop [17]. В данной парадигме интеллектуальные нейроморфные системы и Агентный ИИ берут на себя автономное тактическое реагирование, в то время как человек выполняет функции стратегического супервизора, определяющего границы допустимого риска и ценностные ограничения [18]. Синтез адаптивного управления энтропией и человекоцентричного проектирования позволяет сформировать отказоустойчивую среду, в которой технические решения гармонично компенсируют естественные ограничения человеческой психологии, обеспечивая долгосрочную защиту критически важных информационных экосистем.

Список литературы:

1. Pollini A. et al. Leveraging human factors in cybersecurity: an integrated methodological approach //Cognition, Technology & Work. – 2022. – Т. 24. – №. 2. – С. 371-390.
2. Socio-Technical Impact Modeling // Emergent Mind : сайт. – URL: https://www.emergentmind.com/topics/socio-technical-impact-modeling (дата обращения: 04.02.2026)
3. Onukwuli S. K. et al. Human-Centric Cybersecurity: The Integration of Psychological Insights and Socio-Technical Systems //INTERNATIONAL JOURNAL OF INDUSTRIAL AND PRODUCTION ENGINEERING. – 2025. – Т. 3. – №. 4. – С. 52-67.
4. Overcoming Biases in Cyber Security Problem Analysis and Decision-Making // Cybersecurity Magazine : сайт. – URL: https://cybersecurity-magazine.com/overcoming-biases-in-cyber-security-problem-analysis-and-decision-making/ (дата обращения: 06.03.2026)
5. Shabad V. Cognitive blind spots in security frameworks: From cybersecurity to AI governance //Available at SSRN 5525340. – 2025.
6. What Is the OODA Loop in Cybersecurity? A Defender’s Playbook // PacGenesis : сайт. – URL: https://pacgenesis.com/what-is-the-ooda-loop-in-cybersecurity-a-defenders-playbook/ (дата обращения: 06.03.2026)
7. How AI and Large Language Models Are Reshaping the OODA Loop // Medium : сайт. – URL: https://carolinagal14.medium.com/how-ai-and-large-language-models-are-reshaping-the-ooda-loop-76353e5098de (дата обращения: 10.04.2026)
8. Li T., Zhu Q. Agentic AI for Cyber Resilience: A New Security Paradigm and Its System-Theoretic Foundations //arXiv preprint arXiv:2512.22883. – 2025.
9. Barrett S. et al. STAMP/STPA Informed Characterization of Factors Leading to Loss of Control in AI Systems //arXiv preprint arXiv:2512.17600. – 2025.
10. Yu J., Wagner S., Luo F. Data-flow-based adaption of the system-theoretic process analysis for security (STPA-sec) //PeerJ Computer Science. – 2021. – Т. 7. – С. e362.
11. Laracy J. R. A systems-theoretic security model for large scale, complex systems applied to the US air transportation system : дис. – Massachusetts Institute of Technology, 2007.
12. Wright A., Jun G. T. Human and organisational factors in cybersecurity: applying STAMP to explore vulnerabilities. – 2019.
13. Olsborg G. B. et al. An empirical study of socio-technical information security exercises as a tool to foster organizational learning and information security readiness development in Norwegian municipalities. – 2025.
14. Khadka K., Ullah A. B. Human factors in cybersecurity: an interdisciplinary review and framework proposal: K. Khadka, AB Ullah //International Journal of Information Security. – 2025. – Т. 24. – №. 3. – С. 119.
15. Maathuis C., Cools K. Human-AI teaming co-learning in military operations //Artificial Intelligence for Security and Defence Applications III. – SPIE, 2025. – Т. 13679. – С. 336-344.
16. Human-in-the-loop security will define 2026: Predictions from Sophos experts // Sophos : сайт. – URL: https://www.sophos.com/en-us/blog/human-in-the-loop-security-will-define-2026-predictions-from-sophos-experts (дата обращения: 04.02.2026)
17. Why “Human-In-The-Loop” Is becoming a Security Risk // Medium : сайт. – URL: https://medium.com/@anaptyss/why-human-in-the-loop-is-becoming-a-security-risk-7e8311006cf5 (дата обращения: 10.04.2026)
18. Claude Mythos is Redefining the Cyberthreat Landscape // ISACA : сайт. – URL: https://www.isaca.org/resources/news-and-trends/industry-news/2026/claude-mythos-is-redefining-the-cyberthreat-landscape (дата обращения: 25.04.2026)
19. Who’s in the Loop: AI or Humans? // CYWARE : сайт. – URL: https://www.cyware.com/blog/who-is-in-the-loop-ai-or-humans (дата обращения: 12.02.2026)
20. Huang Y. et al. Application of human-in-the-loop hybrid augmented intelligence approach in security inspection system //Frontiers in Artificial Intelligence. – 2025. – Т. 8. – С. 1518850.