Home » ЕРГОНОМІЧНІ ПРИНЦИПИ ВИЗНАЧЕННЯ ПСИХІЧНОЇ РОБОЧОЇ НАВАНТАГИ Частина 3. Принципи і вимоги, що стосуються методів вимірювання та оцінювання ДСТУ EN ISO 10075-3: (EN ISO 10075-3:2004, IDT; ISO 10075-3:2004, IDT) (Опубліковано 07.08.2017 року)

ЕРГОНОМІЧНІ ПРИНЦИПИ ВИЗНАЧЕННЯ ПСИХІЧНОЇ РОБОЧОЇ НАВАНТАГИ Частина 3. Принципи і вимоги, що стосуються методів вимірювання та оцінювання ДСТУ EN ISO 10075-3: (EN ISO 10075-3:2004, IDT; ISO 10075-3:2004, IDT) (Опубліковано 07.08.2017 року)

10075-3 Вступ         ДСТУ EN ISO 10075-3

НАЦІОНАЛЬНИЙ СТАНДАРТ УКРАЇНИ

 

ЕРГОНОМІЧНІ  ПРИНЦИПИ ВИЗНАЧЕННЯ  ПСИХІЧНОЇ РОБОЧОЇ НАВАНТАГИ

Частина 3. Принципи і вимоги, що стосуються методів вимірювання та оцінювання

ERGONOMIC PRINCIPLES RELATED TO MENTAL WORKLOAD

Part 3. Principles and requirements concerning methods for

measuring and assessing mental workload

 

Чинний від________

1 СФЕРА ЗАСТОСУВАННЯ

Цей стандарт встановлює принципи та вимоги для вимірювання та оцінювання психічної робочої навантаги та визначає вимоги до вимірювальних інструментів. У цьому стандарті надано інформацію щодо вибору відповідних методів та інформацію щодо аспектів оцінювання та
вимірювання психічної робочої навантаги для поліпшення комунікації між залученими у ці процеси сторонами.

Цей стандарт призначено для використання переважно спеціалістами в сфері ергономіки, наприклад, психологами, фахівцями з охорони праці та/або фізіологами, що мають відповідну теоретичну підготовку і досвід використання подібних методик, а також інтерпретації їх результатів. В стандарті подано інформацію, необхідну під час розроблення чи аналізу методів оцінювання психічної робочої навантаги. Інші фахівці, наприклад роботодавці, службовці та їхні представники, системні менеджери та проектувальники, а також представники органів державної влади можуть знайти корисну інформацію для орієнтування у сфері оцінювання та вимірювання психічної робочої навантаги, наприклад стосовно доступних методів, критеріїв, релевантних під час оцінювання вимірювальних інструментів, та інформацію, яку вони мають отримати та вивчити під час вирішення, який   інструмент буде придатним в їхньому випадку і який може бути використано.

Видання офіційне

Примітка. Для отримання додаткової інформації користувачам, які не є фахівцями,  буде підготовлено технічний звіт щодо термінології та використання цього стандарту.

У цьому стандарті надано інформацію, на ґрунті якої можна здійснити добре продуманий вибір відповідного методу в різних ситуаціях. Є велика кількість різноманітних методів, прийнятних для різних цілей, ситуацій та різних рівнів точності. Існує потреба в ефективних та продуктивних методах вимірювання. Інформація, надана в цьому стандарті, дозволить користувачам оцінювати найбільш прийнятний підхід для конкретного вимірювання.

Відповідність положенням цього стандарту забезпечують вимогами до документації.

2 НОРМАТИВНІ ПОСИЛАННЯ

Наведені нижче нормативні документи необхідні для застосування цього стандарту. У разі датованих посилань застосовують тільки наведені видання. У разі недатованих посилань потрібно користуватись останнім виданням нормативних документів (разом зі змінами).

ISO 6385:2004 Ergonomic principles in the design of work systems

ISO 10075:1991[1]) Ergonomic principles related to mental workload — General terms and definitions

ISO 10075-2:1996 Ergonomic principles related to mental workload — Part 2: Design principles.

НАЦІОНАЛЬНЕ ПОЯСНЕННЯ

ISO 6385:2004 Ергономічні принципи проектування робочих систем

ISO 10075:1991 Ергономічні  принципи визначення психічної робочої навантаги. Основні терміни та визначення

ISO 10075-2:1996 Ергономічні  принципи визначення психічної робочої навантаги. Частина 2. Принципи проектування.

 

3 ТЕРМІНИ ТА ВИЗНАЧЕННЯ ПОНЯТЬ

[1]) Після перероблення цей міжнародний стандарт отримав номер 10075-1.

 

У цьому стандарті вжито терміни, наведені в ISO 6385, ISO 10075, ISO 10075-2, а також такі.

3.1 об’єктивність (objectivity)

Ступінь, в якому результати, отримані за допомогою певного інструмента, не залежать від особи, яка застосовує інструмент, проводить аналіз та інтерпретацію даних

3.2 достовірність (reliability)

Ступінь точності, в якому метод або інструмент спроможні вимірювати те, що вони вимірюють.

Примітка. Достовірність можна охарактеризувати однорідністю, сталістю чи стабільністю вимірювань, або у випадку декількох оцінювачів – взаємною достовірністю. Достовірність тісно пов’язана з узагальненістю.

3.2.1 однорідність (homogeneity)

Ступінь, в якому вимірюють одну й ту саму характеристику за всіма частинами чи розділами вимірювальної процедури

3.2.2 сталість (consistency)

Ступінь, в якому різні частини або аналогічні види вимірювальних інструментів дають ідентичні результати, наприклад у разі поділу шкали на декілька частин або застосування декількох аналогічних видів інструментів

3.2.3 стабільність (stability)

Ступінь, в якому повторення процедури вимірювання (зазвичай відкладене за часом)  призводить до однакових результатів

3.2.4 взаємна достовірність (inter-rater-reliability)

Ступінь, в якому декілька фахівців одержують однакові результати у разі вимірювання однакових характеристик

 

3.3 валідність (validity)

Ступінь, в якому метод або інструмент спроможні виміряти те, що вони призначені вимірювати.

Примітка. Валідність оцінюють  за допомогою одночасної валідації (наприклад, узгодженням результатів з результатами одночасно застосовуваної відомої процедури вимірювання призначеного параметра), валідації за критерієм (наприклад, установленням відношення до відповідного критерію) або факторної валідності (наприклад, демонструючи процедуру вимірювання конкретного параметра об’єкта).

3.4 чутливість (sensitivity)

Ступінь, в якому метод або інструмент спроможні розрізняти різні ступені об’єкта вимірювання, наприклад різні ступені психічної напруги чи втоми

3.5 діагностичність (diagnosticity)

Ступінь, в якому метод або інструмент спроможні розрізняти різні види чи джерела психічних робочих навантаг, наприклад перцептивні навантаги тощо, або їх наслідки, наприклад розрізняти втому, монотонність, пересичення або зменшення пильності

3.6 узагальнюваність (generalizability)

Ступінь, в якому спостережувана оцінка (одиниця вимірювання) може бути узагальнена на визначену область ситуацій (умови психічного напруження) та/або сукупність працівників

3.6.1 відносна узагальнюваність (relative generalizability)

Ступінь, в якому можна відтворювати порядок розподілу робочих навантаг/людей, наприклад від низьких до високих, (а також у рішеннях стосовно відносних позицій)

3.6.2 абсолютна узагальнюваність (absolute generalizability)

Ступінь, в якому може бути відтворено абсолютний рівень психічної напруги/перенавантаги (а також у рішеннях стосовно абсолютних величин), пов’язаний з конкретними умовами роботи/людьми без урахування напруги/перенавантаги, пов’язаної з іншими умовами/людьми.

Примітка. Додаткові пояснення стосовно узагальнюваності надано у додатку А.

3.7 прийнятність у використанні (usability)

Ступінь, у якому виріб може бутb використано певними користувачами для досягнення поставлених цілей з необхідною ефективністю, продуктивністю й задоволеністю у визначених умовах використання.

[Визначення 3.1 в ISO 9241-11]

Примітка. У цьому стандарті продуктом є інструмент.

3.8 критичні значення (critical values)

Рекомендовані критерії для оцінювання вимірюваних показників та/або прийняття рішення про помилку.

Примітка. Визначення критичних значень передбачає, що характеристики відповідного вимірювального інструменту дозволяють приймати безсумнівні рішення з високою точністю. Крім того, треба зазначати, в яких умовах дійсні критичні значення (наприклад, для вимірювань після випробування тощо)

4 ВИМІРЮВАННЯ ТА ОЦІНЮВАННЯ ПСИХІЧНОЇ РОБОЧОЇ НАВАНТАГИ

4.1 Загальні принципи

Психічна робоча навантага складне, неоднозначне поняття, тому її вимірювання та оцінювання не може бути виконано за єдиною процедурою. Не існує одного найкращого способу оцінювання психічної робочої навантаги, оскільки найбільш прийнятний спосіб оцінювання чи вимірювання буде залежати від мети, яка може потребувати оцінювання різних аспектів психічної навантаги, використання різних методів і різного ступеня точності вимірювання.

Отже, модель оцінювання робочої навантаги, яку використано в цьому стандарті, має тривимірну структуру. Вона враховує:

різні аспекти психічної робочої навантаги, наприклад психічну напругу, психічну перенавантагу, психічну втому тощо;

різні методи вимірювання, наприклад аналіз завдання, оцінювання ефективності, суб’єктивне оцінювання, психофізіологічні вимірювання;

різні ступені точності, наприклад орієнтовне, перевірочне або точне вимірювання.

Згідно з вимогами ISO 10075 треба розрізнювати такі аспекти психічної навантаги: психічну напругу, психічну перенавантагу і наслідки психічної навантаги для людини. Тобто оцінювання та вимірювання мають враховувати різні стадії процесу «напруга-перенавантага-вплив»:

— оцінювання робочих умов, що створюють психічну напругу, як під час розроблення, так й під час оцінювання проекту робочої системи;

— оцінювання та вимірювання психічної перенавантаги, спричиненої психічною напругою, наприклад для оцінювання переносимості перенавантаги;

— вимірювання наслідків навантаги працівника, наприклад втоми, монотонності, пересичення або зниження пильності, –

які можуть вплинути на його здоров’я та безпеку, добробут, продуктивність та продуктивність праці.

Для різних цілей можуть знадобитися різні методи та/або різні ступені точності, наприклад аналіз ризиків шкідливих технологій на відміну від опитування з метою надання загального огляду різних робочих систем. Цей стандарт не встановлює, який рівень точності слід використовувати, оскільки це визначають мета та умови вимірювання, залежно, наприклад, від юридичних вимог або узгоджених правил або міркувань щодо витрат.

Методи вимірювання та оцінювання психічної робочої навантаги, незалежно від використовуваної методики, класифіковані цим стандартом згідно з трьома рівнями точності, тобто низьким, середнім та високим:

— рівень 1: для точного вимірювання. Метою оцінювання психічної робочої навантаги на цьому рівні є отримання достовірної обґрунтованої інформації щодо характеру джерела перенавантаги з метою оптимізації умов роботи. Методи оцінювання на цьому рівні, швидше за все, можуть застосовувати лише фахівці, наприклад психологи, ергономісти, спеціалісти з охорони праці та/або фізіологи, з відповідним навчанням щодо їхнього теоретичного обґрунтування, використання, а також інтерпретації результатів.

— рівень 2: для цілей перевірки Цей рівень є проміжним рівнем точності вимірювань, його найчастіше використовують для перевірки, яка потребує більшої точності, ніж орієнтовне вимірювання, наприклад, у тому разі, якщо можна передбачити проблеми психічної робочої навантаги чи треба визначити причини невідповідної робочої навантаги. Процедури, що використовують на цьому рівні, мають більш високу надійність та експериментально підтверджену достовірність, щоб визначити на їх ґрунті, чи слід вжити коригувальних заходів.

— рівень 3: для орієнтовних цілей. Методи на цьому рівні дозволяють користувачеві збирати інформацію щодо психічної робочої навантаги з низьким рівнем точності. Вони надають загальну інформацію щодо умов праці, суб’єктивного та психофізіологічного стану працівника стосовно психічної навантаги з помірною ресурсомісткостю. Інформація на цьому рівні повинна дозволяти запобігати негативним впливам, прийманням управлінських рішень на робочому рівні, змінюючи, наприклад, робочі завдання та/або методи та умови. Вимірювання на цьому рівні, як правило, обмежено орієнтовними оцінками, які, наприклад стосуються приблизних заходів (з помірним рівнем надійності, валідності тощо) аналізу завдань, суб’єктивного оцінювання прийнятності умов праці та особистих станів, що стосуються всіх аспектів психічної робочої навантаги.

Вказуючи рівень точності інструменту, потрібно зазначати об’єкт вимірювання. Треба вказувати, чи об’єктом вимірювання є людина, чи характеристика стану. Якщо передбачуваним об’єктом вимірювання є люди, треба оцінювати і визначати психометричні властивості людини. Якщо передбачуваним об’єктом вимірювання є характеристики стану, психометричні властивості мають стосуватися умов оцінювання. Більш докладно це буде продемонстровано під час розгляду випробування узагальнюваності (див. 4.2.7).

Вказуючи рівень точності інструмента, потрібно також установити відмінності залежно від того, чи треба проводити вимірювання на основі одиночної оцінки/спостереження, чи усереднених оцінок/спостережень.

Всі процедури оцінювання неминуче мають помилку вимірювання, яка може бути зменшена усередненням кількості оцінок/спостережень. Інструмент, який відповідає вимогам до орієнтовного рівня для одиночних оцінок/спостережень, може досягти вимог до перевірочного рівня для усереднених оцінок/спостережень, якщо використано достатню кількість оцінювань. Отже, має бути зазначено необхідну кількість оцінок/спостережень для досягнення більш високого рівня точності.

У разі оцінювання тих характеристик, щодо яких потрібна валідність (наприклад, психічна втома чи монотонність), інструмент, який використовують для оцінювання психічної навантаги, повинен мати експериментально підтверджену валідність  і чітко зазначені сфери вимірювань. Якщо інструмент використовують для вимірювання декількох характеристик,
документація з валідності повинна містити підтвердження для кожної сфери вимірювання.

Для оцінювання психічної навантаги використовують різні методи, причому деякі методи є більш придатними у деяких сферах вимірювань, ніж інші. Зокрема, можна застосовувати такі методи:

— фізіологічні вимірювання: ці методи забезпечують інформацію щодо фізіологічного стану працівників у заданих робочих умовах;

— суб’єктивне шкалювання: ці методи надають інформацію щодо суб’єктивного оцінювання працівниками різних аспектів психічної навантаги на робочих місцях, використовуючи, наприклад,  психометричні шкали, та їхніх умов праці;

— оцінка експлуатаційних характеристик: ці методи дають можливість оцінити психічні і психомоторні характеристики людини за заданих робочих умов, наприклад для того, щоб оцінити зменшення чи зміни експлуатаційних характеристик через наслідки психічної навантаги;

— аналіз роботи і завдання: за цими методами оцінюють елементи робочого завдання, фізичні та психосоціальні умови праці, умови навколишнього середовища та організацію робочого процесу як джерел психічної навантаги.

Для досягнення різних рівнів достовірності потрібні різні методи, наприклад для орієнтовного рівня вимірювання може бути достатнім короткий опитувальник, тоді як для перевірки того, чи не призведе проект системи до монотонності праці, для цієї мети будуть потрібні шкали з достатнім рівнем достовірності щодо цього питання. Для захисту критичних щодо безпечності чи небезпечних систем від будь-яких негативних наслідків психічної робочої навантаги потрібно застосування найвищих ступенів достовірності та валідності інструментів. Якщо такі інструменти недоступні, їх потрібно розробити. У разі їх відсутності використовують методи з найвищими психометричними критеріями. Точність не визначається лише методикою вимірювання, але й технічним розвитком, психометричними властивостями й адекватним застосуванням методу чи інструменту.

Якщо необхідно використовувати методи вимірювання, які не відповідають вимогам, потрібні спеціальні знання в галузі психічної навантаги та її вимірювання, щоб:

— оцінити ризики, пов’язані з використанням менш досконалого інструменту;

— досягти чіткої оцінки результатів.

Проте на вибір відповідного інструменту також впливатимуть юридичні вимоги чи узгоджені правила, а також міркування витрат.

 

4.2. Вимоги до процедур

4.2.1 Загальні положення

Оцінювання об’єктивності, достовірності, валідності, чутливості та діагностичності методу вимірювання може бути здійснена будь-яким прийнятним і науково обґрунтованим методом. Цей стандарт не вказує найкращого способу дотримання цієї процедури. Проте чітко встановлює стратегію, використовувану для оцінювання психометричних властивостей методів вимірювання, яку потрібно застосовувати для того, щоб оцінити адекватність обраної процедури та досягнутих результатів. Фактично, процедура валідації буде залежати від прийнятої моделі вимірювання, наприклад ймовірнісна модель вимірювання потребує імовірнісної психометрії, тоді як підхід узагальнюваності вимагає оцінювання компонента дисперсії та розрахунку коефіцієнтів узагальнення (див. 4.2.7). Немає одного найкращого способу оцінювання психометричних властивостей, оскільки він частково залежать від принципів, що лежать в основі побудови інструмента. Проте підхід узагальнюваності дозволяє застосовувати ефективні та продуктивні процедури оцінювання параметрів  об’єктивності, достовірності, валідності, чутливості та діагностичності з використанням розумних зусиль. У будь-якому випадку процедури повинні бути встановлені таким чином, щоб забезпечити повторення оцінки психометричних властивостей.

4.2.2 Об’єктивність

Під час документування об’єктивності методу вимірювання слід надавати свідчення, що особа, яка проводить оцінювання або вимірювання, не впливає на оцінки/спостереження. Цього досягають призначенням більше ніж двох користувачів, що виконують вимірювання за цим методом, та дослідженням отриманих даних за методом адекватного дисперсійного аналізу (ANOVA) для визначення основного впливу чи взаємного впливу користувачів. Результати мають довести, що такого впливу не існує, та, відповідно, що розрахункові компоненти дисперсії істотно не відхиляються від 0. Під час перевірки наявності таких впливів потрібно забезпечити врахування будь-якого фактично існуючого впливу особи, що проводить оцінювання/вимірювання. Тому ймовірність помилки β встановлюють не менше ніж 0,05, а ймовірність помилки α – ​​не менше ніж 0,20. Якщо вплив особи, яка виконує оцінювання/вимірювання, не можна відкинути, метод вимірювання не вважають об’єктивним.

4.2.3 Достовірність

Достовірність можна оцінити за кореляційними методами з робітниками та/чи станами в якості об’єктів вимірювання, відносне розташування яких (у межах їх групи населення або генеральної сукупності) має бути надійно відтворено.

Коефіцієнти кореляції не дають інформації щодо відмінностей між групами даних на абсолютному рівні. Таку інформацію можна отримати за допомогою методів ANOVA, які також дозволяють розраховувати коефіцієнти узгодженості, наприклад через внутрішньокласові коефіцієнти кореляції. Обчислення, наприклад, взаємної достовірності оцінок для контрольного переліку може призвести до високої кореляції, якщо експерти погоджуються в їхніх відносних рішеннях і, таким чином, до позитивних оцінок достовірності, хоча ці експерти можуть істотно суперечити один одному під час оцінювання абсолютних значень. Використання підходу ANOVA призводить до тієї самої кореляції, але показує взаємозв’язок між оцінками.

Однорідність та/або сталість вимірювального інструменту зазвичай оцінюють за міжелементною кореляцією чи кореляцією між частинами у цілому, або за кореляцією між еквівалентними формами методу вимірювання. Точні моделі вимірювання можуть потребувати точніших випробовувань, наприклад аналізування шкалограм. Факторний аналіз лінійних вимірювань можна використовувати для встановлення однорідності інструменту.

4.2.4 Валідність

Валідність процедури вимірювання потрібно довести паралельною валідацією з іншою процедурою з експериментально підтвердженою валідністю  для призначеного використання. Якщо такі процедури недоступні, валідність доводять (квазі-) експериментально, змінюючи умови/завдання, що вимагае вимірювань явищ/впливів, – наприклад, змінюючи величину робочої напруги, що призводить до зміни ступеня втоми, якщо втома є об’єктом вимірювання. У цьому випадку потрібно змінювати інтенсивність робочої напруги (наприклад, складність виконання завдання) і тривалість її впливу – проста зміна лише інтенсивності або тривалості не достатня для демонстрації валідності. Для створення додаткових впливів чи впливу взаємодії разом із достатнім часом
завдання потрібно використовувати придатний набір завдань (як у робочих, так і в лабораторних умовах).

Примітка. Такі набори придатних завдань можна знайти в AGARD[1]) STRES (Standardized task set for research on environmental stressors) [1], або CTS (Criterion Task Set) [4]. Якщо сферою вимірювання є вплив емоційної напруги чи перенавантаги, для демонстрації валідності вимірювання можуть бути використані групи з різним ступенем емоційної робочої напруги.

4.2.5 Чутливість

Чутливість інструменту має бути продемонстрована відтворенням експериментально контрольованих змін психічної робочої навантаги стосовно інтенсивності, тривалості та їхньої взаємодії, наприклад кількості питань, що їх запам’ятовують, кількість розумових операцій, які потрібно виконати, чи обмежень часу, за яких треба виконувати завдання. У робочих умовах ці зміни роблять обранням умов, які можуть бути продемонстровані чи були оцінені кількома експертами з високим ступенем узгодженості щодо різних ступенів психічної робочої напруги.

Оцінки, які використовуватимуться у дослідженні чутливості, мають відповідати передбачуваним умовам використання вимірювального інструменту.

4.2.6 Діагностичність

Діагностичність інструменту треба демонструвати шляхом розрізнення різних видів психічних робочих навантаг, наприклад, в сфері наслідків психічної навантаги – втоми, монотонності, пересичення і зменшення пильності. Те саме стосується вимог до конкретних робочих умов чи до робочої напруги. Експериментальне випробування діагностичності можна виконати зміною умов, а в робочих умовах – вибором відомих умов, які призводять до різних видів психологічної напруги, наприклад умов, виявлених за методами аналізу завдань
або узгодженої оцінки фахівців, знайомих із завданням.
Види робочої навантаги, які використовують під час  дослідження діагностики, мають відповідати передбачуваним умовам використання вимірювального інструменту.

4.2.7. Узагальнюваність

Якщо використовують підхід узагальнюваності, його має бути продемонстровано за допомогою експериментального чи квазіекспериментального метода, в лабораторії та/або в робочих умовах, із змінами умов, що репрезентують варіації в області вимірювання (наприклад, велика кількість значень психічної робочої напруги), а також  умов, які, як відомо, сприяють появі відповідної похибки вимірювань, наприклад, часу доби, групи населення, умов поперед навантаженням, досвіду роботи. Оцінювання узагальнюваності зазвичай передбачає оцінювання дисперсії компонентів за допомогою дисперсійного аналізу залежно від структурної моделі оцінок, наприклад її
розчленуванням на різні джерела варіації. Таким чином, модель вимірювання повинна заздалегідь визначити, що слід вважати помилкою та яка цільова дисперсія. Тоді коефіцієнт узагальнюваності розраховують відношенням цільової дисперсії до відповідної дисперсії помилки.

4.2.8 Прийнятність до використання

4.2.8.1 Загальні положення

Методи вимірювання мають бути ефективними та продуктивними, а також задовольняти потреби користувача, тобто досягти очікуваного рівня точності у запланованій сфері вимірювання з мінімальними зусиллями або вимогами до компетенції та забезпечувати бажані результати.

4.2.8.2 Ефективність

Ефективність вимірювального інструменту визначається його психометричними властивостями, особливо достовірністю, валідністю, чутливістю та діагностичністю.

4.2.8.3 Продуктивність

Продуктивність процедури вимірювання є відносним поняттям, залежним від ефективності та зусиль, необхідних для проведення вимірювань, аналізу та інтерпретації результатів. Таким чином, процедури вимірювання з порівняною ефективністю треба порівнювати відповідно до зусиль, необхідних для проведення вимірювання за допомогою цих процедур. Таким чином, загальні кількісні вимоги не можуть бути визначені.

4.2.8.4 Задоволеність

На додаток до ефективності та продуктивності процедура вимірювання має відповідати вимогам користувачів. Скарги на процедуру вимірювання є показником невдоволення, тоді як відсутність скарг необов’язково можна тлумачити як задоволення. Таким чином, важливо оцінювати процедури вимірювання відповідно до вимог користувачів і документувати результати з метою покращення вимірювального інструменту. Проте кількісні вимоги не можна визначити, оскільки вони залежать від очікувань (різних) користувачів у різних ситуаціях.

 

4.3. Кількісні вимоги до вимірювальних інструментів

4.3.1 Загальні положення

Загалом, потрібно вибирати ті інструменти, які найкраще відповідають психометричним критеріям, встановленим у цьому стандарті для даної мети та передбачуваного призначення.

4.3.2 Вимоги до об’єктивності

Результати вимірювання не мають містити будь-які значимі наслідки діяльності особи, яка аналізує та звітує щодо оцінювання. Це має бути продемонстровано на стадії валідації, наприклад, за допомогою аналізу дисперсії, в результаті якого основний вплив чи вплив взаємодії експертів не буде знайдено.

4.3.3 Вимоги до достовірності

Значення коефіцієнтів достовірності чи коефіцієнтів сталості (наприклад, α для однорідності або кореляція між паралельними формами сталості, як визначено Кронбахом) для різних рівнів вимірювання мають бути не менше ніж наведено в таблиці 1.

Таблиця 1 — Кількісні вимоги до процедур вимірювання для різних рівнів точності з використанням класичних теоретичних підходів до вимірювання

Рівень точності Об’єктив-ність Достовір-ність Валідність Чутливість Діагностич-ність
1 — для точного вимірювання Не впливає ≥ 0,9 ≥ 0,5 ≥ 5 рівнів < 0,10
2  -для перевірки Не впливає ≥ 0,8 ≥ 0,4 ≥ 3 рівнів < 0,20
2  -для орієнтовного вимірювання Не впливає ≥ 0,7 ≥ 0,3 ≥ 2 рівнів < 0,40

 

Примітка. Вимога до достовірності 0,7 (виміряної за коефіцієнтом кореляції) приблизно відповідає пропорції 50% похибки та 50% цільової дисперсії, яку встановлюють у якості вимоги до мінімальної достовірності процедури вимірювання.

Для оцінювання взаємної достовірності потрібні ті самі величини, що й для сталої достовірності.

[1]) AGARD: Advisory Group for Aerospace Research and Development.

Сталість залежить від інтервалу часу між вимірюваннями та наслідками/результатами. Таким чином, сталість між вимірюваннями у сусідніх інтервалах часу має бути порівняною з вищезазначеними вимогами до однорідності та сталості за винятком суб’єктивного шкалювання, де ці вимоги потрібні тільки для паралельних форм).

4.3.4 Вимоги до валідності

У разі паралельної валідації (тобто у разі декількох незалежних паралельних вимірювань, наприклад, за двома різними психометричними шкалами) має бути досягнуто коефіцієнтів валідності, наведених в таблиці 1. Ці значення стосуються вимірювань на одній стадії процесу «напруга-перенавантага-вплив» (див. ISO 10075) та одним видом вимірювальної техніки.

Обчислення коефіцієнтів валідності на всіх стадіях процесу «напруга-перенавантага-вплив» є формою прогностичної валідності і, як правило, призводить до зниження коефіцієнтів валідності, ніж у разі обчислення на одній стадії. Однак при цьому застосовують однакові межі для застосування валідації.

Якщо для багаторозмірного інструменту заявляють факторну валідність, потрібно, щоб кореляція між коефіцієнтами/шкалами коефіцієнтів валідності становила <0,4.

Якщо заявляють валідність на декількох стадіях процесу «напруга-перенавантага-вплив», її повинно бути продемонстровано на всіх цих стадіях з наданням окремих оцінок валідності.

         4.3.5 Вимоги до чутливості

За допомогою методів вимірювання потрібно максимально розрізняти різні ступені робочої навантаги на призначеній ділянці процесу «напруга-перенавантага-вплив», див., наприклад, різні ступені складності завдання в CTS [4] чи в сукупності критеріїв  AGARD STRES [1], а не тільки екстремальні стани.

Підвищення кількості рівнів передбачуваної ділянки вимірювання, які можна розрізнити за процедурою, призводить до підвищення чутливості (тобто більша чутливість дозволить диференціювати більше станів). У таблиці 1 надано кількість рівнів, які потрібно розрізнювати на кожному рівні точності.

4.3.6 Вимоги до діагностичності

За допомогою методів вимірювання потрібно мати можливість розрізняти різні джерела робочої напруги та різні
види впливу психічної навантаги, наприклад різні завдання за сукупністю критеріїв AGARD STRES. Таким чином, має бути встановлено конкретну процедура вимірювання для передбачуваної ділянки вимірювання, яка не має залежати від інших ділянок.

Кореляції з іншими ділянками вимірювання (наприклад, втоми з пересиченням) мають бути настільки низькими, наскільки це можливо. Кореляції > 0,40 вказують на суттєве перекриття і, отже, брак діагностичності. У таблиці 1 надано кореляції, необхідні на кожному рівні точності.

Для демонстрації діагностичності інструмент потрібно застосовувати в ситуаціях з різними видами навантаги (наприклад, різні види стану напруги, різні види наслідків) і треба показати, що інструмент
зазначає лише ті аспекти робочої навантаги, для вимірювання яких його призначено.

Добре відомою процедурою демонстрації діагностичності є багатофункційний підхід, за якого декілька методів вимірювань застосовують до багатьох ділянок вимірювання, а діагностичність
проявляється більш високими значеннями кореляції в межах одної ділянки вимірювання, ніж між різними.

 

 

4.3.7 Вимоги до узагальнюваності

Якщо використано G-теоретичний підхід, дослідження узагальнюваності (G-дослідження) мають бути максимально репрезентативними для передбачуваних умов використання, тобто всі умови, які можуть бути актуальними в контексті вимірювань, у дослідженні треба надати, щоб мати змогу оцінити відповідні відхили помилок і, отже, загальну узагальнюваність цільової оцінки.

Достовірність G-виду вимагає високої узагальнюваності узагальненої оцінки з урахуванням різних умов вимірювання (наприклад, часу вимірювання, вимірюваних зразків, повторень). Таким чином, G-коефіцієнти для узагальненої оцінки, які надано в таблиці 2, мають бути досягнуто для рівнів від 3 до 1 відповідно. Паралельна валідація з використанням різних методів, призначених для вимірювання одного і того самого об’єкта відповідно до G-виду, вимагає демонстрації високих коефіцієнтів навантаг всіх інструментів для об’єкта вимірювання (узагальненої та/або змішаної оцінки) під час багатовимірного аналізу. У разі використання строго експериментального підходу валідність конструкції може бути продемонстровано високими G-коефіцієнтами. G-коефіцієнти, яких для цього треба досягти, надано в таблиці 2.

Таблиця 2 — Кількісні вимоги до процедур вимірювання для різних рівнів точності з використанням G-теоретичного підходу

 

 

Рівень точності

G-коефіцієнти
Об’єктив-ність Достовір-ність Валідність Чутливість Діагностич-ність
1 — для точного вимірювання 0 ≥ 0,9 ≥ 0,9 ≥ 5 рівнів ≥ 0,90
2 — для перевірки 0 ≥ 0,8 ≥ 0,8 ≥ 3 рівнів ≥ 0,80
2 — для орієнтовного вимірювання 0 ≥ 0,7 ≥ 0,7 ≥ 2 рівнів ≥ 0,70

 

Для демонстрації чутливості потрібно виділити кілька рівнів, як наведено у таблиці 2. Це потребує високого рівня узагальнюваності на всіх рівнях, що підлягають виділенню. Крім того, треба продемонструвати, що всі рівні можна достовірно відділити (тільки не ектремальні, де потрібно виділити більше ніж два рівня) поданням 95% довірчого інтервалу для кожного рівня.

Для демонстрації діагностичності вимірювальний інструмент потрібно застосовувати в декількох ситуаціях або в експериментальних умовах, що відповідно відрізняються за конкретним видом навантаги. Якщо вимірювальний інструмент застосовують в ситуаціях або в експериментальних умовах, пов’язаних з видом робочої навантаги, для вимірювання якої його призначено,  треба застосовувати G-коефіцієнти,
зазначені в таблиці 2. Якщо інструмент застосовують за інших
умов, G-коефіцієнти повинні бути суттєво нижчими (наприклад, близькими до 0). У разі проектування за кількома методами та використання
багатовимірного аналізування має бути досягнуто високі коефіцієнти навантаги на передбачуваних ділянках вимірювання для всіх
інструментів, призначених і спроможних для вимірювання на цих ділянках, тоді як навантаги, близькі до 0, мають бути досягнуто для
інструментів, призначених для вимірювання на інших ділянках, а також для досліджень інструментів на ділянках, не призначених для вимірювання.

4.3.8 Звід кількісних вимог

У таблиці 1 наведено звід кількісних вимог з використанням класичних теоретичних підходів до випробувань, а в таблиці 2 цю інформацію надано для G-теоретичного підходу.

Якщо інструменти, що відповідають цим критеріям, поки не доступні, їх потрібно розробити. До тих пір треба використовувати методи з найвищими прийнятними психометричними критеріями (див. 4.1). У будь-якому випадку інструменти з достовірністю < 0,5 використовувати взагалі не треба.

Примітка. Вимоги, наведені в таблиці 1 і таблиці 2, не поширюються на оцінювання ризиків.

 

4.4 Bимоги до  документації

4.4.1. Вимоги до документації щодо розроблення інструментів для вимірювання психічної робочої навантаги

Документація щодо розроблення інструментів, призначених для вимірювання психічної робочої навантаги, має містити таку інформацію:

— рік розроблення;

— ім’я та організація розробника;

— передбачувана ділянка вимірювання (наприклад, психічна напруга, психічна перенавантага, психічна втома, див. ISO 10075);

— рівень точності інструменту та критерії достовірності, валідності, чутливості та діагностичності;

— теоретичні основи вимірювального підходу;

— групи населення/умови/ділянки, для яких призначено вимірювання;

— групи населення/умови/ділянки, для яких було визначено психометричні критерії;

— психометричні властивості інструменту, наприклад достовірность, валіідність, коефіцієнти узагальнюваності;

— тривалість періодів роботи та відпочинку (і порядок їхньої послідовності), які було використано для визначення валідності;

— вимоги/обмеження щодо умов, за яких проводиться вимірювання;

— вимоги/обмеження стосовно обладнання, яке потрібно використовувати;

— вимоги/обмеження щодо підготовки та кваліфікації персоналу, що здійснює вимірювання (наприклад, психолог, ергономіст, фізіолог, керівний персонал, фахівці з охорони праці тощо);

— довідкові стандарти, якщо такі є, стосовно груп населення, завдань або сукупності умов;

— процедури/умови, яких потрібно дотримуватися під час виконання вимірювань;

— процедури/умови, яких потрібно дотримуватися під час аналізування даних;

— процедури/умови, яких потрібно дотримуватися під час інтерпретування даних;

— оцінювання витрат (часу, людей, устатковання), необхідних для проведення вимірювання;

— показник отриманих відповідей в анкетах під час дослідження;

— опис процедури розробки, включаючи результати аналізу оцінок ефективності інструмента та задоволеності користувачів;

— інформацію, потрібну для заповнення контрольного переліку, що наведено у додатку B;

4.4.2. Вимоги до звітної документації щодо вимірювання та оцінювання психічної робочої навантаги

Звіт щодо вимірювання повинен містити таку інформацію:

— мета вимірювання;

— опис вимірювальних інструментів [включаючи короткий опис теоретичного матеріалу,
ділянки вимірювання (наприклад, психічна напруга, психічна перенавантага, психічна втома), рівень точності];

— ім’я та офіційна посада особи, відповідальної за проведення вимірювань;

— дата і час вимірювання;

— кількість, вік, стать та досвід учасників або працівників, яких використано у вимірюваннях, коли об’єктом вимірювань є робочі умови (опис випробовувань);

— опис відповідей та репрезентативність групи (груп), що брала(ли) участь в опитуваннях;

— заходи, що вживаються для забезпечення об’єктивності процедури вимірювання;

— заходи, спрямовані на захист анонімності/конфіденційності (якщо це застосовано);

— заходи, прийняті для досягнення поінформованої згоди на участь в дослідженнях;

— контрольний перелік, заповнений згідно з додатком В;

— опис процедури вимірювання;

— опис умов робочої навантаги (робоче місце, завдання тощо);

— обмеження щодо вимірювання;

— коментарі учасників або працівників;

— специфіка під час вимірювання;

— опис результатів, за можливості для кожного інструмента;

— обговорення та інтерпретація результатів та висновків стосовно подальших дій;

— підпис і дата.

 

ДОДАТОК А

(довідковий)

ДОДАТКОВА ІНФОРМАЦІЯ СТОСОВНО УЗАГАЛЬНЮВАНОСТІ

 

Узагальнюваність полягає в достовірності, з якою вимірювання можна узагальнити для застосування до групи населення та/або до однієї або декількох сукупностей умов. Сукупність має містити всі ті умови, для яких вимірювання вважають релевантними (наприклад, різні години доби, різні варіанти конструкції дисплея), а також репрезентативну вибірку умов, які визначені конструкцією робочого місця. Як правило, для прийняття рішення про якість конструкції робочого місця або про необхідність здійснення коригувальних заходів в якості інструменту чи методу використовують оцінювання. Можливі два види рішень, а саме, відносні та абсолютні рішення. Відносні рішення передбачають порівняльне аналізування, наприклад, різних компонувальних схем. У цьому разі рішення базують на відносному ставленні до варіантів конструкції чи на їх рейтингу. Це означає, що рішення щодо того, наскільки кращим є варіант конструкції відносно інших, встановлюють за відносним підхидом. Якщо варіантів конструкції не існує, це означає, що є лише одне рішення, і це рішення встановлюють на основі абсолютного рівня її оцінок. Отже за абсолютним підхидом розглядають рішення про те, наскільки добре, наприклад, розроблено робоче місце з урахуванням психічної робочої навантаги незалежно від інших варіантів проекту. Теорія узагальнюваності встановлює два подібних достовірності коефіцієнта, що описують точність кожного виду рішення, а саме:

а)           – відносний G-коефіцієнт;

  1. b) Φ або    – абсолютний G-коефіцієнт.

G-коефіцієнти описують точність, з якою можна узагальнити оцінку спостереження від вибіркового вимірювання до сукупност вимірювань.

Теорія узагальнюваності перевищує класичну теорію випробувань завдяки:

а) можливості розгляду декількох джерел помилок вимірювання;

  1. b) можливості розгляду систематичних компонентів помилок вимірювання;

с) можливости застосування коефіцієнтів достовірності, пристосованих до передбачуваного використання вимірювань;

  1. d) можливості розрізнення між відносними та абсолютними рішеннями.

Крім того, багато вищезазначених параметрів, таких як внутрішня сталість, стабільність чи об’єктивність, можуть бути визначені в рамках одного дослідження, якщо використати відповідну конструкцію, включаючи, наприклад, зразки та засоби вимірювання, а також осіб, що проводять вимірювання в якості чинників випробуваня. Аналогічно, теорію узагальнювальності може бути застосовано для дослідження чутливості та діагностичності вимірювального інструменту, починаючи з експериментальної установки, з урахуваннм різних видів та рівнів робочої навантаги.

 

 

 

ДОДАТОК В

(довідковий)

КОНТРОЛЬНИЙ ПЕРЕЛІК ДЛЯ ВИБОРУ ІНСТРУМЕНТА

 

Контрольний перелік, наведений у таблиці B.1, може надати допомогу у прийнятті обґрунтованого рішення щодо вибору інструмента.

Перелік заповнюють інформацією, що стосується інструментів, отриманою з посібників чи публікацій. Обводять відповідні вимоги та перевіряють, чи виконані вони. Якщо немає кількісних вимог, перевіряють придатність інструмента для призначеної цілі вимірювання.

Таблиця B.1 — Контрольний перелік для вибору інструмента

Об’єкт Підпункт

ISO 10075-3

Вимога до точності Виконання вимог Не засто-совно При-мітка
рівня 1 рівня 2 рівня 3 Так Ні
1 Класична теорія випробувань
1.1 Об’єктивність 4.3.2 Немає вливу Немає вливу Немає вливу
1.2 Достовірність 4.3.3 ≥ 0,9 ≥ 0,8 ≥ 0,7
1.3 Валідність 4.3.4 ≥ 0,5 ≥ 0,4 ≥ 0,3
1.4 Чутливість 4.3.5 ≥ 5 рівнів ≥ 3 рівнів ≥ 2 рівнів
1.5 Діагностичність 4.3.6 < 0,10 < 0,20 < 0,40
2 Узагальнюваність 4.3.7
2.1 Об’єктивність 0 0 0
2.2 Достовірність ≥ 0,9 ≥ 0,8 ≥ 0,7
2.3 Валідність ≥ 0,9 ≥ 0,8 ≥ 0,7
2.4 Чутливість ≥ 5 рівнів ≥ 3 рівнів ≥ 2 рівнів
2.5 Діагностичність ≥ 0,90 ≥ 0,80 ≥ 0,70
3 Прийнятність до використання 4.2.8
3.1 Ефективність 4.2.8.2
3.2 Продуктивність 4.2.8.3
3.3 Задоволеність 4.2.8.4

 

 

БІБЛІОГРАФІЯ

 

1 AGARD, Human performance assessment methods, AGARD-AGARDograph-308, Neuilly sur Seine:NATO-AGARD, 1989

2 BRENNAN, R. L., Generalizability theory, New York: Springer, 2001

3 CROCKER, L., & ALGINA, J., Introduction to classical and modern test theory. Chicago, Ill.: Holt, Rinehart and Winston, 1986

4 Shingeldecker, C.A., A task battery for applied human performance assessment research. AFAMRL

5 Technical Report 84-071; Dayton: Air Force Aerospace Medical Research Laboratory, 1984

5 ISO 9241-11:1998 Ergonomic requirements for office work with visual display terminals (VDTs) — Part 11: Guidance on usability

 

 

 

 

 

 

 

 

 

 

 

 

13.180

Ключові слова: ергономіка,  інструменти, методи вимірювання, оцінювання, процедури, принципи та вимоги, психічна робоча навантага

 

 

 

 

Голова ТК 121,

директор УкрНДІ ДЕ,

керівник розробки                                                                     В.О. Свірко                       

 

 

Виконавець, снс                                                              А.Л. Рубцов

Страницы