Статья Ю.К. Орлова, Ю.И. Холодного

[Казаков Владимир]

Это преинтересное суждение. Особенно про «грубейшую ошибку». Кстати, это известный пример, который приводит Джеймс Хессет в своей книге «Введение в психофизиологию» (стр. 169) о том, как в 70-х годах в США в некоторых случаях применяются стат. методы:
«Чтобы выяснить вопрос об эффективности детекции лжи, было проведено очень много исследований. Результаты их зависели от того, кто проводил исследование и как определяли понятие «успех». Рассмотрим следующий пример. Предположим, что в краже подозревают 100 человек. Все сто прошли тестирование на детекторе лжи, и все сто оказались, по-видимому, невиновными. В соответствии со статистикой, используемой в некоторых из таких работ, это означало бы успех метода в 99% случаев, поскольку 99 человек из 100 действительно невиновны. Таким образом, утверждение о 99%-ной эффективности метода будет сделано, несмотря на то что полиграфер ничем не помог выявить того единственного человека, который совершил преступление (Orne et al., 1972)».

Каков механизм влияния формата теста на его чувствительность и специфичность?

Хессет как раз и привёл пример того, что бывает если пренебрегать правилами и использовать статистику не разбираясь в ней.
Во времена моего обучения в одном из ВУЗов одна из доцентов проводила научное исследование и хотела по анализу слюны определить уровень стресса (ориентируясь на подготовленность студентов к занятию). За достаточно короткий срок каждый студент должен был набрать пробирочку своей слюны) Если этого не происходило, то студент подвергался репрессии. Студенты были не глупее препода и стали кто как может стимулировать выработку слюны леденцами, лимоном и т.д. и т.п., а то и разбавлять слюну физраствором до нужного объёма. Тётка собрала статистический материал, обработала его и получила исследование, тиснула работу в сборник трудов института, вписала себе её в научные заслуги. Вот только отношение других коллег к работе было не очень. Так что не будем путать статистику адекватную с псевдостатистикой.

Относительно форматов тестов посмотрите статистику по полевым применениям тестов. Там как раз указывается сколько было вынесено правильных решений и в каком количестве случаев были допущены ошибки 1-го рода, а в каком - 2-го рода. Соотношение этих ошибок как раз и зависит от чувствительности и специфичности теста определённого формата. В связи с тем, что от формата теста зависят эти критерии, ряд зонных тестов имеет отнюдь не симметричные границы принятия решения. Мы имеем дело с психикой человека и от формата теста и введения вопросов зависит очень многое.