Статья Ю.К. Орлова, Ю.И. Холодного

[Казаков Владимир]

Это преинтересное суждение. Особенно про «грубейшую ошибку». Кстати, это известный пример, который приводит Джеймс Хессет в своей книге «Введение в психофизиологию» (стр. 169) о том, как в 70-х годах в США в некоторых случаях применяются стат. методы:
«Чтобы выяснить вопрос об эффективности детекции лжи, было проведено очень много исследований. Результаты их зависели от того, кто проводил исследование и как определяли понятие «успех». Рассмотрим следующий пример. Предположим, что в краже подозревают 100 человек. Все сто прошли тестирование на детекторе лжи, и все сто оказались, по-видимому, невиновными. В соответствии со статистикой, используемой в некоторых из таких работ, это означало бы успех метода в 99% случаев, поскольку 99 человек из 100 действительно невиновны. Таким образом, утверждение о 99%-ной эффективности метода будет сделано, несмотря на то что полиграфер ничем не помог выявить того единственного человека, который совершил преступление (Orne et al., 1972)».

Каков механизм влияния формата теста на его чувствительность и специфичность?

Хессет как раз и привёл пример того, что бывает если пренебрегать правилами и использовать статистику не разбираясь в ней.
Во времена моего обучения в одном из ВУЗов одна из доцентов проводила научное исследование и хотела по анализу слюны определить уровень стресса (ориентируясь на подготовленность студентов к занятию). За достаточно короткий срок каждый студент должен был набрать пробирочку своей слюны) Если этого не происходило, то студент подвергался репрессии. Студенты были не глупее препода и стали кто как может стимулировать выработку слюны леденцами, лимоном и т.д. и т.п., а то и разбавлять слюну физраствором до нужного объёма. Тётка собрала статистический материал, обработала его и получила исследование, тиснула работу в сборник трудов института, вписала себе её в научные заслуги. Вот только отношение других коллег к работе было не очень. Так что не будем путать статистику адекватную с псевдостатистикой.

Относительно форматов тестов посмотрите статистику по полевым применениям тестов. Там как раз указывается сколько было вынесено правильных решений и в каком количестве случаев были допущены ошибки 1-го рода, а в каком - 2-го рода. Соотношение этих ошибок как раз и зависит от чувствительности и специфичности теста определённого формата. В связи с тем, что от формата теста зависят эти критерии, ряд зонных тестов имеет отнюдь не симметричные границы принятия решения. Мы имеем дело с психикой человека и от формата теста и введения вопросов зависит очень многое.

[Iwanow R.S.]

но не сошлось - пояснил отсутствием соединения с эфиром

Ну как же без эфиру-то? Надо было предложить ему этанола, в качестве компенсации)

Хессет как раз и привёл пример того, что бывает если пренебрегать правилами и использовать статистику не разбираясь в ней.

У Хессета в данном примере вообще ничего нет про пренебрежение правилами статистики. Там статистика применена, может и излишне упрощённо, но никаких ошибок там нет. Пример, который приводит учёный о том, как статистически были обработаны некачественно полученные данные.
Это и есть мой тезис о том, что статистика играет важную, но не определяющую роль. Об этом же свидетельствует и Ваш пример с тёткой из вуза:

Во времена моего обучения в одном из ВУЗов одна из доцентов проводила научное исследование и хотела по анализу слюны определить уровень стресса (ориентируясь на подготовленность студентов к занятию). За достаточно короткий срок каждый студент должен был набрать пробирочку своей слюны) Если этого не происходило, то студент подвергался репрессии. Студенты были не глупее препода и стали кто как может стимулировать выработку слюны леденцами, лимоном и т.д. и т.п., а то и разбавлять слюну физраствором до нужного объёма. Тётка собрала статистический материал, обработала его и получила исследование, тиснула работу в сборник трудов института, вписала себе её в научные заслуги. Вот только отношение других коллег к работе было не очень. Так что не будем путать статистику адекватную с псевдостатистикой.

Никакой «псевдостатистики» не существует. Есть некорректно подготовленный эксперимент, в ходе которого были получены некорректные данные, позже обработанные с помощью самых обычный методов матстатистики.

Кстати, а зачем студенты стимулировали слюноотделение, ведь стресс тормозит его? – Уже надоевший всем пример с китайцами, жующими рис.

Относительно форматов тестов посмотрите статистику по полевым применениям тестов. Там как раз указывается сколько было вынесено правильных решений и в каком количестве случаев были допущены ошибки 1-го рода, а в каком - 2-го рода. Соотношение этих ошибок как раз и зависит от чувствительности и специфичности теста определённого формата. В связи с тем, что от формата теста зависят эти критерии, ряд зонных тестов имеет отнюдь не симметричные границы принятия решения. Мы имеем дело с психикой человека и от формата теста и введения вопросов зависит очень многое.

Спасибо, но меня интересует физиолого-психологический механизм влияния формата теста на его чувствительность и специфичность. Пока этого я нигде не встречал.

[А.Калафати]

Никакой «псевдостатистики» не существует. Есть некорректно подготовленный эксперимент, в ходе которого были получены некорректные данные, позже обработанные с помощью самых обычный методов матстатистики.

Так есть у авторов "типовой методики" корректные эксперименты по её апробации и стандартизации? Опубликованные и не секретные?

А то как-то мы всё эту тему обходим)))

[Казаков Владимир]

...в данном примере вообще ничего нет про пренебрежение правилами статистики. Там статистика применена, может и излишне упрощённо, но никаких ошибок там нет. Пример, который приводит учёный о том, как статистически были обработаны некачественно полученные данные.

Никакой «псевдостатистики» не существует. Есть некорректно подготовленный эксперимент, в ходе которого были получены некорректные данные, позже обработанные с помощью самых обычный методов матстатистики.

Кстати, а зачем студенты стимулировали слюноотделение, ведь стресс тормозит его? – Уже надоевший всем пример с китайцами, жующими рис.

Применять статистическую обработку можно лишь если она допустима. Это одно из главных правил. Статистика - это не игра с формулами. Некорректно проведённый эксперимент - это одно. А некорректно применённая статистическая обработка - это другое.

Слюна подвергалась биохимическим исследованиям, в т.ч. pH-метрии. Для проведения этих исследований даме требовалось порядка 7 - 10 мл слюны. Это на самом деле не малое количество. Попробуйте за полчаса набрать такое количество в пробирку именно слюны без пены без стимуляции или разбавления. А не наберёшь - будет реально плохо.

[Iwanow R.S.]

А то как-то мы всё эту тему обходим)))

А я думал, что это Вы так шутите)

Так есть у авторов "типовой методики" корректные эксперименты по её апробации и стандартизации? Опубликованные и не секретные?

Насколько мне известно, такая работа сейчас ведётся. Кстати, и в СК, в реальных условиях тоже могут апробировать (то, что предлагается в статье).
А чем же Вам секретные не нравятся?

Применять статистическую обработку можно лишь если она допустима. Это одно из главных правил. Статистика - это не игра с формулами. Некорректно проведённый эксперимент - это одно. А некорректно применённая статистическая обработка - это другое.

А какой смысл обсуждать некорректно применённую статистическую обработку? Это математическая ошибка, не более того. Проверяется довольно легко. И, кстати, в подавляющем большинстве случаев статистика применяется верная.
В вот когда статистика применена верно, а содержание исследования сомнительно (как со слюной в пробирках), то тут встаёт проблема гораздо более серьёзная. Такое некачественное исследование очень проблематично обнаружить. Практически не возможно.

[А.Калафати]

Насколько мне известно, такая работа сейчас ведётся. Кстати, и в СК, в реальных условиях тоже могут апробировать (то, что предлагается в статье).

Понятно. Значит пока "типовую методику" применять нельзя. Я буду очень рад, если мне представиться возможность изучить материалы проведенных исследований. Это будет серьезный шаг в развитии отечественной полиграфологии.

А чем же Вам секретные не нравятся?

А секретные методики нельзя в судах применять. Да и ссылаться на секретные статьи тоже нельзя. И обучать секретным методикам тоже нельзя. Потому и не люблю.А еще не люблю секретные методики, т.к. очень часто в секретных диссоветах защищаются кандидатские и докторские, которые в обычных диссоветах просто не пройдут.

[Iwanow R.S.]

Понятно. Значит пока "типовую методику" применять нельзя. Я буду очень рад, если мне представиться возможность изучить материалы проведенных исследований. Это будет серьезный шаг в развитии отечественной полиграфологии.

Смотря, что понимать под словом "применять". Во время апробации методика применяется. А дальше по рузультатам мероприятия.

А секретные методики нельзя в судах применять. Да и ссылаться на секретные статьи тоже нельзя. И обучать секретным методикам тоже нельзя. Потому и не люблю.А еще не люблю секретные методики, т.к. очень часто в секретных диссоветах защищаются кандидатские и докторские, которые в обычных диссоветах просто не пройдут.

Вопрос о том, что в судах нельзя, в статьях нельзя и проч., не соответствует действительности. Если не согласны, то приведите запретительный регламент.
Также Вы не имеете ни малейшего понятия, что происходит в "секретных диссоветах" и зачем они. Поэтому, то, что Вы написали, обычная хула.

[А.Калафати]

Вопрос о том, что в судах нельзя, в статьях нельзя и проч., не соответствует действительности. Если не согласны, то приведите запретительный регламент.
Также Вы не имеете ни малейшего понятия, что происходит в "секретных диссоветах" и зачем они. Поэтому, то, что Вы написали, обычная хула.

Сами спросили моё мнение, а теперь моё же мнение называете хулой.

Аргументация на уровне: "не согласны - приведите регламент" - хороша) Мне понравилось)))

Но главное мне ясно. Каких-либо опубликованных экспериментальных исследований по "типовой методике" и симптомокомплексу нет.

Вопросов больше нет.

[Алексей Николаев]

Понятно. Значит пока "типовую методику" применять нельзя.

Так не применяйте, делов то. Вам, насколько мне известно, ее никто не передавал для применения. Обучитесь у Холодного - может быть, будете применять.

Я буду очень рад, если мне представиться возможность изучить материалы проведенных исследований. Это будет серьезный шаг в развитии отечественной полиграфологии.

Безусловно, именно изучение каких-либо материалов лично А.Калафати станет серьезным шагом в развитии отечественной полиграфологии.

[Алексей Николаев]

В "Типовой методике" применяются давно апробированные в практике тесты, которыми успешно пользуются полиграфологи с 1980 - 90 хх гг., те же самые ТОЗВ и МВСЗС. По операционной части там нет ничего неапробированного в практике.