Как проверить эффективность?

[Eclipse]

Интересная статья. Сама тема уже обсуждалась, но ничто не мешает систематизировать еще раз)

http://neveev.livejournal.com/59876.html

 

 

 

Мне часто пишут с просьбой подтвердить или опровергнуть эффективность того или иного метода, той или иной психотерапии, того или иного тренинга, тех или иных рецептов, советов. В подавляющем большинстве случаев я отвечаю, что эффективность отсутствует или не подтверждена (в наших условиях это означает, опять-таки, что эффективность отсутствует).

Но я – кандидат наук, человек, который имеет большой опыт оценки различных рецептов счастья, алхимических манускриптов и плясок охоты. А что делать обывателю?

Прежде всего, нужно понять, что обыватель не может проверить эффективность работы того или иного метода на собственном опыте. Бесполезно вести дневник испытаний, проводить некие эксперименты.

Вы просто не сможете обеспечить двойной слепой метод, не сможете обработать полученные данные современными математико-статистическими методами, и много еще чего вы не сможете. Так что пытаться проверять метод своими силами – это все равно, что пытаться увидеть кратеры на луне без телескопа, или клетки помидора без микроскопа.

Подтвердить эффективность того или иного метода может только эксперимент, рандомизированное контролируемое испытание (РКИ) – randomized controlled trial. Провести такое ни обыватель, ни, в большинстве случаев, даже сам создатель метода просто не в состоянии. Поэтому максимум, что может сделать обыватель, – это поискать научные статьи, в которых описано РКИ, в котором проверялась эффективность интересующего метода.

И тем более вы не сможете убедиться в неэффективности метода, если вы становитесь членом группы людей, которые в эффективность этого метода верят. Между прочим, продавцы всяких неэффективных методов активно используют этот момент вступления в группу и принятия ее системы значений, представлений, заклиная: «не судите о методе, пока не попробовали! не судите о методе, пока его не освоили!»

Помните, сектанты могут поверить не только в действенность какого-то метода, но и реально увидеть корабль пришельцев в хвосте кометы (это реальный случай, произошедший с сектой «Небесные Врата», члены которой совершили массовое самоубийство в 1997 году).

Итак, если вы стали искать статьи, в которых описаны исследования, проверяющие эффективность метода, возможны два варианта.

1. Если такие статьи отсутствуют, вывод должен быть однозначным: метод неэффективен. Никакие отзывы потребителей, никакое количество этих потребителей, никакие патенты, никакие авторитетность и рукопожатность автора метода эффективность этого метода не подтверждают. Есть масса примеров, когда откровенное шаманство потребляло множество людей, все были счастливы, но метод на самом деле не работал.

Нужно навсегда усвоить, что никто не может открыть, изобрести действующий метод в отрыве от научной проверки. Намного выше вероятность того, что такой изобретатель и сам себя обманет, и потребителей этого метода введет в заблуждение. Слишком много существует механизмов, которые заставят изобретателя увидеть божий дар там, где в действительности – лишь яичница, иногда еще и испорченная.

2. Если такие статьи присутствуют, то это тоже не панацея. Необходимо оценить качество исследования, описанного в статье. И вот тут может понадобиться помощь специалиста, поскольку оценить качество эксперимента может только достаточно хорошо подготовленный человек, имеющий специальное образование, в крайнем случае – скептик-энтузиаст, который постоянно такого рода исследования оценивает.

Причем анализировать, конечно, нужно не только эксперимент, но и сам метод, эффективность которого проверяется. Если он построен на ненаучных, иррациональных, мистических, интуитивистских, субъективистских посылках, предположениях, аксиомах, то, по сути, не имеет значения, что там показывают исследования.

Например, в случае гештальт-психотерапии можно найти статьи, в которых подтверждается ее эффективность. Но достаточно почитать книги создателя этой психотерапии – Перлза, чтобы понять, что в случае гештальт-терапии мы имеем дело с эзотерическим учением в стиле Нью Эйдж и не более того.

Я думаю, что среди северных народов, верящих в шаманство, эффективность многих шаманских методов тоже будет превышать эффект плацебо. В этом смысле я не вижу никакой необходимости в такой науке, как парапсихология – это просто бессмысленное расходование ресурсов, на мой взгляд.

И не надо бояться, что скептицизм замедлит развитие науки: наука будет развиваться и без веры в паранормальные способности или иррациональные рецепты, поскольку развитие науки – это закономерный процесс. И сдержать его можно лишь на какое-то время и лишь на какой-то территории.

Итак, поймите, что нет никаких волшебных палочек, хитрых обходных путей, чудодейственных методов. Нет и никому не известных изобретателей/открывателей, которые каким-то чудом обогнали свое время и без применения научных методов додумались, как вас осчастливить. Действенные методы не висят в изобилии на ветках, и открыть такой метод не так-то просто. Наиболее эффективные методы поставляла, поставляет и будет поставлять наука, научные методы получения фактов, проникновения в суть и раскрытия истины.

 

 

 

[Вадимыч]

ну и статистика думаю может помочь, правда человеку "с улицы" она, увы, недоступна, тк непонятно где искать.

 

например, про упомянутый выше гештальт: в одном Питере есть 3 института - филиал МГИ, СПИГ и ещё один не помню как называется, что-то вроде евроазиатского инст. гештальта.

Не скажу за МГИ и 3й, но в СПИГе каждый год выпускается порядка 50 человек. Думаю в 2х остальных в сумме - столько же, итого давайте примем что 100 человек в год. Существуют эти образовательные учереждения уже 20 лет. Итого - минимум 2000 выпускников, что для Питера немало, согласитесь.

Если бы там была лажа неэффективная - думаю врядли всё это направление существовало бы столько времени.

 

или "любимый" тут Лайфспринг.

Только мне известно в Питере 4 центра которые регулярно проводят Лидерские программы.

В среднем - на базовом курсе бывает 30 человек, до лидерки доходят ну пусть 15. Курс полностью длится 3 месяца.
Итого 15*4 = 60 * 4 = 240 человек в год.
Учитывая что появились эти тренинги в Питере в начале 2000х, это порядка 3000 выпускников за 10+ лет.

Если бы там действительно была секта с переписыванием квартир-машин - ну не поверю что не всплыло бы за такой срок.

[SSN23]

Если бы там была лажа неэффективная - думаю врядли всё это направление существовало бы столько времени.

 

или "любимый" тут Лайфспринг.

...

Если бы там действительно была секта с переписыванием квартир-машин - ну не поверю что не всплыло бы за такой срок.

1. Ну вот МММ существует до сих пор. Лажа - да. Эффективная - безусловно.

2. А если там секта без переписывания квартир/машин?

[Michek]

Ну Вадимыч утрирует, т.к. он уже месяц доказывает, что Лайфспринг и Синтон милые организации :)

[Fraxinus Mandshurica]

А еще существует неописуемо большой рынок услуг по обучению астрологии.

Тезис о том, что много людей обучается гештальту, натолкнул меня на мысль о том, что в нашем обществе верить во что-либо недоказуемое является статистически скорее нормой, чем отклонением. Википедия говорит, что в России число атеистов не превышает 25% (по другим данным -- 5%). Я прошу прощения за некорректный анализ; понимаю, что нельзя мешать в одну кучу религию, психокульты и эзотерику. Но все равно у меня напрашивается вывод, что критическое мышление, в целом, непопулярно.

[Michek]

Конечно оно не популярно, т.к. нам еще далеко до нации индивидуалистов. Мы уже не коллективисты, но еще не индивидуалисты с их ответственностью за свое бытие.

[Eclipse]

А я думаю, среднестатистический европеец мыслит критично в не сильно большей степени, чем средний россиянин. Там просто система общественного устройства слегка отличается.

Популярность критического мышления не означает, что все станут строго индивидуалистами. Критично мыслящие и образованные люди наверняка подойдут гибко и найдут сбалансированный подход: что-то будут решать на гос уровне сообща, а что-то - индивидуально. Индивидуализм ради индивидуализма - это тоже вещь сомнительная. Индивидуалистов в крайней степени вообще по идее ничто не объединяет: а не начнется ли в таком обществе "война всех против всех", о которой рассуждал Т. Гоббс?

В западных странах (особенно в Европе) роль государства достаточна велика и коллективизм там тоже есть. Только как и роль государства, так и коллективизм там под другим углом немного. Государство помогает когда надо, но и оставляет достаточное "личное пространство". Также если посмотреть на роль профсоюзов в Европе, то тоже видно, что они могут коллективно решать вопросы, когда им надо.

 

В Россию понятие индивидуализма (в своем понимании) завезли сильно право-либеральные полит консультанты (или даже либертарианцы) из северной Америки в 90е годы. Но у себя на родине они далеко не являются политическим мейнстримом. :)

[Вадимыч]

Тезис о том, что много людей обучается гештальту, натолкнул меня на мысль о том, что в нашем обществе верить во что-либо недоказуемое является статистически скорее нормой, чем отклонением.

Странна ваша связка между гештальтом и "чем-то недоказуемым".

Это полноценное направление в психологии, со своей теоретической и методологической базой, и в моей картинке мира относить г-т к эзотерике, религии или психокульту - некорректно.

 

По поводу критичного мышления - оно невыгодно и опасно для государственной системы власти. Поэтому всячески купируется и сливается в те стороны, которые выгодны власти, в обструкцию - навроде того, что все вокруг враги но мы всех победим. Инструментов у власти предостаточно - начиная от зомбоящика и толп интернет-ботов по 30 рублей за пост, и заканчивая тем же православием и его активным насаждением начиная со школьной скамьи.

Изменено 1 декабря, 2014 пользователем Вадимыч

[Fraxinus Mandshurica]

Я не собирался нападать конкретно на гештальт. Видимо, я не совсем удачно выразился. Я вел мысль к тому, что наличие большого количества людей, которые изучают ту или иную дисциплину, к сожалению, не означает того, что она этого достойна. Гештальт, может, и достоин, не знаю.

[Eclipse]

Теория гештальта не соответствует современным данным о работе головы. )

[Сектофоб]

Теория гештальта не соответствует современным данным о работе головы. )

Да, гештальт это секта же!

[bluesky.]

Учитывая что появились эти тренинги в Питере в начале 2000х, это порядка 3000 выпускников за 10+ лет.

Если бы там действительно была секта с переписыванием квартир-машин - ну не поверю что не всплыло бы за такой срок.

 

Думаю, подобные организации живут за счет хорошо работающего вовлечения. И их относят не к сектам, а к психокультам)

[Ragna]

Теория гештальта не соответствует современным данным о работе головы. )

ну так концепция-то еще еще довоенная. Сильно повлияла на формирование современного дизайна, кстати, в Баухаусе активно юзалась. Но понятно, что многие направлениеобразующие моменты устарели. :)

А я думаю, среднестатистический европеец мыслит критично в не сильно большей степени, чем средний россиянин. Там просто система общественного устройства слегка отличается.

Популярность критического мышления не означает, что все станут строго индивидуалистами. Критично мыслящие и образованные люди наверняка подойдут гибко и найдут сбалансированный подход: что-то будут решать на гос уровне сообща, а что-то - индивидуально. Индивидуализм ради индивидуализма - это тоже вещь сомнительная. Индивидуалистов в крайней степени вообще по идее ничто не объединяет: а не начнется ли в таком обществе "война всех против всех", о которой рассуждал Т. Гоббс?

В западных странах (особенно в Европе) роль государства достаточна велика и коллективизм там тоже есть.

По-моему, концепция чистого индивидуализма в принципе несовместима с современыми знаниями о социальной психологии (в смысле, человек со здоровой психикой очень зависим от социума).

В Западной Европе лучше развита психологическая наука в целом и борьба с тоталитарными организациями, сделаны выводы из победы фашизма в Германии. Но это не значит, что у них все критически мыслят и не цветут бурным цветом гадалки, эзотерики, нетрадиционная медицина и т.п. :)

А вообще, мне все чаще кажется, что мозг человека идеально приспособлен для жизни в каком-то фэнтази-мире. Магическое мышление понятно любому, даже если человек относится к нему критически.

Ну блин, поставила пару лайков и уже исчерпала лимит. :(

[Nilsen]

 

 

А вообще, мне все чаще кажется, что мозг человека идеально приспособлен для жизни в каком-то фэнтази-мире. Магическое мышление понятно любому, даже если человек относится к нему критически.

Мозг человека, это практически мозг животного + некоторые дополнительные "фишки" ;) Не убегайте в своей фантазии далеко от голубей :)

[media]http://www.youtube.com/watch?v=RuA8CVxB4EM

[Eclipse]

Мозг человека, это практически мозг животного + некоторые дополнительные "фишки" ;) Не убегайте в своей фантазии далеко от голубей :)

Так и до "Дольников" не далеко. Они так и говорят: животное с программами. Однако же голуби не занимаются земледелием, не летают на самолетах...)

Несмотря на животное наследие, говорить о человеке как о животном в повседневной жизни все же неверно, имхо. Кто-то таким образом выдаст себе моральную индульгенцию: типа какой спрос с животного? )

[Ragna]

А вообще, мне все чаще кажется, что мозг человека идеально приспособлен для жизни в каком-то фэнтази-мире. Магическое мышление понятно любому, даже если человек относится к нему критически.

Мозг человека, это практически мозг животного + некоторые дополнительные "фишки" ;) Не убегайте в своей фантазии далеко от голубей

Человек способен на абстрактное мышление и на творческую деятельность. ;) пока нет доказательств, что другие видыы хомо имели искусство и религию. То есть способность к переосмыслению жизни через искусство и религию это, видимо, как раз специфическая черта сапиенса. А если ты не спосбен образно и творчески мыслить, ты даже до простейшей магии подобия не дотумкаешь, имхо. :)

Не увидешь связи между куклой, иголкой и больным человеком, скажем.(Я сейчас не имею ввиду недопонимания типа если человек заболел, значит в него вселился демон - на уровне знаний первобытного человека это логично, да и в общем правильно, поскольку в больного действительно 'вселились' болезнетворные микроорганизмы).

Просто ритуальная магия и ритуальное искусство (т.е на данном уровне все искусство) резко отличает хомо сапиенс не то что от голубей, а даже от неадертальцев. :)

[Nilsen]

 

Мозг человека, это практически мозг животного + некоторые дополнительные "фишки" ;) Не убегайте в своей фантазии далеко от голубей :)

Так и до "Дольников" не далеко. Они так и говорят: животное с программами. Однако же голуби не занимаются земледелием, не летают на самолетах...)

Несмотря на животное наследие, говорить о человеке как о животном в повседневной жизни все же неверно, имхо. Кто-то таким образом выдаст себе моральную индульгенцию: типа какой спрос с животного? )

 

Эко Вас занесло :)

Я немного о другом и не столь радикально, человек безусловно животное и имеет массу поведенческих паттернов основанных на древнем животном мозге. Наше магическое мышление, на мой взгляд, сродни голубиному "мышлению" в том смысле, что мы точно также, как и голуби или любые другие животные, иррационально строим причинно-следственные связи, мы легко конструируем метафизические обоснования, возможно эти "связи" в нашем неокортексе образуются по средствам рационализации, т.к. без объяснения и создания нейронной структуры на реальность мы попросту не можем, насколько эта связь объективна реальности - это уже другой вопрос. И да, это мое имхо, так скажем гипотезирование.

И да, моральная индульгенция, на мой взгляд, притянута тут "за уши", ибо у социальных животных спрос идет от социальности, а не от статуса "животности". :) 

Ну и еще одно небольшое видео:

[media]http://www.youtube.com/watch?v=GQcN7lHSD5Y

[Nilsen]

 

 

А вообще, мне все чаще кажется, что мозг человека идеально приспособлен для жизни в каком-то фэнтази-мире. Магическое мышление понятно любому, даже если человек относится к нему критически.

Мозг человека, это практически мозг животного + некоторые дополнительные "фишки" ;) Не убегайте в своей фантазии далеко от голубей

Человек способен на абстрактное мышление и на творческую деятельность. ;) пока нет доказательств, что другие видыы хомо имели искусство и религию. То есть способность к переосмыслению жизни через искусство и религию это, видимо, как раз специфическая черта сапиенса. А если ты не спосбен образно и творчески мыслить, ты даже до простейшей магии подобия не дотумкаешь, имхо. :)

Ну я бы не был столь категоричен относительно homo, много раскопок ведется, новые данные поступают каждый год, те же Денисовцы. Также бы не позиционировал данный вопрос в формате, что либо абстрактное мышление есть, либо его нет. Скорее я бы сказал о выраженности и способности к подобному мышлению - создание неандертальцем копья - это творчество и абстрактное мышление или же нет? а умение обезьян подбирать себе необходимый камень для раскола ореха? Чуть-чуть еще здесь. Потому я не ставлю четкую демаркационную линию между человеком и животными, мы такие же животные, и чем больше я изучаю животных, особенно социальных, тем больше я вижу сходство, на эволюционном промежутке, мы получили свои "физиологические особенности" буквально секунду назад от создания Вселенной. :)

[Eclipse]

А что Денисовцы? Да, были некоторые параллельные ветви, а остался только homo sapiens. Гены денисовского человека частично сохранились только у каких-то малых и экзотичных народов.

Никто же не отрицает эволюцию и происхождение человека, но и отличие homo sapiens от других существующих видов достаточно большое. 

 

Я просто не пойму, в чем смысл не проводить "четкую демаркацию". 

[Eclipse]

 

И да, моральная индульгенция, на мой взгляд, притянута тут "за уши", ибо у социальных животных спрос идет от социальности, а не от статуса "животности". :) 

 

Так индульгенцию можно выдать и на общественном уровне. Есть же общества на земле, где порядки достаточно звериные. )