КРИТИКА РАБОТ РИЧАРДА ЛИННА
EQUALITYКритика на Линна существовала уже в первой половине 90-х. К примеру, вот здесь.
Автор показывает на нескольких примерах, что Линн крайне выборочно относится не только к источникам, которые он использует, но даже к данным внутри источников. Линн использует те данные, которые выгодны ему.
Например:
«Lynn took the Pons data from Crawford-Nutt's paper and converted the number of correct responses into a bogus average "IQ" of 75. Lynn chose to ignore the substance of Crawford-Nutt's paper, which reported that 228 black high school students in Soweto scored an average of 45 correct responses on the Matrices--HIGHER than the mean of 44 achieved by the same-age white sample on whom the test's norms had been established and well above the mean of Owen's coloured pupils.»
«Линн взял данные Pons из статьи Кроуфорд-Натт и преобразовал количество правильных ответов в фиктивный средний IQ, равный 75. Линн предпочел проигнорировать суть статьи Кроуфорд-Натт, в которой сообщалось, что 228 чернокожих школьников в Соуэто набрал в среднем 45 правильных ответов по матрицам, что выше среднего показателя в 44, полученного белой выборкой того же возраста, для которой были установлены нормы теста, и значительно выше среднего показателя цветных учеников Оуэна».
Во-первых, Линн конвертировал ответы теста в показатель IQ. А так делать попросту нельзя.
«Matrices scores, unlike IQs, are not symmetrical around their mean (no "bell curve" here). There is thus no meaningful way to convert an average of raw Matrices scores into an IQ, and no comparison with American black IQs is possible.»
«Показатели матрицы, в отличие от IQ, не симметричны относительно своего среднего значения (здесь нет «колоколообразной кривой»). Таким образом, не существует значимого способа конвертировать средние значения необработанных матриц в IQ, и никакое сравнение с IQ чернокожих американцев невозможно».
Во-вторых, как сказано в первой цитате, Линн попросту проигнорировал результаты ответов школьников, чьи средние баллы были даже выше белых школьников.
Кроме того, Линн исключил из своего анализа статьи, которые показывали более высокий средний балл чернокожих школьников, тем самым занизив полученный им конечный балл.
Также Линн использовал результаты тестов, которые имели явный культурную предвзятость, к примеру:
«The test was administered by M.L. Fick, whom Kendall, Verster, and Mollendorf call an “extreme protagonist” of the view that blacks are inherently inferior to whites. The Beta test, which was developed for illiterate recruits in the US military, shows blatant cultural bias. One question presents a picture of people playing tennis without a net; respondents are supposed to sketch in the net to get full credit. In 1930, just a year after the Beta test was given in South Africa, C.C. Brigham, who had been its leading proponent in the US, finally admitted that the test was invalid for non-Americans. Lynn does not mention this fact."»
«Тест проводил М.Л. Фик, которого Кендалл, Верстер и Моллендорф называют «крайним сторонником» точки зрения, согласно которой черные по своей сути уступают белым. Бета-тест, разработанный для неграмотных новобранцев в армии США, демонстрирует вопиющую культурную предвзятость. Один вопрос представляет картину людей, играющих в теннис без сетки; респонденты должны нарисовать эту сетку для получения полноценной оценки. В 1930 году, всего через год после проведения бета-теста в Южной Африке, К.С. Бригам, который был его ведущим сторонником в США, наконец признал, что тест недействителен для неамериканцев. Линн не упоминает об этом факте».
Культурная предвзятость демонстрирует лишь то, что проходящие его люди не в курсе контекста. По таким же культурно-предвзятым тестам польские эмигранты были на уровне чернокожих Америки.
Однако Олег так и не засомневался, а принес нам другую работу Линна “ну ок, 20 тысяч студентов прекрасно знали английский. Где критика конкретного исследования, с которого все началось?” И на эту работу мы тоже дали критику.
Это мета-анализ, собравший разные исследования с разными выборками. Абсолютное большинство из упомянутых 20 тысяч хорошо английский не знало. Только около 2 тысяч человек были из США, остальные родом из разных мест, от Румынии до Египта.
Во-первых, если взять PRISMA (Предпочтительные элементы отчетности для систематических обзоров и мета-анализов, то есть набор инструментов. позволяющих выявить насколько хорошо проведен обзор или мета-анализ) и пробежаться по уровню качества данного мета-анализа, все будет довольно плохо. Сообщений о том, какие ключевые слова были использованы и в каких базах данных был проведен поиск, нет. Просто говорится, что то, что они не нашли исследований - это не большая проблема. То есть этот мета-анализ по сути своей не воспроизводим. К примеру, не приведено ни одного исследования из Британии, хотя матрицы Равена изобретены в Британии. Оценка потенциального смещения исследований не проводится вообще, не сделан даже банальный тест Эггера (обычно используется для оценки потенциальной систематической ошибки публикации в мета-анализе посредством асимметрии воронкообразного графика).
Во-вторых, Линн исключил данные из Мексики как выброс (так как, по его мнению, там сообщалось о слишком малой разнице между мужчинами и женщинами), а это 45%, и без этой выборки мы можем говорить лишь о 11,386 студентах. Подобное обращение с данными выглядит некорректно.
Также, даже если отбросить исследование из Мексики, получается 3.15 IQ разницы, а если не отбрасывать, то 2.1 IQ разницы. При этом исходные примерно 5 IQ разницы (точнее, 4.6) мы получим, только если отказаться от процедуры взвешивания (то есть использование коэффициента, отображающего значимость наблюдения по сравнению с другими наблюдениями) использовать медиану. Это довольно подозрительно, учитывая, что четыре самых больших размера эффекта исходят из четырех исследований с самой маленькой выборкой.
Это я еще не упоминаю, что результат сильно зависел от версии используемого теста: APM – результат 3 IQ, SPM – результат 1.5 IQ.
Ну и финальное замечание. Центральное предположение этого исследования о культурной непредвзятости тестов на зрительно-пространственное мышление на практике не выполняется.
Конечно же, и эта критика не пришлась Олегу по вкусу. В качестве доказательства он привел количество упоминаний Ричарда Линна в Гугл, что попросту смехотворно. Создается впечатление, что Олег не знает не только то, как определяется успешность ученого, но и то, как работают поисковики.