«Систематическая ошибка выжившего» и другие источники невалидности в исследованиях билингвального когнитивного развития
Published: March 26, 2019
Latest article update: Aug. 23, 2022
Данная статья посвящена возможным источникам недостоверности результатов в области изучения связи билингвизма с когнитивным развитием. Анализ проводится на примере вопроса о связи билингвизма и управляющих функций — как одного из наиболее разработанных в сфере исследований билингвального развития, строится на материале критических публикаций, вышедших за последние пять лет и ставящих под сомнение существование превосходства билингвов над монолингвами в различных компонентах управляющих функций, и иллюстрируется примерами соответствующих эмпирических исследований. Также выделяются дополнительные источники недостоверности результатов в области изучения связи билингвизма с когнитивным развитием, которые ранее не обсуждались в литературе. Среди них игнорирование либо некорректное использование поправки на множественные сравнения и «систематическая ошибка выжившего» при отборе испытуемых для участия в исследованиях.
Keywords
Когнитивное развитие, познавательное развитие, систематическая ошибка выжившего, билингвизм, публикационное искажение, двуязычие
В области когнитивной психологии, а также практической психологии и педагогики существует представление о том, что владение двумя (билингвизм) или более языками (мультилингвизм) дает ребенку преимущество в когнитивном развитии.
Это представление основано на исследованиях, которые показывают превосходство билингвов над монолингвами, как правило в области различных компонентов управляющих функций1 (Управляющие функции (также используются синонимы — регуляторные функции и функции программирования, регуляции и контроля) в самом общем виде можно определить как сложную многокомпонентную функцию, обеспечивающую целенаправленность и гибкость когнитивных процессов и поведения. Чаще всего среди компонентов управляющих функций называют оттормаживание, переключение и рабочую память.) (Antoniou et al., 2016; Bialystok, 2018; Crivello et al., 2016; Engel de Abreu et al., 2012; Morales et al., 2013; Poulin-Dubois et al., 2011; Stocco, Prat, 2014; Tao et al., 2015; Teubner-Rhodes et al.,
2016; Veenstra et al., 2016). К. фон Бастиан и коллеги (von Bastian et al., 2016) выделили четыре гипотезы, которые обычно проверяются в подобных исследованиях. Первая гипотеза утверждает, что владение двумя языками связано с преимуществом в оттормажива- нии (inhibition control) нерелевантной информации и поведения. Предполагается, что оттормаживание тренируется в ситуации билингвизма, поскольку при использовании одного из языков их носителю надо все время подавлять интерференцию от другого/других языков. Следующая гипотеза предполагает, что билингвы быстрее монолингвов справляются с обработкой конфликтной информации вследствие того, что людям, владеющим несколькими языками, часто приходится сканировать ситуацию общения и ориентироваться на собеседников для оперативного выбора языка текущего общения. Третья гипотеза предполагает, что людям, владеющим двумя языками и активно их использующим, приходится быстро и часто переходить с одного языка на другой, и эта необходимость может быть связана с более высокими показателями в заданиях, требующих переключения внимания. Кроме предположения о преимуществе билингвов по показателям отдельных компонентов управляющих функций, указанных выше, также существует гипотеза общего когнитивного преимущества, в которой положительный эффект билингвизма распространяется на всю когнитивную сферу. Если резюмировать, то предполагается, что компоненты когнитивных функций, участвующие в овладении языками и их использовании, тренируются у билингвов в большей степени по сравнению с монолингвами и что эффект может генерализовы- ваться на отдельные компоненты психических функций или даже всю когнитивную сферу (von Bastian et al., 2016). Предполагаемые механизмы билингвального преимущества в когнитивной сфере интуитивно понятны и элегантны, что способствует широкому распространению данной концепции. Однако к настоящему моменту появился ряд критических публикаций, ставящих под сомнение достоверность результатов исследований билингвального когнитивного преимущества (Вак, 2016; de Bruin et al., 2015; Hernandez et al., 2015; Paap et al., 2018; Paap et al., 2015, 2016; Paap, Greenberg, 2013; Paap, Sawi, 2014,2016; Sekerina et al., 2019).
В публикациях на русском языке критическая точка зрения представлена недостаточно, поэтому данная статья является попыткой рассмотреть возможные источники недостоверности результатов о положительной связи билингвизма и детского когнитивного развития. Чтобы проиллюстрировать теоретический анализ конкретными и актуальными примерами, в рамках настоящего обзора был сформирован пул статей, представляющих эмпирические исследования за последние пять лет (2014-2018). Статьи были подобраны с помощью поиска в PubMed по запросу «bilingual advantage» с фильтрами «Age “birth — 18 years”» и «Publication dates 2014/01/01 to 2018/12/31». Такое ограничение по возрасту испытуемых было введено, чтобы по возможности сосредоточиться именно на статьях о детском развитии в условиях билингвизма и оставить за рамками данной статьи исследования усвоения второго языка во взрослом возрасте и работы, посвященные роли билингвизма в нормальном и патологическом старении (Bialystok et al., 2007; Craik et al., 2010; Vega-Mendoza et al., 2019). В данной статье не рассматривалась также еще одна большая область исследований, связанных с билингвизмом, а именно — исследования особенностей строения и функционирования билингвального мозга (Olulade et al., 2015; Pliatsikas, 2019). Каждая из этих тем требует отдельного рассмотрения. Стоит заметить, что и в этих областях также не достигнуто согласие по поводу достоверности результатов и справедливости их интерпретаций (Fuller-Thomson, 2015; Paap et al., 2015).
Всего было найдено 49 статей, из них исключены были статьи, в которых отсутствовала группа монолингвов, изучались мозговые механизмы без анализа поведенческих данных, а также обзорные и метаана- литические статьи (рисунок 1), оставшиеся 34 статьи представлены в Приложении. Хотя предыдущие критические метааналитические статьи по интересующей нас теме сосредоточены на связи билингвизма и управляющих функций, мы не ограничивали поиск исследованиями управляющих функций у билингвов. В итоге в нашу подборку попали 23 исследования, посвященные управляющим функциям и билингвизму, 7 статей касались билингвальных преимуществ в области усвоения и использования речи, 2 статьи изучали общий когнитивный эффект билингвизма, 1 статья касалась преимуществ билингвов с одним тоническим языком в музыкальных способностях, и еще 1 касалась мета- гокнитивных функций и билингвизма (Приложение).
Первый фактор, который способствует поддержанию уверенности в том, что билингвы превосходят монолингвов, например в способности переключения внимания и оттормаживания нерелевантной информации, — это публикационное искажение (publication bias). После того, как уже было опубликовано несколько убедительных работ о положительной связи билингвизма и управляющих функций, становится сложно опубликовать статистически незначимые (или значимые, но с обратным эффектом) результаты. Скорее всего, такие результаты рецензенты будут рассматривать как следствие ошибок при планировании исследования или недостаток мощности для достижения статистической значимости. Более того, сами авторы не склонны подавать к публикации исследования с нулевым результатом (file drawer problem) (Rosenthal, 1979) или публикуют только отдельные части исследования, которые дали ожидаемый результат (de Bruin et al., 2015). Чтобы показать, что в области исследований билингвизма есть публикационное искажение, А. де Браун и коллеги провели метаанализ тезисов, поданных на конференции. Всего в их выборке оказалось 104 работы с 52 конференций между 1999 и 2012 годами. Было обнаружено, что из 54 работ, которые однозначно подтверждали гипотезу о билингвальном превосходстве в управляющих функциях, было впоследствии опубликовано 34 статьи, а из 50 работ, результаты которых ставили этот эффект под сомнение, — только 18. Можно возразить, что работы с отрицательными/не- однозначными результатами были менее качественны-
ми. Проверить это практически невозможно, однако зачастую рецензенты склонны оценивать статьи с положительными результатами как более качественные, чем те, что дали неоднозначные или отрицательные результаты (Mahoney, 1977). Тезисы конференций, получившие превосходство билингвов и поставившие этот эффект под сомнение, различались по количеству задач на управляющие функции, которые выполняли испытуемые в рамках опубликованного исследования. Заданий было меньше в тезисах, показывающих превосходство билингвов над монолингвами, что косвенно может свидетельствовать о том, что авторы публикуют только ту часть всех полученных результатов, которая дала статистически значимые эффекты, и умалчивают, что были собраны и проанализированы другие данные, не давшие ожидаемых результатов. Более того, авторы признаются, что тоже так однажды сделали. В метаанализе де Браун и др. (de Bruin et al., 2015) тезисы конференций, получившие и не получившие положительный эффект билингвизма, не различались по размеру выборок. Однако в статье К. Папа и коллег (Раар et al., 2014) анализировались уже опубликованные полнотекстовые статьи и было показано, что размеры выборок в исследованиях, которые не обнаруживают превосходства билингвов над монолингвами, больше, чем в тех, что показывают этот эффект (Раар, Sawi, 2014). Это косвенно указывает на то, что исследования с положительными результатами имеют больше шансов быть опубликованными, в то время как такие же исследования с отрицательными или неоднозначными результатами воспринимаются рецензентами как исследования с недостаточной мощностью и могут быть опубликованы только при наличии достаточно убедительного размера выборки. Сказать однозначно, какой размер выборки является «достаточно убедительным» нельзя, но для примера можно отметить, что в нашем пуле статей (таблица 1) самая маленькая выборка билингвов из исследований с положительным результатом в 1.7 раза меньше, чем самая маленькая выборка из исследований с неоднозначным или отрицательным результатом.
Хотя работы де Браун и коллег (de Bruin et al., 2015) и Папа и коллег (Раар et al., 2014) были опубликованы пять лет назад, в области исследований преимуществ билингвизма публикационное искажение все еще можно проследить. На примере подборки статей за последние пять лет (2014-2018), которую мы сделали для демонстрации, можно увидеть, что только в десяти опубликованных исследованиях эффект билингвального превосходства был поставлен под сомнение (то есть не обнаружен, обнаружен только в части проб или там, где не ожидался, или даже получен обратный эффект — более низкие результаты в группе билингвов). В одной статье результат можно назвать нейтральным, а в двадцати семи исследованиях — положительным. Если посмотреть на размер выборок в этих исследованиях, то становится очевидным, что в работах с отри- цательным/неоднозначным результатом выборки, как правило, больше (таблица 1). Усредненные значения
размера группы (среднее значение между группой билингвов и монолингвов из одного исследования) были значимо больше в исследованиях, свидетельствующих в пользу существования положительного эффекта билингвизма (односторонний критерий Манна-Уитни, U= 192.5, р = .026, г=.32).
К. Пап и др. (Раар et al., 2015) предполагают, что в публикациях, свидетельствующих о билингвальном превосходстве, доля ложноположительных результатов очень велика из-за вероятного применения в этой области так называемых спорных исследовательских приемов (questionable research practices; John et al., 2012), к которым относится, например, умалчивание части полученных результатов, которые не достигли статистической значимости или противоречат гипотезе. Так, в уже упомянутом исследовании де Браун и др. (de Bruin et al., 2015) было показано, что в некоторых случаях в полнотекстовых статьях не была описана часть результатов, которая ранее была представлена в тезисах конференции по тому же самому исследованию. Кроме того, наблюдается тенденция проводить несколько исследований на относительно маленьких группах, а не одно на большой объединенной. Опасность заключается в том, что маленькие выборки уменьшают шанс обнаружить настоящий эффект, но при этом увеличивают шанс получить ложноположительный эффект (Button et al., 2013). Все эти недостатки могут быть преодолены с помощью практики пререгистрации исследований в журналах (Hardwicke, loannidis, 2018), когда еще до начала исследования журнал рассматривает его дизайн с планом анализа данных и, если к заявке нет замечаний по качеству и последующее исследование выполнено в соответствии с тем, что было указано в заявке, журнал публикует статью независимо от того, получены значимые ожидаемые эффекты или нет.
Надо заметить, что от внимания Папа и коллег (Раар et al., 2015) ускользает еще один источник ошибки первого рода.
Как правило, в исследованиях билингвизма применяется дисперсионный анализ с несколькими факторами (ANOVA). Некоторые исследователи предлагают своим испытуемым несколько задач на невербальные функции с несколькими показателями успешности выполнения, например время ответа и количество правильных ответов, а при анализе полученных данных строят отдельную статистическую модель для каждого показателя в каждом задании, получают положительный статистически значимый результат только по некоторым из них и делают вывод о преимуществе билингвов (Вак, 2016; de Bruin et al., 2015; Hernandez et al., 2015; Paap et al., 2018, 2015, 2016; Paap, Greenberg, 2013; Раар, Sawi, 2014,2016; Sekerina et al., 2019).
Очевидно, что в ситуации, когда независимо проводится несколько статистических тестов, необходима поправка на множественные сравнения. При этом в подборке статей за последние пять лет только в шести статьях из 34 была сделана поправка на количество post-hoc-тестов внутри каждой многофакторной дисперсионной модели, и только в одной авторы сделали поправку на количество статистических моделей (всего на пять моделей), которые были протестированы (Приложение). При внимательном чтении статьи становится очевидно, что было протестировано больше пяти моделей (как минимум семь), а поправку сделали на пять, что вызывает дополнительные вопросы (Veenstra et al., 2016).
Для иллюстрации рассмотрим статью из нашей подборки, показавшую превосходство детей-билингвов над монолингвами в области управляющих функций, с самым большим размером выборки (White, Greenfield, 2017). В исследовании участвовали дети от 3 до 5 лет, среди них 148 носителей испанского и английского, 83 монолингва — носителя только английского, и 72 носителя испанского, которые погружены в образовательный процесс на английском языке, но еще им не овладели. До сравнения групп авторы провели конфирматорный факторный анализ и показали, что пробы на оттормаживание, рабочую память и когнитивную гибкость имеют под собой один общий латентный фактор, поэтому группы сравнивались не отдельно по каждой пробе, а по значениям одной латентной переменной, отражающей состояние управляющих функций. Было проведено три сравнения между группами с использованием двух линейных моделей. Значимый эффект превосходства билингвов над монолингвами обнаружен на уровне р = .022, если сделать поправку Бонферрони на три сравнения, то, чтобы эффект считался значимым, должно соблюдаться р < .017 (.05/3 = .017). Тем не менее поправка на множественные сравнения не проводится, а основной вывод из этого исследования заключается в том, что двуязычие дает детям из семей с низким доходом преимущество в когнитивном развитии над сверстниками из семей с таким же социально-экономическим статусом. Подобных примеров можно найти значительно больше, если последовательно рассмотреть статьи из подборки (см. Приложение, графа «Поправка на множественные сравнения»).
Все исследования эффектов билингвизма являются по своей природе квазиэкспериментальными, а не экспериментальными, поскольку то, сколькими языками владеет человек, зависит не от рандомизированного распределения его экспериментатором в билингвальную или монолингвальную группу, а от многочисленных обстоятельств его жизни, которые трудно проконтролировать в исследовании. Это лишает исследователей возможности интерпретировать свои результаты в терминах причинно-следственных связей (то есть даже при положительных результатах нельзя говорить, что билингвальное развитие положительно влияет на когнитивную сферу ребенка; можно только сказать, что эти два явления связаны). Возможным преодолением этого ограничения могло бы стать рандомизированное лонгитюдное исследование усвоения второго языка, в котором дети, похожие по всем демографическим показателям, интеллекту и семейной истории, случайным образом распределялись бы по эквивалентным группам, одна из которых начинает интенсивно с погружением в новую языковую среду учить язык, а другая начинает это делать, например, только
через год. Через год можно проверить, превзошли ли дети, которые выучили второй язык, по управляющим функциям тех, что приступят к изучению языка позже. Такая картина представляется мало реалистичной, поскольку трудно найти в языковом детском саду родителей, которые осознанно согласятся на ситуацию, в которой их ребенок случайным образом может быть распределен в группу, которая начнет изучать второй язык не сразу, а спустя довольно длительный промежуток времени. При этом, если положительный эффект билингвизма в таком исследовании не будет получен, всегда можно возразить, что одного года для освоения языка и проявления его положительных эффектов на когнитивную сферу недостаточно. Наверное, поэтому подобных исследований обнаружить не удалось.
Невозможность провести настоящее рандомизированное исследование ставит вопрос о том, какие факторы, сопутствующие билингвизму, необходимо обязательно контролировать. Чаще всего среди таких факторов называют социально-экономический статус семьи, уровень образования матери, иммиграционный статус и невербальный интеллект (Morton, Harper, 2007; von Bastian et al., 2016). Если группы в исследовании значимо различаются по этим показателям, то обычно показатели используются в качестве ковари- ат в статистической модели. Проблема состоит в том, что это некорректное понимание и использование ко- вариат в статистических моделях, поскольку включение ковариаты в анализ предполагает, что ковариата (например, миграционный статус) и переменная интереса (в нашем случае — билингвизм) независимы (например, количество мигрантов и коренных жителей в группе билингвов и монолингвов одинаково), но в большинстве случаев это не так, и включение ковариаты в анализ не помогает отделить эффект смешивающейся переменной от эффекта переменной интереса (Раар et al., 2014). В такой ситуации приходится контролировать побочные переменные с помощью более тщательного подбора испытуемых в группы, но подбор в группы только определенных билингвов потенциально может приводить к еще одной проблеме — «систематической ошибке выжившего».
Первые исследования билингвизма говорили о негативном влиянии двуязычия на интеллектуальное развитие детей (обзор ранних исследований можно найти в Hakuta, 1986; Lee, 1996; Peal, Lambert, 1962; Выготский, 1983), но в этих исследованиях не контролировался такой важный фактор, как социально-экономический статус семьи ребенка, и уровень владения языком, на котором проводилось тестирование. Первое же исследование, которое отобрало в качестве испытуемых детей-билингвов, равных по социоэкономическому статусу детям-монолингвам, получило превосходство билингвов над монолингвами (Peal, Lambert, 1962). Кроме того, в этом исследовании впервые было предложено такое понятие, как сбалансированный билингвизм — одинаково хорошее владение двумя языками, и все дети, которые одним из языков владели хуже, чем другим, были исключены из исследования (Peal, Lambert, 1962). Действительно, билингвизм — явление неоднородное. Например, билингвы могут различаться по возрасту, в котором в их жизни появился второй язык (с рождения росли в двуязычной среде или же познакомились со вторым языком, попав в детский сад), по способу усвоения языка (естественным образом или «за партой»), по уровню владения языками (сбалансированный или несбалансированный билингвизм), по контексту употребления (например, разделение на язык семейного и язык социального общения). Такая неоднородность билингвизма позволяет предположить, что не любой вариант билингвизма имеет положительную связь с когнитивным развитием, а, например, только ранний и сбалансированный или когда оба языка используются в повседневной жизни. Если вернуться к исследованию Э. Пил и У. Ламберта (Peal, Lambert, 1962), то подход, в котором «истинными билингвами» считаются только те, что владеют двумя языками в равной степени, предполагает возможность отобрать в группу билингвов детей с изначально более высокими когнитивными способностями, которые смогли одинаково успешно овладеть двумя языками. Одновременно с этим в группу монолингвов такого отбора не происходит, туда попадают все формально здоровые дети, достаточно хорошо владеющие одним языком. Таким образом, возникает вопрос о том, способствует ли билингвизм более успешному когнитивному развитию или изначально очень способные дети могут освоить два языка на одинаково высоком уровне? (Lee, 1996). В подтверждение справедливости такого вопроса можно привести исследование, в котором показано, что успешность освоения второго языка обусловлена некоторыми эндогенными факторами, в том числе и генетическими (Diaz et al., 2019; Hernandez et al., 2015; Vaughn, Hernandez, 2018). В нашей подборке за последние пять лет было всего несколько статей, в которых отбирали в группу билингвов только людей с одинаково высоким владением двумя языками (Schmidt, Post, 2015; Stocco, Prat, 2014; Teubner-Rhodes et al., 2016). Зачастую отбора по уровню владения языками не проводится, чаще используются опросники, в которых выясняется, какими языками владеют испытуемые, когда и при каких обстоятельствах они на них заговорили и каково примерное процентное соотношение времени использования каждого из известных испытуемому языков. Как правило, в таком случае в группу билингвов человек попадает, если разговаривает на втором языке не менее 20 % времени (Приложение). Тем не менее не стоит забывать о том, что метод отбора только сбалансированных билингвов существует и потенциально может привести к включению в группу билингвов людей с изначально более высокими когнитивными способностями. Эта ситуация представляет собой классическую систематическую ошибку выжившего, когда выводы делаются на основе данных «успешных» представителей, в то время как данные «менее успешных» в расчет не берутся.
Другим примером, потенциально содержащим систематическую ошибку выжившего, являются исследования эффекта изучения второго языка, когда группы составляют дети из различных школ или классов с разной учебной программой (Puric et al., 2017). Кроме таких очевидных проблем, как возможные различия в социально-экономическом профиле семей для разных школ,
существует еще одна неочевидная, но серьезная проблема. Дети, которые выбывают из специализированных языковых школ из-за неуспеваемости, не попадают в исследование. В специализированных языковых классах или школах остаются заведомо более сильные дети, чем в обычных, и их более высокие баллы по когнитивным тестам могут быть связаны не с опытом владения двумя и более языками, а с постепенным отбором детей с более высокими когнитивными способностями.
Важно заметить, что дети, которые не овладели двумя языками одинаково хорошо, либо не попадают в поле зрения исследователей влияния двуязычия на когнитивное развитие вовсе, либо, при отборе испытуемых по более мягким критериям, становятся равноправными представителями группы билингвов. Тем не менее факторы, которые стоят за менее успешным овладением языками у билингвальных детей, представляют большой практический и научный интерес. Чтобы перейти к изучению этих факторов, необходимо разделить два явления: двуязычная среда как одно из условий развития ребенка и речевое развитие на двух языках как часть когнитивного развития.
Отдельно стоит обратить внимание на статью 1928-29 гг. Л. С. Выготского «К вопросу о многоязычии в детском возрасте» (Выготский, 1983). Это программная статья, в которой изложен все еще актуальный план разработки проблемы детского двуязычия. Основная идея заключается в том, что нельзя дать однозначный ответ на то, какую роль играет двуязычие в познавательном развитии ребенка — положительную или отрицательную, — основываясь только на результатах отдельных тестовых заданий. Такой ответ даже и не имеет смысла, потому что нет чистого двуязычия в вакууме, все зависит от тех условий, в которых разворачивается развитие ребенка, от особенностей каждого возрастного этапа и базовых способностей ребенка. Поэтому самое важное в изучении двуязычного развития — это не статический, а генетический подход, понимание внутренней структуры тех процессов, которые непосредственно участвуют в когнитивном развитии ребенка вообще и в речевом развитии в частности, а также учет совокупности социальных факторов, сопутствующих двуязычию. Похожие соображения высказываются и при обсуждении сегодняшнего кризиса в области исследований билингвизма. Так, например, Т. Бак (Вак, 2016) отмечает, что утверждать, что положительный эффект билингвизма — это результат скорее когнитивной предрасположенности или социальных факторов, так же несправедливо, как утверждать, что билингвизм способствует улучшению управляющих функций. Необходимо перейти от линейных и простых моделей исследований к моделям, предполагающим сложное взаимодействие между исследуемыми факторами с учетом всего разнообразия феномена билингвизма в разных уголках мира (Вак, 2016).
В настоящий момент область исследований связи билингвизма с когнитивным развитием полна дискуссий. С одной стороны, есть радикальное крыло, доказывающее, что эффект билингвального превосходства не только сильно переоценен, но, возможно, и вовсе не существует, а является результатом публикационного искажения и сомнительных исследовательских практик (Dick et al., 2018; Раар et al., 2015). Другое крыло пытается предложить компромисс, признавая, что проблема воспроизводимости эффекта есть, но защищая его существование. Представители «оборонительного» крыла считают, что при более тщательном планировании исследований и создании более сложных моделей взаимовлияния билингвизма и когнитивного функционирования, включающих все многообразие экзогенных и эндогенных факторов, можно будет повысить воспроизводимость результатов и определить, какие именно варианты языкового опыта связаны с когнитивным преимуществом (Вак, 2016; Sekerina et al., 2019; Valian, 2015). Но и это только часть картины, ведь если есть определенные обстоятельства, в которых существует билингвальное когнитивное превосходство, то должны существовать и обстоятельства, в которых существует билингвальное когнитивное отставание. Знание и тех, и других поможет понять взаимоотношение между языковым опытом, развитием речи и развитием других когнитивных функций, даст основания для создания информативных диагностических тестов и опросников, новых обоснованных образовательных и коррекционных программ.
Источники, отмеченные звездочкой, использованы только в Приложении.
Выготский Л. С. К вопросу о многоязычии в детском возрасте // Собрание сочинений: В 6 т. / Под ред. А.М. Матюшкина. М.: Педагогика, 1983. С. 329-337.
*Abboub N, Bijeljac-Babic R., Serres J., Nazzi T. On the importance of being bilingual: Word stress processing in a context of segmental variability // Journal of Experimental Child Psychology. 2015. Vol. 132. P. 111-120. doi: 10.1016/j.jecp.2014.12.004
Antoniou K., Grohmann К. K., Kambanaros M., Katsos N. The effect of childhood bilectalism and multilingualism on executive control 11 Cognition. 2016. Vol. 149. P. 18-30. doi:10.1016/j. cognition.2015.12.002
*Arizmendi G. D., Alt M., Gray S., Hogan T. P, Green S., Cowan N. Do bilingual children have an executive function advantage? Results from inhibition, shifting, and updating tasks // Language, Speech, and Hearing Services in Schools. 2018. Vol. 49. No.3. P. 356-378. doi:10.1044/2018 LSHSS-17-0107
*Asaridou S. S., Hagoort P., McQueen J. M. Effects of early bilingual experience with a tone and a non-tone language on speech-music integration 11 PLoS One. 2015. Vol. 10. No. 12. P.eO144225. doi:10.1371/journal.pone.0144225
Bak T. H. Cooking pasta in La Par: Bilingualism, bias and the replication crisis 11 Linguistic Approaches to Bilingualism. 2016. Vol.6. No.5. P.699-717. doi:10.1075/lab.l6002.bak
von Bastian С. C., Souza A. S., Gode M. No evidence for bilingual cognitive advantages: A test of four hypotheses // Journal of Experimental Psychology. General. 2016. Vol. 145. No. 2. P. 246-258. doi:10.1037/xge0000120
Bialystok E. Bilingual education for young children: Review of the effects and consequences 11 International Journal of Bilingual Education and Bilingualism. 2018. Vol. 21. No. 6. P. 666-679. doi: 10.1080/13670050.2016.1203859
Bialystok E., Craik F. I. M., Freedman M. Bilingualism as a protection against the onset of symptoms of dementia 11 Neuro- psychologia. 2007. Vol. 45. No. 2. P. 459-464. doi:10.1016/j. n^rQp^dMAogia^QüödßdlQS
*Bi(dystok Е., Poarch G., Luo L., Craik F. I. M. Effects of bilingualism and aging on executive function and working memory // Psychology and Aging. 2014. Vol. 29. No.3. P. 696-705. doi:10.1037/a0037254
*Brito N, Barr R. Flexible memory retrieval in bilingual 6-month-old infants // Developmental Psychobiology. 2014. Vol. 56. No. 5. P. 1156-1163. doi:10.1002/dev.21188
de Bruin A., Treccani B., Della Sala S. Cognitive advantage in bilingualism: An example of publication bias? // Psychological Science. 2015. Vol. 26. No. 1. P. 99-107. doi: 10.1177/0956797614557866
Button K. S., loannidis /. P. A., Mokrysz C., Nosek B. A., Flint J., Robinson E.S.J., Munafö M.R. Power failure: Why small sample size undermines the reliability of neuroscience // Nature Reviews Neuroscience. 2013. Vol. 14. No. 5. P. 365-376. doi:10.1038/nrn3475
*Chabal S., Schroeder S. R., Marian V. Audio-visual object search is changed by bilingual experience 11 Attention, Perception, & Psychophysics. 2015. Vol. 77. No. 8. P. 2684-2693. doi: 10.3758/ S13414-015-0973-7
*Coderre E. L., van Heuven W. /. B. Electrophysiological explorations of the bilingual advantage: Evidence from a Stroop task// PLoS One. 2014. Vol. 9. No. 7. P.el03424:l-15. doi:10.1371/ journal.pone.0103424
*Cottini M., Pieroni L., Spataro P., Devescovi A., Longobardi E., Rossi-Arnaud C. Feature binding and the processing of global-local shapes in bilingual and monolingual children 11 Memory and Cognition. 2015. Vol.43. No.3. P.441-452. doi: 10.3758/ S13421-014-0467-1
Craik F. I. M., Bialystok E., Freedman M. Delaying the onset of Alzheimer disease: Bilingualism as a form of cognitive reserve 11 Neurology. 2010. Vol. 75. No. 19. P. 1726-1729. doi:10.1212/ WNL,0b013e3181fc2alc
Crivello C., Kuzyk O., Rodrigues M., Friend M., Zesiger P, Poulin-Dubois D. The effects of bilingual growth on toddlers’ executive function // Journal of Experimental Child Psychology. 2016. Vol. 141. P. 121-132. doi:10.1016/j.iecp.2015.08.004
Diaz B., Burgaleta M., Sebastian-Galles N. The gift of language learning. Individual differences in non-native speech perception // The handbook of the neuroscience of multilingualism John Wiley & Sons, 2019. P. 277-296. doi:10.1002/9781U9387725.chl3
Dick A. S., Garcia N.L., Prüden S.M., Thompson W. К., Hawes S. W, Sutherland M. T, Riedel M. C., Laird A. R., Gonzalez R. No evidence for a bilingual executive function advantage in the ABCD study// PsyArxiv. 2018. doi: 10.31234/osf.io/gih95
*Dunabeitia J. A., Hernandez J. A., Anton E., Macizo P, Estevez A., Fuentes L. J., Carreiros M. The inhibitory advantage in bilingual children revisited: Myth or reality? 11 Experimental Psychology. 2014. Vol.61. No.3. P.234-251. doi:10.1027/1618-3169/ »000243
Engel de Abreu P. M. J., Cruz-Santos A., Tourinho C. J., Martin R., Bialystok E. Bilingualism enriches the poor: enhanced cognitive control in low-income minority children 11 Psychological Science. 2012. Vol. 23. No. 11. P. 1364-1371. doi:10.1177/0956797612443836
*Fan S. P, Liberman Z., Keysar B., Kinzler K. D. The exposure advantage // Psychological Science. 2015. Vol. 26. No. 7. P. 1090-1097. doi: 10.1177/0956797615574699
*Folke T, Ouzia /., Bright P, De Martino B., Filippi R. A bilingual disadvantage in metacognitive processing // Cognition. 2016. Vol. 150. P. 119-132. doi:10.1016/j.cognition.2016.02.008
Fuller-Thomson E. Emerging evidence contradicts the hypothesis that bilingualism delays dementia onset. A Commentary on “Age of dementia diagnosis in community dwelling bilingual and monolingual Hispanic Americans” by Lawton et al., 2015 // Cortex. 2015. Vol. 66. P. 170-172. doi:10.1016/i. cortex.2015.01.024
*Goldman M. C., Negen J., Sarnecka B. W. Are bilingual children better at ignoring perceptually misleading information? A novel test 11 Developmental Science. 2014. Vol. 17. No. 6. P. 956-964. doi: 10.1111/desc. 12175
Hakuta K. Mirror of language. The debate on bilingualism. New York: Basic Books, 1986.
Hardwicke T E., loannidis J. P. A. Mapping the universe of registered reports // Nature Human Behaviour. 2018. Vol. 2. No. 11. P.793-796. doi:10.1038/s41562-018-0444-y
Hernandez A. E., Greene M.R., Vaughn K. A., Francis D.J., Grigorenko E. L. Beyond the bilingual advantage: The potential role of genes and environment on the development of cognitive control // Journal of Neurolinguistics. 2015. Vol. 35. P. 109-119. doi:10.1016/j.ineuroling.2015.04,002,
John L. K, Loewenstein G., Prelec D. Measuring the prevalence of questionable research practices with incentives for truth telling // Psychological Science. 2012. Vol. 23. No. 5. P. 524-532. doi: 10.1177/0956797611430953
*Karlsson L. C., Soveri A., Räsänen P., Kärnä A., Delatte S., Lagerström E., M\aard L., Steffansson M., Lehtonen M., Laine M. Bilingualism and performance on two widely used developmental neuropsychological test batteries // PLoS One. 2015. Vol. 10. No. 4. P.e0125867:l-ll. doi:10.1371/journal.pone.0125867
Lee P. Cognitive development in bilingual children: A case for bilingual instruction in early childhood education // The Bilingual Research Journal. 1996. Vol. 20. No. 3-4. P. 499-522.
*LoeI.M., Feldman HM. The effect of bilingual exposure on executive function skills in preterm and full-term preschoolers // Journal of Developmental and Behavioral Pediatrics. 2016. Vol. 37. No. 7. P. 548-556. doi: 10.1097/DBP.0000000000000318
Mahoney M. J. Publication prejudices: An experimental study of confirmatory bias in the peer review system // Cognitive Therapy and Research. 1977. Vol. 1. No. 2. P. 161-175. doi:10.1007/ BF01173636
*Moradzadeh L., Blumenthal G., Wiseheart M. Musical training, bilingualism, and executive function: a closer look at task switching and dual-task performance // Cognitive Science. 2015. Vol.39. No.5. P.992-1020. doi:10.11U/cogs.l2183
Morales /., Calvo A., Bialystok E. Working memory development in monolingual and bilingual children // Journal of Experimental Child Psychology. 2013. Vol. 114. No. 2. P. 187-202. doi:10.1016/j.jecp.2012.09.002
Morton J. B., Harper S. N. What did Simon say? Revisiting the bilingual advantage // Developmental Science. 2007. Vol. 10. No. 6. P. 719-726. doi: 10.1111/j. 1467-7687.2007.00623.X
Olulade O. A., Jamal N. I., Koo D. S., Perfetti C. A., LaSasso C., Eden G. F. Neuroanatomical evidence in support of the bilingual advantage theory // Cerebral Cortex. 2015. Vol. 26. No. 7. P. 3196-3204. doi:10.1093/cercor/bhvl52
Paap K. R., Anders-Jefferson R., Mason L., Alvarado K, ZimigaB. Bilingual advantages in inhibition or selective attention: More challenges // Frontiers in Psychology. 2018. Vol. 9. P. 1409:1-10. doi:10.3389/fpsyg.2018.01409
Paap K. R., Greenberg Z. I. There is no coherent evidence for a bilingual advantage in executive processing // Cognitive Psychology. 2013. Vol. 66. No. 2. P. 232-258. doi:10.1016/j. cogpsych.2012.12.002
Paap K.R., Johnson H.A., Sawi O. Are bilingual advantages dependent upon specific tasks or specific bilingual experiences? // Journal of Cognitive Psychology. 2014. Vol. 26. No. 6. P. 615-639. doi: 10.1080/20445911.2014.944914
PaapKR., Johnson H. A., SawiO. Bilingual advantages in executive functioning either do not exist or are restricted to very specific and undetermined circumstances // Cortex. 2015. Vol. 69. P. 265-278. doi:10.1016/j.cortex.2015.04.014
PaapKR., Johnson H. A., SawiO. Should the search for bilingual advantages in executive functioning continue? // Cortex. 2016. Vol. 74. P. 305-314. doi:10.1016/j.cortex.2015.09.010
Paap K. R., Sawi O. Bilingual advantages in executive functioning: Problems in convergent validity, discriminant validity, and the identification of the theoretical constructs // Frontiers in Psychology. 2014. Vol.5. P.962:l-15. doi: 10.3389/fpsyg.2014,00962
Paap K. R., Sawi O. The role of test-retest reliability in measuring individual and group differences in executive functioning // Journal of Neuroscience Methods. 2016. Vol. 274. P. 81-93. doi:10.1016/j.jneumeth.2016.10.002
Peal E., Lambert W. E. The relation of bilingualism to intelligence // Psychological Monographs: General and Applied. 1962. Vol. 76. No. 27. P.1-23. doi:10.1037/h0093840
*Pino Escobar G., Kalashnikova M., Escudero P. Vocabulary matters! The relationship between verbal fluency and measures of inhibitory control in monolingual and bilingual children // Journal of Experimental Child Psychology. 2018. Vol. 170. P. 177-189.
Pliatsikas C. Multilingualism and brain plasticity 11 The handbook of the neuroscience of multilingualism / J.W. Schwieter (Ed.). John Wiley & Sons, 2019. P. 230-251. doi: 10.1002/9781119387725.dll 1
*Pons E, Bosch L., Lewkowicz D. J. Bilingualism modulates infants’ selective attention to the mouth of a talking face // Psychological Science. 2015. Vol. 26. No. 4. P. 490-498. doi: 10.1177/0956797614568320
Poulin-Dubois D., Blaye A., Coutya J., Bialystok E. The effects of bilingualism on toddlers’ executive functioning // Journal of Experimental Child Psychology. 2011. Vol. 108. No.3. P. 567-579. doi: 10.1016/j.jecp.2010.10,009
Puric D., Vuksanovic J., Chondrogianni V Cognitive advantages of immersion education after lyear: Effects of amount of exposure // Journal of Experimental Child Psychology. 2017. Vol. 159. P. 296-309. doi:10.1016/j.jecp.2017.02.011
Rosenthal R. The file drawer problem and tolerance for null results 11 Psychological Bulletin. 1979. Vol. 86. No.3. P. 638-641. doi: 10.1037/0033-2909.86.3.638
*Ross J., Melinger A. Bilingual advantage, bidialectal advantage or neither? Comparing performance across three tests of executive function in middle childhood // Developmental Science. 2017. Vol.20. No.4. doi:10.1111/desc.l2405
Schmidt E., Post B. The development of prosodic features and their contribution to rhythm production in simultaneous bilinguals 11 Language and Speech. 2015. Vol. 58. No. 1. P. 24-47. doi:l 0.1177/0023830914565809
Sekerina A.L, Spradlin L., Valian V Chapter 1. Bilingualism, executive function, and beyond. Questions and insights // Bilingualism, executive function, and beyond. Questions and insights / V. Valian, LA. Sekerina, L. Spradlin (Eds.). John Benjamins Publishing Company, 2019. P. 1-14.
*Singh L., Fu C. S. L., Rahman A. A., Hameed W. B., Sanmu- gam S., Agarwal P, Jiang B., Chong Y S., Meaney M. J., Rifkin-Gra- boi A. Back to basics: a bilingual advantage in infant visual habituation 11 Child Development. 2015. Vol. 86. No. 1. P. 294-302. doi:10.1111/cdev. 12271
* Singh L., Fu C.S.L., Tay Z. W., GolinkoffR.M. Novel word learning in bilingual and monolingual infants: evidence for a bilingual advantage 11 Child Development. 2018. Vol. 89. No.3. P.el83-el98. doi:10.11U/cdev.l2747
*Stasenko A., Matt G. E., Gollan T H. A relative bilingual advantage in switching with preparation: Nuanced explorations of the proposed association between bilingualism and task switching// Journal of Experimental Psychology. General. 2017. Vol. 146. No. 11. P. 1527-1550. doi:10.1037/xge0000340
Stocco A., Prat C. S. Bilingualism trains specific brain circuits involved in flexible rule selection and application // Brain and Language. 2014. Vol. 137. P. 50-61. doi:10.1016/j.bandl.2014.07.005
Tao L., Taft M., Gollan T H. The bilingual switching advantage: Sometimes related to bilingual proficiency, sometimes not 11 Journal of the International Neuropsychological Society: JINS. 2015. Vol. 21. No. 7. P. 531-544. doi:10.1017/S1355617715000521
Teubner-Rhodes S. E., Mishler A., Corbett R., Andreu L., Sanz-Torrent M., Trueswell J. C., Novick J. M. The effects of bilingualism on conflict monitoring, cognitive control, and gar- den-path recovery 11 Cognition. 2016. Vol. 150. P.213-231. doi:10.1016/j.cognition.2016.02.011
Valian V. Bilingualism and cognition 11 Bilingualism: Language and Cognition. 2015. Vol. 18. No. 1. P.3-24. doi:10.1017/ S1366728914000522
Vaughn K. A., Hernandez A. E. Becoming a balanced, proficient bilingual: Predictions from age of acquisition and genetic background// Journal of Neurolinguistics. 2018. Vol. 46. P. 69-77. doi: 10.1016/j.jneuroling.2017.12,012
Veenstra A. L., Riley J. D., Barrett L. E., Muhonen M. G., Zupanc M., Romain /. E., Lin J. J., Mucci G. The impact of bilingualism on working memory in pediatric epilepsy 11 Epilepsy & Behavior. 2016. Vol. 55. P. 6-10. doi:10.1016/j.yebeh.2015.11.025
Vega-Mendoza M., Alladi S., Bak T. H Dementia and multilingualism // The handbook of the neuroscience of multilingualism John Wiley & Sons, 2019. P. 608-624. doi: 10.1002/9781119387725. ch30
*Vega-MendozaM., WestH, Sorace A., Bak TH The impact of late, non-balanced bilingualism on cognitive performance // Cognition. 2015. Vol. 137. P. 40-46. doi:10.1016/j. cognition.2014.12.008
*Wermelinger S., Gampe A., Daum M.M. Bilingual toddlers have advanced abilities to repair communication failure // Journal of Experimental Child Psychology. 2017. Vol. 155. P. 84-94. dsid£llfll£Zj4e®2^
White L. J., Greenfield D. B. Executive functioning in Spanish- and English-speaking Head Start preschoolers // Developmental Science. 2017. Vol.20. No. 1. P.el2502:l-14. doi:10.1111/ des c. 12502
* Wimmer M.C., MarxC. Inhibitory processes in visual perception: A bilingual advantage // Journal of Experimental Child Psychology. 2014. Vol. 126. P.412-419. doi:10.1016/j. jecp.2014.03.004
*Yow W. Q., Li X., Lam S., Gliga T, Chong Y S., Kwek K, Brockman B.F.P. A bilingual advantage in 54-month-olds’ use of referential cues in fast mapping // Developmental Science. 2017. Vol. 20. No. 1. doi: 10.1111 /dfisc.12482