Вводящие в заблуждение данные

Исследование 2001 года, охватившее четыре района Филадельфии, пришло к выводу, что дети, живущие в районах с большим числом книг в библиотеках и государственных школах, получали более высокие оценки в школе. Последовавший за этим грант в $\$ 20$ миллионов от William Penn Foundation профинансировал 5-летний проект по улучшению 32 районных библиотек, чтобы «уравнять условия» для всех детей и семей Филадельфии. Как статистик, почему вас не убеждает это исследование?

Популярная колумнистка по вопросам советов Энн Ландерс однажды спросила своих читателей: «Если бы у вас была возможность начать всё сначала, завели бы вы детей?» Она получила 10 000 ответов, из которых $70 \%$ сказали, что нет, не завели бы. Почему нам следует относиться к этому опросу с осторожностью?

Опрос организации управляемой медицинской помощи (HMO) показал, что более $90 \%$ её участников удовлетворены. Определите два важных смещения, которые могут повлиять на результаты. Смещена ли заявленная доля удовлетворённых вверх или вниз?

Почему вы скептически относитесь к этой рекламе инвестиционного консультационного сервиса Motley Fool, появившейся в Instagram 5 января 2021 года и хваставшейся своей рекомендацией по акциям Zoom?

Мы порекомендовали Zoom во время «ковидного обвала» 19 марта 2020 года. С момента этой рекомендации Zoom вырос на 401.77 — с $123.77 до $497.27 по состоянию на 12.10.20.

Как статистик, в чём ошибка в этих рассуждениях?

Считается, что один австрийский врач оценил уязвимость солдат в Первую мировую войну по больничным записям и пришёл к выводу, что ранения конечностей наиболее опасны, а ранения головы наименее опасны, потому что среди госпитализированных солдат было очень много раненых в конечности и очень мало раненых в голову.

Во время Второй мировой войны британские Королевские военно-воздушные силы (RAF) планировали закрепить на своих самолётах тяжёлую броню, чтобы защитить их от немецких истребителей и наземных зенитных орудий. Защитные пластины были слишком тяжёлыми, чтобы покрыть весь самолёт, поэтому RAF собрали данные о расположении пулевых и осколочных пробоин на самолётах, вернувшихся с бомбардировок. Большинство пробоин было на крыльях и хвостовой части самолёта, и очень мало — в кабине, двигателях или топливных баках, что наводило на мысль, что защитные пластины следует ставить на крылья и хвостовую часть. Согласны ли вы с этим?

Сеть отелей Red Lion Hotels опубликовала рекламу на всю полосу, утверждая: «Из каждых 50 деловых путешественников, попробовавших Red Lion, некоторое число не возвращается. Но 49 из 50 возвращаются». Основанием для этого утверждения послужил опрос людей, остановившихся в Red Lion, $98 \%$ из которых сказали, что «они обычно останавливаются в отеле Red Lion, когда путешествуют». Используйте числовой пример, чтобы объяснить, почему результаты опроса не доказывают рекламное утверждение.

American Express и французское бюро по туризму спонсировали опрос, который показал, что большинство посетителей Франции не считают французов особенно недружелюбными. Выборка состояла из «1000 американцев, которые посещали Францию более одного раза с развлекательной целью за последние два года». Почему этот опрос смещён?

В статье New York Times утверждалось, что одна из причин, по которым многие студенты не заканчивают колледж в течение 6 лет после поступления, состоит в том, что они предпочитают «не поступать в лучший колледж, в который могли бы поступить». Например, многие студенты со средним баллом 3.5 в школе могли бы поступить в Мичиганский университет в Энн-Арборе, где доля выпускников составляет $88 \%$, но вместо этого предпочитают поступать в Eastern Michigan, где доля выпускников составляет $39 \%$.

Исследование 1950-х годов обнаружило, что женатые мужчины были здоровее мужчин того же возраста, которые никогда не женились или были разведены, что наводило на мысль, что самый здоровый путь для мужчины — жениться и никогда не разводиться.

В 2011 году группа исследователей сообщила, что австралийцы, смотрящие телевизор по 6 часов в день, в среднем умирают на 5 лет раньше, чем люди, которые вообще не смотрят телевизор. Учитывая пожизненные телевизионные привычки людей, исследователи пришли к выводу, что запрет телевидения увеличил бы ожидаемую продолжительность жизни примерно на 2 года. Как статистик, как бы вы поставили под сомнение это исследование?

Исследователь сообщил, что число статей о диетах в популярной прессе составило в сумме 60 за весь 1979 год, но 50 за один только январь 1989 года. Как статистик, какую ещё информацию вы хотели бы увидеть, прежде чем заключить, что популярная пресса гораздо больше интересовалась диетами в 1989 году, чем в 1979 году?

Книга Наполеона Хилла «Думай и богатей», впервые опубликованная в 1937 году, была продана тиражом более 100 миллионов экземпляров и является двенадцатой самой продаваемой книгой всех времён — после «Кода да Винчи» и перед «Гарри Поттером и Принцем-полукровкой». «Думай и богатей» на самом деле основана на более ранней книге Хилла «Закон успеха», написанной в 1925 году, в которой сообщались результаты интервью Хилла с 45 миллионерами, проведённых с целью выявить общие характеристики этой группы. Как статистик, какие проблемы вы видите в этом исследовании?

Книга «Ваш сосед — миллионер» Томаса Дж. Стэнли и Уильяма Д. Данко обещает раскрыть «удивительные секреты богатых американцев». Чтобы раскрыть эти секреты, авторы разослали 8-страничную анкету, конверт для ответа и однодолларовую купюру 3000 американцам, живущим в богатых районах. Всего было возвращено 1115 анкет, включая 385 от людей с заявленным собственным капиталом более $\$ 1$ миллиона. Затем авторы определили 7 характеристик, общих для этих 385 состоятельных людей. В чём самая большая проблема этого исследования?

На основе интервью с 700 парами, состоявшими в браке десятилетиями, Карл Пиллемер, профессор развития человека в Корнеллском университете, определил несколько секретов долговечного брака, включая щедрость, доброту и эффективное общение. Даже если бы это была случайная выборка пар, состоявших в браке десятилетиями, в чём главная проблема этих данных? Что нужно было бы сделать, чтобы избежать этой проблемы?

Исследование Гарварда 2001 года пришло к выводу, что студенты в колледжах, где полностью запрещён алкоголь, «на $30 \%$ реже практиковали тяжёлое эпизодическое употребление алкоголя и с большей вероятностью воздерживались от алкоголя». Какую проблему вы видите в интерпретации этого исследования?

Как статистик, почему вы с подозрением относитесь к заявлению американского сенатора Теда Круза во время интервью на Late Night with Seth Meyers: «У многих паникёров по поводу глобального потепления есть проблема, потому что наука их не поддерживает. В частности, спутниковые данные показывают, что за последние 17 лет потепления не было вообще»?

Многие люди становятся агентами по недвижимости, надеясь заработать большие комиссионные, но затем уходят после нескольких разочаровывающих лет. Опрос агентов одной фирмы по недвижимости обнаружил положительную связь между годовыми комиссионными и числом лет работы риелтором. Президент компании утверждал, что эти результаты являются доказательством того, что новым агентам не следует сдаваться. Почему эти данные потенциально вводят в заблуждение?

Какой статистический принцип, по вашему мнению, использовал Нассим Талеб, когда утверждал, что оценки шансов на успех в ресторанном бизнесе ненадёжны, потому что «кладбище закрывшихся ресторанов очень молчаливо»?

Рассмотрим гипотетическое исследование, сравнивающее здоровье группы офисных работников со здоровьем астронавтов, вернувшихся из космических миссий. Если бы исследование не показало значимых различий в здоровье, следует ли нам заключить, что космические миссии не несут рисков для здоровья астронавтов?

В апреле 2021 года, после того как вакцины против COVID-19 были одобрены для публичного использования, сенатор от Висконсина Рон Джонсон сказал, что он «крайне подозрительно» относится к правительственной кампании вакцинации и что «нет причин навязывать людям вакцины». В мае 2021 года он сказал, что вакцины могут быть небезопасны: «У нас более 3000 смертей в течение 30 дней после получения вакцины». Почему его довод неубедителен?

Служба общественного здравоохранения располагает данными о числе разводов с разбивкой по месяцу, в котором была проведена свадебная церемония. Так, $6.4 \%$ разводов приходится на пары, поженившиеся в январе. Показывают ли эти данные, что люди, женящиеся в июне или августе, разводятся с большей вероятностью, чем люди, женящиеся в январе?

Опрос 2016 года среди взрослых в возрасте от 20 до 100 лет пришёл к выводу, что пожилые люди испытывают наибольшую удовлетворённость жизнью. Какая статистическая проблема может делать этот вывод вводящим в заблуждение?

В октябре 2001 года Reuters Health сообщило, что

В исследовании более 2100 учащихся средней школы исследователи обнаружили, что мальчики, использовавшие компьютеры для выполнения домашних заданий, сёрфинга в интернете и общения с другими, были более социально и физически активны, чем мальчики, вообще не использовавшие компьютеры.

С другой стороны, мальчики, использовавшие компьютеры для игр, как правило, меньше занимались физическими упражнениями, реже участвовали в развлекательных мероприятиях и имели меньше социальной поддержки, чем их сверстники.

Результаты, опубликованные в октябрьском выпуске Journal of Adolescent Health, предполагают, что родителям следует следить за тем, как их сыновья используют компьютеры, а не только за тем, сколько времени они проводят перед экраном, сообщил Reuters Health ведущий автор доктор Сэмюэл М. Ю. Хо из Гонконгского университета.

Какую проблему вы видите в этом выводе?

В 2015 году широко разошедшаяся новость была озаглавлена «Селфи убили больше людей, чем акулы, в этом году». Подзаголовок гласил: «Люди — всё ещё самый смертоносный хищник в мире». Статья подкрепляла своё утверждение, что люди — самый смертоносный хищник, сообщением о 8 смертях от нападений акул в 2015 году по сравнению с 12 смертями, связанными с неосмотрительными селфи, включая падения со скал, автомобильные аварии, попадание под поезд и случайные выстрелы во время позирования с оружием. Статья заключала, что «вероятность погибнуть от акулы не только меркнет по сравнению со смертоносностью селфи, но и намного ниже числа смертей, вызванных нападениями собак и домашним ремонтом. По сути, почти всё, что вы делаете сегодня (особенно если это связано с автомобилем), с большей вероятностью убьёт вас, чем акула». Почему этот репортаж вводит в заблуждение?

Шер Хайт разослала подробные анкеты (заполнение которых, по её словам, в среднем занимало 4.4 часа) 100 000 женщинам и получила 4500 ответов, из которых $98 \%$ сообщили, что несчастны в отношениях с мужчинами. Опрос Washington Post-ABC News обнаружил, что $93 \%$ опрошенных женщин считали свои отношения с мужчинами хорошими или отличными. Как вы объясните это различие?

Представитель музея Гетти недавно похвастался, что программа стажировок музея, предоставляющая летнюю работу на полный день в музее, увеличивает число студентов, выбирающих карьеру в музеях и других некоммерческих учреждениях изобразительного искусства: «$43 \%$ наших бывших стажёров сейчас работают в музеях и других некоммерческих учреждениях изобразительного искусства». Почему эта статистика не обязательно доказывает этот вывод?

Исследование штата сравнило уровень смертности в ДТП (число погибших на пройденную дистанцию) на шоссе с ограничениями скорости 55, 65 и 75 миль в час. Оказалось, что на шоссе с ограничением 75 миль в час уровень смертности был наименьшим, а на шоссе с ограничением 55 миль в час — наибольшим. По всей видимости, смертность в ДТП можно снизить, повысив ограничения скорости, возможно, потому что люди внимательнее за рулём, когда едут быстро. В чём самая большая статистическая проблема этого исследования?

Исследование 115 кошек, доставленных в ветеринарные больницы Нью-Йорка после падения из высотных многоквартирных домов, обнаружило, что $5 \%$ кошек, упавших с $9-32$ этажей, погибли, тогда как $10 \%$ кошек, упавших с меньшей высоты, погибли. Врачи предположили, что это происходит потому, что кошки, падающие с большей высоты, успевают распластаться и создать эффект парашюта. Что мог бы сказать статистик?

Исследование обнаружило, что с учётом числа автомобилей и пройденного расстояния люди, водящие спортивные автомобили, чаще получают штрафы, чем люди, водящие минивэны. Можете ли вы придумать разумное объяснение, отличное от того, что полиция любит придираться к водителям спортивных автомобилей?

Сообщалось, что,

исследователи из Университета Аделаиды сравнили побочные эффекты зверобоя и антидепрессанта флуоксетина (Прозак). Команда > использовала информацию из отчётов врачей в национальное австралийское агентство по безопасности лекарств. Между 2000 и 2013 годами поступило 84 сообщения о побочных реакциях на зверобой. По Прозаку поступило 447 сообщений.

Как статистик, какая самая важная причина, по которой вы посоветовали бы проявлять осторожность при выводе, что зверобой безопаснее Прозака?

Исследование компании Vanguard паевых фондов, действовавших в 2013 году, обнаружило, что $62 \%$ обошли по доходности общий фондовый рынок за предыдущие 5 лет. Какую статистическую проблему вы видите здесь?

За месяц до президентских выборов в США 2020 года Джимми Файлла, ведущий Fox Across America, написал:

Кандидат от Демократической партии Джо Байден, похоже, лидирует в большинстве опросов, но вы бы никогда об этом не догадались, проехав по Среднему Западу и посчитав агитационные таблички на домах людей. Нет, по этому показателю президент Трамп на пути к победе с разгромным преимуществом на газонах....

Могу с полной уверенностью сообщить, что недавняя семейная поездка на машине провезла нас через штаты-«качели» Огайо, Пенсильванию и Мичиган, и во всех трёх штатах таблички «Байден-Харрис» оказались далёким третьим местом позади «Трамп-Пенс» и «Продаётся сладкая кукуруза».

Меня так впечатлил этот феномен, что я непрерывно обсуждал его с дальнобойщиками нашей страны на своём радиошоу «Fox Across America». Менее чем за 30 дней до выборов общее мнение звонивших на моё радиошоу таково, что таблички Трампа превосходят числом таблички Байдена примерно 25 к 1 во всех 50 штатах.

Приведите два разных объяснения того, почему этот опрос по табличкам оказался настолько неверным.

Профессиональный гид по природным маршрутам, инструктор и натуралист недавно написал, что Гранд-Каньон в Аризоне — самый опасный национальный парк, потому что там с 2010 года погибли 134 человека, больше, чем в любом другом национальном парке. Как статистик, как бы вы поставили эту статистику под сомнение?

Средние оценки, как правило, выше на курсах химии для старшекурсников колледжа, чем на вводных курсах химии, что наводит на мысль, что студентам, получившим плохие оценки на вводном курсе химии, не следует отказываться от дальнейшего изучения химии. Определите самое важное статистическое смещение в этих данных и опишите (гипотетический) эксперимент, который позволил бы избежать этой проблемы.

Опрос 2010 года обнаружил, что в среднем сотрудники компании WD проработали в компании 20 лет, что наводит на мысль, что в среднем человек, устраивающийся на работу в WD, проработает в компании 20 лет. Объясните, почему эти данные опроса могут быть согласуемы с ситуацией, в которой в среднем человек, устраивающийся на работу в WD, проработает в компании

В рекламном ролике Subaru 2024 года говорилось, что $98 \%$ автомобилей Subaru, купленных за последние 10 лет, всё ещё находятся на ходу. Показывает ли эта статистика, что вероятность того, что Subaru прослужит 10 лет, составляет $98 \%$?

Исследование 20 072 случаев поступления в отделения неотложной помощи одной британской больницы обнаружило, что пациенты, поступившие в государственные праздники, на $48 \%$ чаще умирали в течение 7 дней, чем пациенты, поступившие в другие дни. Одна из интерпретаций этой статистики состоит в том, что врачи, работающие в отделениях неотложной помощи в государственные праздники, менее квалифицированы и их следует избегать. Предложите другую интерпретацию.

В 1989 году высший суд штата Нью-Йорк назвал брак «фиктивным юридическим различием». Редакционная статья Wall Street Journal в поддержку брака отметила, что «взрослые неженатые мужчины в пять раз чаще совершают насильственные преступления, чем женатые мужчины», предполагая, что брак — важный фактор снижения насильственной преступности. Как ещё можно объяснить эти данные?

В 2018 году сообщалось, что у людей, которые едят много сыра, реже случаются инсульты и ниже риск сердечно-сосудистых заболеваний. Почему это исследование может быть ошибочным?

В июле 1983 года конгрессмены Джерри Стаддс (демократ от Массачусетса) и Дэниел Крейн (республиканец от Иллинойса) были осуждены Палатой представителей за сексуальные связи с несовершеннолетними стажёрами. Анкета Cape Cod Times спрашивала читателей, должен ли Стаддс «немедленно уйти в отставку», «доработать свой нынешний срок, но не баллотироваться на переизбрание» или «доработать свой нынешний срок и баллотироваться на переизбрание». Из тиража в 51 000 человек 2770 вернули анкету:

Почему эти результаты опроса почти наверняка вводят в заблуждение?

Бюро переписи населения регулярно оценивает пожизненный доход людей по возрасту, полу и образованию. Используя эти оценки за 1983 год, одна газета сообщила, что

18-летние мужчины, получившие высшее образование, будут «стоить» вдвое больше, чем их ровесники, не окончившие среднюю школу. В среднем такой 18-летний может рассчитывать заработать чуть более $\$ 1.3$ миллиона, тогда как средний бросивший среднюю школу может рассчитывать заработать около $601,000 в возрасте от 18 до 64 лет.

Майк О'Доннелл получал плохие оценки в средней школе и подумывал бросить учёбу и пойти работать в строительную фирму своей семьи. Но его отец прочитал эту статью и сказал Майку, что бросить учёбу будет ошибкой стоимостью в $\$ 700,000$. Прав ли отец Майка?

Исследование 2010 года крупной калифорнийской компании выявило белых сотрудников-мужчин, нанятых на начальные должности 10 лет назад. Это исследование обнаружило, что мужчины с заметным южным акцентом получили меньшие прибавки к зарплате за этот 10-летний период, чем мужчины без южного акцента. В чём самая большая проблема этого исследования?

Объясните возможные изъяны в этом выводе:

Пьющий человек выпивает более чем вдвое больше пива, если оно подаётся в кувшине, чем в стакане или бутылке, и запрет кувшинов в барах мог бы уменьшить проблему вождения в нетрезвом виде, заявил вчера исследователь. Скотт Геллер, профессор психологии в Виргинском политехническом институте и университете в Блэксбурге, Вирджиния, изучал употребление алкоголя в трёх барах рядом с кампусом. Наблюдатели обнаружили, что в среднем посетители баров выпивали 35 унций пива на человека, когда оно подавалось из кувшина, но только 15 унций из бутылки и 12 унций из стакана.

Крупная калифорнийская газета The Sun задала своим читателям следующий вопрос: «Считаете ли вы, что в Калифорнии следует ввести закон об исключительном использовании английского языка?» Из 2674 человек, приславших ответы по почте, $94 \%$ ответили «да». Почему это может быть очень смещённой выборкой мнений калифорнийцев?

Петиция, призывающая школы предлагать латынь, а студентов — изучать её, отмечала, что «семьдесят процентов английских слов имеют латинское происхождение, поэтому у изучающих латынь больший словарный запас английского языка. Фактически, изучающие латынь набирают на 150 баллов больше по вербальной части SAT, чем их сверстники, не изучающие латынь». Как скептик мог бы оспорить этот довод?

Доктор Тимоти Робертс сообщил на встрече Pediatric Academic Societies в 2002 году, что государственный опрос 1995-1996 годов среди 4600 учащихся средней школы обнаружил, что и мальчики, и девочки со значительно большей вероятностью курили сигареты, употребляли алкоголь и марихуану, вступали в половые связи и прогуливали школу, если у них были пирсинги на теле. Подразумевает ли его исследование, что мы могли бы сократить эти виды поведения, сделав пирсинг на теле незаконным?

Недавнее исследование сравнило уровни смертности (число смертей в год на 1000 игроков) людей, играющих в различные игры, включая бинго (41.3), пивной понг (1.6) и Mortal Kombat (.04). Как статистик, как бы вы ответили на этот вывод?

Цифры раскрывают тревожную истину: бинго может быть не таким безопасным, как некоторые предполагали. «Это первое свидетельство, которое мы видели, что жестокие видеоигры на самом деле снижают уровень смертности», — говорит генеральный директор PlayGear Пит Элор. «Это удар по голове для тех, кто выступает за менее жестокие формы развлечений».

Юрист Джеральд Хилл считает, что церкви и обществу нужно принять меры: «Когда смотришь на цифры, просто невозможно это обойти. Бинго уносит жизни направо и налево. И это затрагивает не только сообщество игроков в бинго. Друзья и семьи тех, кого мы теряем из-за бинго, страдают ещё большей утратой». Остаётся только надеяться, что это исследование заставит людей дважды подумать, прежде чем предаваться такому рискованному поведению.

«При выходе на пенсию человек может выбрать единовременную выплату или фиксированный годовой доход до конца жизни. Те, кто выбирает годовой доход, живут в среднем на $2 \frac{1}{2}$ года дольше, чем население в целом. Это показывает, что душевное спокойствие очень важно для здоровья человека». Предложите альтернативное объяснение.

В 2024 году статья Wall Street Journal сообщала, что люди, как правило, выходят на пенсию раньше, чем планировали: «Существует большой разрыв между тем, как работники представляют себе сроки выхода на пенсию, и реальностью для пенсионеров». В основе этого вывода лежали два опроса. Один опрос спрашивал работающих людей, когда они планируют выйти на пенсию. Второй опрос спрашивал пенсионеров, когда они вышли на пенсию. Эта таблица показывает процент ответов по различным возрастным категориям, при этом фактический возраст выхода на пенсию в целом моложе запланированного. Какую фундаментальную статистическую проблему вы видите в этом исследовании?

Используйте конкретные гипотетические числа, чтобы объяснить, почему эти данные не обязательно обосновывают этот вывод журнала California Highways:

Крупное городское полицейское управление проверило одежду пешеходов, погибших в ДТП ночью. Около четырёх пятых жертв были одеты в тёмную одежду, а одна пятая — в светлую. Это исследование подчёркивает правило, что пешеходы реже попадают в ДТП ночью, если они носят или несут что-то белое в тёмное время суток, чтобы водители могли легче их заметить.

«Самое опасное место — это кровать, поскольку в кровати умирает больше людей, чем где-либо ещё». Согласны ли вы с этим?