Тогда еще важный вопрос: а какова типичная точность? Т.е. в каком проценте случаев прогноз говорит "нет" при правильном ответе "да" или говорит "да" при правильном ответе "нет"?
Принцип эксперимента таков. Экспериментатор выбирает некоторое количество людей, так, чтобы для ровно половины правильным ответом было "да", а еще для половины ответом было "нет". Полная информация о людях запечатывается в конверт. Астрологу сообщается список людей в нейтральной форме (имена, даты рождения и т.д.), после чего астролог выполняет свои процедуры (экспериментатору в данном случае детали неинтересны), получает ответы "да" или "нет" и проставляет их для людей в списке. После чего конверт распечатывается и считается процент совпадений.
Это объективное измерение реальной точности. Если метод астролога не работает, точность будет такая же, как для кидания монеты (грубо говоря, половина ошибок, половина случайных совпадений). Если метод работает, ошибок будет мало или не будет совсем.
Где тут зарыта собака. Даже при кидании монеты есть ненулевая вероятность получить правильный ответ случайно. Например, если бросить монету 10 раз подряд, то примерно в 1 случае из 1024 выпадет 10 раз подряд орел. Точно так же для списка из 10 человек в 1 случае из 1024 мы получим случайное совпадение во ВСЕХ ответах! И, грубо говоря, в 1 случае из 100 мы получим совпадение в 9 из 10 ответов. Еще больше шансов случайно получить 8 из 10 и т.д.; чаще всего, однако, будет получаться 5 из 10. Чуть реже - 4/10 или 6/10. А вот "все неправильно" опять будет очень редко, снова один раз из тысячи. Поэтому нам надо определить, сколько взять человек в списке, чтобы можно было уверенно сказать, что совпадения не случайны.
Если астролог говорит "не ошибаюсь никогда", тогда все просто. Совпадений должно быть 10 из 10. Шансов получить такое случайно - 1:1000, достаточно мало (но все еще бывает).
А вот если астролог говорит "правильно в 80% случаев", тогда уже сложнее. Правильно назвать 8 из 10 уже становится недостаточно, ведь 8 из 10 иногда получается случайным угадыванием (бросанием монетки). Тогда придется требовать не 8 из 10, а 16 из 20. И чем хуже точность, названная астрологом, тем труднее будет это проверить.
Разумеется, точности хуже 50% быть не может. "Правильно в половине случаев" - это как монетку бросать. Говорить о точности меньше 50% просто бессмысленно: скажем, "правильно в 40% случаев" означает "в 60% наоборот", ну так тогда надо просто говорить наоборот, и это будет 60% совпадений. (Это относится только к вопросам "да-нет" и не относится к случаям, когда вариантов ответа больше, там сложнее законы).
Если ожидаемая точность мала, то нам потребуется больше двух вариантов ответа. Например, "не руководитель", "начальник отдела, но не фирмы", "директор фирмы", "управляет многими фирмами сразу".
В общем, вся суть таких измерений: отличить случайность от закономерности. И, кстати, хорошая иллюстрация, как ученые вообще доказывают существование тех или иных явлений.
