Форум С.Кара-Мурзы : Ветка : Георгию об образовании (в частности об экзаменах)

От	Социал
К	Социал
Дата	14.11.2001 02:45:43
Рубрики	Прочее; Образы будущего; Идеология; Компромисс; Программа; ...

Георгию об образовании (в частности об экзаменах)

Вижу, что Вас заинтересовал вопрос образования и в частности контроля за ним. Этот вопрос долгое время занимал и меня, и я пришёл к выводу о необходимости единого госудраственного экзамена, НО(!) не в том виде, в котором его проводят сейчас.

Экзамен должен быть независимым и комплексным.
Мною разработана методика, позволяющая проводить такие экзамены на базе ЭВМ. Поскольку она беспристрастна и её неподкупишь. Естественно остаётся возможность воспользоваться справочными пособиями, но тут уже ЭВМ не поможет, за этим должен следить человек.

В идеале все происходит следующим образом. Экзаменуемый, на время зкзамена, помещается в закрытое помещение, откуда удалены все возможные справочные материалы. Помещение оснащено удаленным терминалом с линией связи 3-го класса защиты (это отдельная разработка). Фактически никто не может вмешаться в процесс сдачи экзамена. Экзаменуемому предоставляется ряд вопросов, который постепенно усложняется, по мере возрастания правильных ответов на эти вопросы.
За каждый правильный ответ начисляется 1 очко помноженное на сложность вопроса. Максимальное количесетво очков, которые может набрать экзаменуемый равно 1000. Таким образом, вырабрав ряд ключевых дисциплин и подготовив для них комплексные тесты, государство сможет объективно оценить знания каждого по тысячебальной шкале, что, согласитесь, намного точнее используемой сейчас 5 бальной.
Я считаю, что подобные экзамены человек должен сдавать где-то в среднем раз в три года (поскольку необходимо обнавлять знания и поддерживать память на должном уровне, хотя этот вопрос остается открытым).

В законах необходимо оговорить, что на работу должен приниматься любой человек имеющий не менее ххх балов по данной дисциплине.

Если хотите, то я подробно опишу методику тестирования и подсчета баллов.

От	Лилия
К	Социал (14.11.2001 02:45:43)
Дата	17.11.2001 12:48:07

в частности об экзаменах

Привет!

В Америке, наряду с печально известным "multiple choice" экзаменом, который у нас внедряется, есть и другой тип. За такой экзамен надо идти в специальную контору (с $), и существование его по меньшей мере не рекламируется, хотя если родители достучались до него, он принимается наравне с обычным. Хоть там и сидит преподаватель, такой экзамен можно в принципе компьютеризировать гораздо легче, чем то, что предлагает Социал. В отличие от многовариантного, этот экзамен с "открытым ответом" - студент должен допендрить до ответа сам, а преподаватель должен отметить у себя на листе, правильный ли ответ.
Вопросы идут по возрастающей сложности, последовательность их линейная. Тест прекращается, когда студент делает то ли 5, то ли 6 ошибок. Смотрят, до какого вопроса дошел и сравнивают с другими, кто сдавал этот тест. Ставят %.
Таким образом, убрана скука от большого количества простых вопросов и одновременно привнесен элемент соревновательности.

От	Дмитрий Кобзев
К	Социал (14.11.2001 02:45:43)
Дата	14.11.2001 07:32:02

Не стоит

Привет!

>Экзамен должен быть независимым и комплексным.

>Мною разработана методика, позволяющая проводить такие экзамены на базе ЭВМ. Поскольку она беспристрастна и её неподкупишь.
Она еще и ограничена - это ее главный недостаток.

>В идеале все происходит следующим образом. Экзаменуемый, на время зкзамена, помещается в закрытое помещение, откуда удалены все возможные справочные материалы. Помещение оснащено удаленным терминалом с линией связи 3-го класса защиты (это отдельная разработка).
Несерьезно, извините.

>Фактически никто не может вмешаться в процесс сдачи экзамена.
А если сбой произошел? Человек просто не на ту кнопку нажал - не тот ответ выбрал?
>Экзаменуемому предоставляется ряд вопросов, который постепенно усложняется, по мере возрастания правильных ответов на эти вопросы.
Такого рода экзамены тренируют просто запоминание и неэффективны в принципе.
Сущность экзамена - не столько в проверке знаний (это не главное), а в демонстрации умения их применять.
Например, когда я сдавал экзамены по выш.математике - теоретическая часть проверялась _только_ после (а обычно преподаватель удовлетворялся просто взглядом на исписанные листочки с доказательствами) удовлетворительного впечатления от решения задач. Причем, для решения задач имело значение не получение в принципе правильного ответа - а и ход решения.

>За каждый правильный ответ начисляется 1 очко помноженное на сложность вопроса. Максимальное количесетво очков, которые может набрать экзаменуемый равно 1000. Таким образом, вырабрав ряд ключевых дисциплин и подготовив для них комплексные тесты, государство сможет объективно оценить знания каждого по тысячебальной шкале, что, согласитесь, намного точнее используемой сейчас 5 бальной.
Чепуха это, извините. Суть экзамена не в точности определения знаний по балльной шкале.

>Я считаю, что подобные экзамены человек должен сдавать где-то в среднем раз в три года (поскольку необходимо обнавлять знания и поддерживать память на должном уровне, хотя этот вопрос остается открытым).
А смысл какой в этом?

>В законах необходимо оговорить, что на работу должен приниматься любой человек имеющий не менее ххх балов по данной дисциплине.
Ну и в чем тогда смысл вашей дробной шкалы до 1000 баллов?
Уровней должностей в каждой из отраслей - намного меньше

>Если хотите, то я подробно опишу методику тестирования и подсчета баллов.
Не думаю, что от этого какая-то польза была бы.
Практические реализации такого рода тестов есть, к примеру на www.brainbench.com,
например - экзамен по языку С - предлагается 80 вопросов (случайно из базы в 800 вопросов), в каждом из вопросов предлагается по 5 ответов, они перемешиваются случайным образом.
Выясняется, что даже при такой базе степень повторяемости вопросов - весьма велика, достаточно кооперации 5-10 человек, чтобы вопросы накапливать и систематизировать ответы.
А создание умных и точных вопросов - та еще задача, на разработку вопросников потребуются тысячи человеко-часов работы преподавателей высшей квалификации.
Где вы их возьмете?

С уважением, Дмитрий Кобзев

От	Colder
К	Дмитрий Кобзев (14.11.2001 07:32:02)
Дата	15.11.2001 16:11:22

Небольшая реплика по поводу экзаменов

>Сущность экзамена - не столько в проверке знаний (это не главное), а в демонстрации умения их применять.

Краеугольный камень.

>Например, когда я сдавал экзамены по выш.математике - теоретическая часть проверялась _только_ после (а обычно преподаватель удовлетворялся просто взглядом на исписанные листочки с доказательствами) удовлетворительного впечатления от решения задач. Причем, для решения задач имело значение не получение в принципе правильного ответа - а и ход решения.

Это что! Когда я учился в питерском политехе, было у нас два замечательных кадра (кстати, замечательных без подвоха):

1. Доцент Сахаров (сразу предупреждаю - просто однофамилец, никакого родства с пресловутым). Он у нас на старших курсах вел такой предмет как т.н. экспериментальная физика. Дык у него был железный принцип - на экзамены можешь нести с собой хоть всю доступную тебе библиотеку! Бога ради! Компенсировал он это тем, что что подготовку к ответу ограничивал жесткими 15 минутами и все без исключения вопросы у него были на понимание предмета.
Никогда не забуду, как он моментально завалил одну деваху из нашей группы по вопросу объяснения фазовой и групповой скорости света требованием пояснить пример "катер на Неве". Сгорела насчастная как свечка :(.

2. Второго к великому моему сожалению не помню - он вел у нас семинары по высшей математике. Для начала нас огрел нормой - 200 задач в неделю (это вчерашних-то школьников!). С особо злобным подтекстом - все контрольные задачи будут составляться из домашних. Но высшим классом у него было изредка давать НЕРЕШАЕМЫЕ задачи - с тем, чтобы студент, во-первых, просек, что задача нерешаема (а для этого иногда требуется больше знаний, чем просто для решения обычных знаний - причем может быть даже не самих знаний, сколько уверенности в том, что знаешь), а, во-вторых, он ессно требовал объяснения, ПОЧЕМУ она нерешаема. Опять-таки никогда не забуду, когда ПЕРВЫМ из нашей группы нарвался на эту плюху. (Кстати, с гордостью могу вспомнить, что вышел с честью - лбом стенку прошибать не пытался).

Какая такая ЭВМ (хе-хе, термИн-то какой старомодный) способна предложить такое???

От	Социал
К	Дмитрий Кобзев (14.11.2001 07:32:02)
Дата	15.11.2001 01:55:52

СтОит

От	Дмитрий Кобзев
К	Социал (15.11.2001 01:55:52)
Дата	15.11.2001 09:26:00

Ну-ну

Привет!

Почему бы просто не использовать письменные экзамены и проверять работы под шифром живыми преподавателями?

>Указанных вами недостатков он лишен по следующим причинам:
>1. Общее количество вопросов на которые экзаменуемый должен ответить = 190.
Т.е., время экзамена (по 2 минуты на вопрос в среднем) - свыше 6 часов.
Если меньше - вопросы будут примитивными, на запоминание.
Любые мало-мальски сложные вопросы требуют не менее 5-10 минут на раздумье

>2. Общее количество вопросов в базе данных 10'000.
Кто только составит такую гору вопросов? Они неизбежно будут пересекаться и быть простыми.
В общем, несерьезно.
>3. Выборка вопросов осуществляется НЕРАВНОМЕРНО. Следовательно вероятность выпадения одних вопросов больше чем других.
Т.е. вероятность подбора - больше, т.к., вместо чисто случайного распределения, реально получается далекое от случайного. Люди примерно с одним уровнем подготовки с большей вероятностью будут получать одинаковые вопросы.
Несерьезно.

>4. Кооперация невозможна, поскольку экзаменуемый изолируется на время экзамена от окружающего мира.
А на экзамене нет никакой кооперации. Просто он будет записывать вопросы и свои ответы (хотя бы для контроля - отказать вы не сможете - нет права) - а потом поделится материалами с теми, кто за дверями.
Несерьезно.

>5. Выбор вопросов зависит от предыдущих ответов экзаменуемого.
См.п3. - результат _ухудшение_ случайного распределения, т.е. эквивалент базы вопросов сужаетсяя с 10 тыщ, например - вдвое.
>6. Осуществляется подтверждение ввода, поэтому в случае ошибочно нажатой кнопки у экзаменуемого будет возможность исправить ответы после чего подтвердить ввод.
А это увеличивает время на ответ и не снимает проблемы. Все равно ошибся, не проверил. А ход решения - верный.
Бездушная машина поставила пару.
>Данный метод приследует единственную цель - избежать необъективности со стороны преподавателя.
Эта цель достигается гораздо проще.
Кто поверит программистов, писавших прогу экзамена?
Поскольку будет использоваться одна и та же прога в масштабе страны - представьте какой интенсивности атак она будет подвергаться - куш то какой большой
Исход атак - предсказуем. НЕ сломают, так подкупят программистов.
>Вы говорите о тысячах человеко-часов, но с другой стороны имея ресурсы государства эти тысячи часов будут легко найдены.
Их можно потратить с большим толком.

С уважением, Дмитрий Кобзев

От	Социал
К	Дмитрий Кобзев (15.11.2001 09:26:00)
Дата	15.11.2001 12:29:13

Re: Ну-ну

>Почему бы просто не использовать письменные экзамены и проверять работы под шифром живыми преподавателями?
Живыми преподавателями проверяют сейчас (в институтах при поступлении) именно под шифрами, однако...
нужная сумма, нужному человеку и в итоге нужная оценка.

>>2. Общее количество вопросов в базе данных 10'000.
>Кто только составит такую гору вопросов? Они неизбежно будут пересекаться и быть простыми.
>В общем, несерьезно.
Не факт. Всё зависит от организации и ещё огромного ряда факторов. Вопросы и должны быть простыми (на понимание, а не на запоминание).

>>3. Выборка вопросов осуществляется НЕРАВНОМЕРНО. Следовательно вероятность выпадения одних вопросов больше чем других.
>Т.е. вероятность подбора - больше, т.к., вместо чисто случайного распределения, реально получается далекое от случайного. Люди примерно с одним уровнем подготовки с большей вероятностью будут получать одинаковые вопросы.
>Несерьезно.
Это вы говорите несерьезно.
Что значит "чисто случайное распределение"? Я такого не знаю. И причём здесь вероятность подбора? От уровня подготовки вероятность получать одинаковые вопросы не зависит. Это не коррелированные параметры.

>>4. Кооперация невозможна, поскольку экзаменуемый изолируется на время экзамена от окружающего мира.
>А на экзамене нет никакой кооперации. Просто он будет записывать вопросы и свои ответы (хотя бы для контроля - отказать вы не сможете - нет права) - а потом поделится материалами с теми, кто за дверями.
>Несерьезно.
Записывать 190 вопросов, когда только-только хватает времени чтобы на них ответить...
Он будет сам себе злобный Буратино.

>>5. Выбор вопросов зависит от предыдущих ответов экзаменуемого.
>См.п3. - результат _ухудшение_ случайного распределения, т.е. эквивалент базы вопросов сужаетсяя с 10 тыщ, например - вдвое.
Никакого _ухудшения_ случайного распределения быть не может (по определению). Просто вопросы имеют еще градации по сожности. И зависимость там не линейная а логорифмическая.

>>6. Осуществляется подтверждение ввода, поэтому в случае ошибочно нажатой кнопки у экзаменуемого будет возможность исправить ответы после чего подтвердить ввод.
>А это увеличивает время на ответ и не снимает проблемы. Все равно ошибся, не проверил. А ход решения - верный.
>Бездушная машина поставила пару.
Ход решения может быть только в тех случаях, когда для ответа на вопрос требуются математические вычисления.
А если вопрос построен не на вычисления а на понимание, то вычислений не требуется. Требуется правильно понимать суть вопроса.

>>Данный метод приследует единственную цель - избежать необъективности со стороны преподавателя.
>Эта цель достигается гораздо проще.
>Кто поверит программистов, писавших прогу экзамена?
Любой желающий.

>Поскольку будет использоваться одна и та же прога в масштабе страны - представьте какой интенсивности атак она будет подвергаться - куш то какой большой
>Исход атак - предсказуем. НЕ сломают, так подкупят программистов.
Программу не сломают и программистов не подкупят.
Потому что от программы НИЧЕГО не зависит. Там нечего ломать. Её дело брать из базы вопрос, получать на него ответ сверять его с верным и проставлять в соответсвии с этим балл - всё. Ни каких других действий программа не выполняет.
Исходные тексты программы доступны общественности - поэтому что либо "заложить" в программу просто не возможно.

От	Дмитрий Кобзев
К	Социал (15.11.2001 12:29:13)
Дата	15.11.2001 14:45:21

Видно, вы и в программах слабо понимаете :)

Привет!

>>Почему бы просто не использовать письменные экзамены и проверять работы под шифром живыми преподавателями?
>Живыми преподавателями проверяют сейчас (в институтах при поступлении) именно под шифрами, однако...
>нужная сумма, нужному человеку и в итоге нужная оценка.
Ну так с этим и надо бороться, а не монстров измышлять :)

>>>2. Общее количество вопросов в базе данных 10'000.
>>Кто только составит такую гору вопросов? Они неизбежно будут пересекаться и быть простыми.
>>В общем, несерьезно.
>Не факт. Всё зависит от организации и ещё огромного ряда факторов. Вопросы и должны быть простыми (на понимание, а не на запоминание).
Вот я и сомневаюсь, что столько вопросов можно придумать - по опыту работы с www.brainbench.com - (зайдите - очень рекомендую, посмотрите, как в реальности ваши фантазии могли бы выглядеть ) - а это самый продвинутый международный проект сейчас - развивается уже более 2х лет, и работает над ним - множество специалистов - большинство вопросов именно на запоминание.

>>>3. Выборка вопросов осуществляется НЕРАВНОМЕРНО. Следовательно вероятность выпадения одних вопросов больше чем других.
>>Т.е. вероятность подбора - больше, т.к., вместо чисто случайного распределения, реально получается далекое от случайного. Люди примерно с одним уровнем подготовки с большей вероятностью будут получать одинаковые вопросы.
>>Несерьезно.
>Это вы говорите несерьезно.
>Что значит "чисто случайное распределение"? Я такого не знаю.
Так. Поймите, что если процесс _неслучаен_ - предугадать его поведение проще, чем случайный.

>>>4. Кооперация невозможна, поскольку экзаменуемый изолируется на время экзамена от окружающего мира.
>>А на экзамене нет никакой кооперации. Просто он будет записывать вопросы и свои ответы (хотя бы для контроля - отказать вы не сможете - нет права) - а потом поделится материалами с теми, кто за дверями.
>>Несерьезно.
>Записывать 190 вопросов, когда только-только хватает времени чтобы на них ответить...
>Он будет сам себе злобный Буратино.
Он попросит протокол у вас, чтобы потом можно было проконтролировать правильность оценки работы независимыми экспертами - и это справедливо. Мало ли какие ошибки в базе будут.

>>>5. Выбор вопросов зависит от предыдущих ответов экзаменуемого.
>>См.п3. - результат _ухудшение_ случайного распределения, т.е. эквивалент базы вопросов сужаетсяя с 10 тыщ, например - вдвое.
>Никакого _ухудшения_ случайного распределения быть не может (по определению). Просто вопросы имеют еще градации по сожности. И зависимость там не линейная а логорифмическая.
Это не о том. См.выше.

>>>6. Осуществляется подтверждение ввода, поэтому в случае ошибочно нажатой кнопки у экзаменуемого будет возможность исправить ответы после чего подтвердить ввод.
>>А это увеличивает время на ответ и не снимает проблемы. Все равно ошибся, не проверил. А ход решения - верный.
>>Бездушная машина поставила пару.
>Ход решения может быть только в тех случаях, когда для ответа на вопрос требуются математические вычисления.
>А если вопрос построен не на вычисления а на понимание, то вычислений не требуется. Требуется правильно понимать суть вопроса.
Вот вам студент и скажет - вопрос не понял.
Со мной именно такой случай и был на экзамене.
Просто вопрос был коряво сформулирован, много запятых - и я его не понял. Без преподавателя обойтись не получилось. Именно когда я сдавал бумажку преподаватель удивился, как на такой простой вопрос неправильно дан ответ - только это его удивление и спасло от пары - материал-то я знал, просто вопроса не понял.

>>>Данный метод приследует единственную цель - избежать необъективности со стороны преподавателя.
>>Эта цель достигается гораздо проще.
>>Кто поверит программистов, писавших прогу экзамена?
>Любой желающий.
Я имею в виду - конкретный экземпляр программы, который работает на экзамене.

>>Поскольку будет использоваться одна и та же прога в масштабе страны - представьте какой интенсивности атак она будет подвергаться - куш то какой большой
>>Исход атак - предсказуем. НЕ сломают, так подкупят программистов.
>Программу не сломают и программистов не подкупят.
>Потому что от программы НИЧЕГО не зависит. Там нечего ломать. Её дело брать из базы вопрос, получать на него ответ сверять его с верным и проставлять в соответсвии с этим балл - всё. Ни каких других действий программа не выполняет.
От программы зависит - какая оценка будет выставлена,
или она у вас выдает просто протокол выбранных ответов, а по нему потом надо еще куда-то обращаться? Каким образом и кто оценивает правильность ответов?
Где хранится отношение вопрос-правильный ответ?

>Исходные тексты программы доступны общественности - поэтому что либо "заложить" в программу просто не возможно.
Бомбу заложать в конкретные экземпляры программ, которые преобразуют протокол ответов в оценку.

С уважением, Дмитрий Кобзев

От	Социал
К	Дмитрий Кобзев (15.11.2001 14:45:21)
Дата	15.11.2001 21:16:35

Наверное (^^), только вот вы совсем не понимаете то чего говорите...

>>>Почему бы просто не использовать письменные экзамены и проверять работы под шифром живыми преподавателями?
>>Живыми преподавателями проверяют сейчас (в институтах при поступлении) именно под шифрами, однако...
>>нужная сумма, нужному человеку и в итоге нужная оценка.
>Ну так с этим и надо бороться, а не монстров измышлять :)
Как бороться? Пока сознательных кадров не воспитаем никакими средствами бороться не получится. У нас в университете честных в приёмную комиссию не берут на пушечный выстрел...

>Вот я и сомневаюсь, что столько вопросов можно придумать - по опыту работы с www.brainbench.com - (зайдите - очень рекомендую, посмотрите, как в реальности ваши фантазии могли бы выглядеть ) - а это самый продвинутый международный проект сейчас - развивается уже более 2х лет, и работает над ним - множество специалистов - большинство вопросов именно на запоминание.
У меня не фантазии а реальные наработки, подкрепленные теорией.
Рекомендуемый вами сайт с точки зрения построения статистического сбора и обработки информации - вчерашний, а порой позавчерашний день.
Кстати, построение вопросов на запоминание - типичный западный метод преподавания, а от этого у них нарушено ассоциативное мышление. Даже таблицу умножения им не объясняют (на понимание), а просто дают примеры на запоминание. Если им написать 3х3=33, то они так и запомнят, у них нет понимания, что 3х3 = 3+3+3.

>>>>3. Выборка вопросов осуществляется НЕРАВНОМЕРНО. Следовательно вероятность выпадения одних вопросов больше чем других.
>>>Т.е. вероятность подбора - больше, т.к., вместо чисто случайного распределения, реально получается далекое от случайного. Люди примерно с одним уровнем подготовки с большей вероятностью будут получать одинаковые вопросы.
>>>Несерьезно.
>>Это вы говорите несерьезно.
>>Что значит "чисто случайное распределение"? Я такого не знаю.
>Так. Поймите, что если процесс _неслучаен_ - предугадать его поведение проще, чем случайный.
А где я сказал что процесс "не случаен"? Покажите мне? Я сказал что "выброка осуществляется НЕРАВНОМЕРНО".
Т. е. используется не равномерное распределение, а, скажем нормальное, или логнормальное. При этом вероятность выпадения одних вопросов больше чем других. НО, выборка производится случайным образом.
Существует огромное множество распределений (на вскидку могу припомнить около 30), и только в равномерном все варианты равновероятны.
Вообщем, идите и вспоминайте матстатистику (если хотите конечно), весьма полезная наука.

>Он попросит протокол у вас, чтобы потом можно было проконтролировать правильность оценки работы независимыми экспертами - и это справедливо. Мало ли какие ошибки в базе будут.
Это ему абсолютно никаким образом не поможет...

>>>>5. Выбор вопросов зависит от предыдущих ответов экзаменуемого.
>>>См.п3. - результат _ухудшение_ случайного распределения, т.е. эквивалент базы вопросов сужаетсяя с 10 тыщ, например - вдвое.
>>Никакого _ухудшения_ случайного распределения быть не может (по определению). Просто вопросы имеют еще градации по сожности. И зависимость там не линейная а логорифмическая.
>Это не о том. См.выше.
Именно о том. Просто вы не понимаете о чем говорите.

>Вот вам студент и скажет - вопрос не понял.
>Со мной именно такой случай и был на экзамене.
>Просто вопрос был коряво сформулирован, много запятых - и я его не понял. Без преподавателя обойтись не получилось. Именно когда я сдавал бумажку преподаватель удивился, как на такой простой вопрос неправильно дан ответ - только это его удивление и спасло от пары - материал-то я знал, просто вопроса не понял.
Такое впечатление, что вы этот вопрос первый раз на экзамене увидили. К экзаменам готовится надо. Все вопросы заранее известны. Так что понял-не_понял все равно что сдал-не_сдал.
У нас математик был просто зверь, поэтому все его вопросы мы за три месяца до сессии учить начинали (не заучивать, а учить).
А на двойку был тест минимум:
1. (-x)^(-1/3) = -1.
2. Найти площадь: y = 0; x = 0; y = 1 - x.
3. Решить уравнение: y'' - y' + 1 = 0.

>>>>Данный метод приследует единственную цель - избежать необъективности со стороны преподавателя.
>>>Эта цель достигается гораздо проще.
>>>Кто поверит программистов, писавших прогу экзамена?
>>Любой желающий.
>Я имею в виду - конкретный экземпляр программы, который работает на экзамене.
На заводе государственной комиссией, где происходит штамовка программы (^^).

>>>Поскольку будет использоваться одна и та же прога в масштабе страны - представьте какой интенсивности атак она будет подвергаться - куш то какой большой
>>>Исход атак - предсказуем. НЕ сломают, так подкупят программистов.
>>Программу не сломают и программистов не подкупят.
>>Потому что от программы НИЧЕГО не зависит. Там нечего ломать. Её дело брать из базы вопрос, получать на него ответ сверять его с верным и проставлять в соответсвии с этим балл - всё. Ни каких других действий программа не выполняет.
>От программы зависит - какая оценка будет выставлена,
Верно.
>или она у вас выдает просто протокол выбранных ответов, а по нему потом надо еще куда-то обращаться? Каким образом и кто оценивает правильность ответов?
Программа.
>Где хранится отношение вопрос-правильный ответ?
Программа находится на ПЛМ
База вопросов и ответов (в том числе правильных) так же находится на ПЛМ (но отдельной, по каждому предмету - своя).

>>Исходные тексты программы доступны общественности - поэтому что либо "заложить" в программу просто не возможно.
>Бомбу заложать в конкретные экземпляры программ, которые преобразуют протокол ответов в оценку.
После прошивки ПЛМ туда уже ничего не заложишь, а проверить ПЛМ на соответствие эталону - проще простого. Достаточно весма простого прибора: генератор сигнала, счетчик, эталонная ПЛМ, гнездо для тестовой, регистр, 8 элементов типа ИЛИ-НЕ и пара диодов, обвязка, и батарейки. Ну и корпус, если вам не нравится вид голой платы. Сборка прибора займет не больше часа, а проверка - считанные секунды.

Факт один. Сегодня на машину можно положиться, а на человека пока увы не на каждого.

От	Дмитрий Кобзев
К	Социал (15.11.2001 21:16:35)
Дата	16.11.2001 08:47:00

Избави Бог

Привет!

>>>>Почему бы просто не использовать письменные экзамены и проверять работы под шифром живыми преподавателями?
>>>Живыми преподавателями проверяют сейчас (в институтах при поступлении) именно под шифрами, однако...
>>>нужная сумма, нужному человеку и в итоге нужная оценка.
>>Ну так с этим и надо бороться, а не монстров измышлять :)
>Как бороться? Пока сознательных кадров не воспитаем никакими средствами бороться не получится. У нас в университете честных в приёмную комиссию не берут на пушечный выстрел...
Например - сменой бюрократического подхода на делократический.

>>Вот я и сомневаюсь, что столько вопросов можно придумать - по опыту работы с www.brainbench.com - (зайдите - очень рекомендую, посмотрите, как в реальности ваши фантазии могли бы выглядеть ) - а это самый продвинутый международный проект сейчас - развивается уже более 2х лет, и работает над ним - множество специалистов - большинство вопросов именно на запоминание.
>У меня не фантазии а реальные наработки, подкрепленные теорией.
>Рекомендуемый вами сайт с точки зрения построения статистического сбора и обработки информации - вчерашний, а порой позавчерашний день.
Весьма самонадеянное заявление. Не приведете ли ссылки на более продвинутые проекты?

>>>>>3. Выборка вопросов осуществляется НЕРАВНОМЕРНО. Следовательно вероятность выпадения одних вопросов больше чем других.
>>>>Т.е. вероятность подбора - больше, т.к., вместо чисто случайного распределения, реально получается далекое от случайного. Люди примерно с одним уровнем подготовки с большей вероятностью будут получать одинаковые вопросы.
>>>>Несерьезно.
>>>Это вы говорите несерьезно.
>>>Что значит "чисто случайное распределение"? Я такого не знаю.
>>Так. Поймите, что если процесс _неслучаен_ - предугадать его поведение проще, чем случайный.
>А где я сказал что процесс "не случаен"? Покажите мне? Я сказал что "выброка осуществляется НЕРАВНОМЕРНО".
>Т. е. используется не равномерное распределение, а, скажем нормальное, или логнормальное. При этом вероятность выпадения одних вопросов больше чем других. НО, выборка производится случайным образом.

Так я и говорю про вероятности - те вопросы, которые чаще выпадают - для них подготовят ответы.

>Существует огромное множество распределений (на вскидку могу припомнить около 30), и только в равномерном все варианты равновероятны.
>Вообщем, идите и вспоминайте матстатистику (если хотите конечно), весьма полезная наука.
При чем тут матстатистика? Вы признали, что некоторые вопросы выпадают чаще, чем другие. Поэтому для части вопросов вероятность выпадения будет не 1/50 как для большинства - а меньше, например, 1/10 - а это равносильно уменьшению базы до 2000 вопросов - т.е., также как и на brainbench сейчас.

>>Он попросит протокол у вас, чтобы потом можно было проконтролировать правильность оценки работы независимыми экспертами - и это справедливо. Мало ли какие ошибки в базе будут.
>Это ему абсолютно никаким образом не поможет...
Так не о нем речь - а о других, которые за дверью собирают и систематизируют эти сведения.

>>>>>5. Выбор вопросов зависит от предыдущих ответов экзаменуемого.
>>>>См.п3. - результат _ухудшение_ случайного распределения, т.е. эквивалент базы вопросов сужаетсяя с 10 тыщ, например - вдвое.
>>>Никакого _ухудшения_ случайного распределения быть не может (по определению). Просто вопросы имеют еще градации по сожности. И зависимость там не линейная а логорифмическая.
>>Это не о том. См.выше.
>Именно о том. Просто вы не понимаете о чем говорите.
Это вы не понимаете. См.выше
Вы сказали - некоторые вопросы выпадают _чаще_ чем другие. Это равносильно увеличению вероятности повтора - сл-но, эквивалентно снижению обьема базы вопросов.

>>Вот вам студент и скажет - вопрос не понял.
>>Со мной именно такой случай и был на экзамене.
>>Просто вопрос был коряво сформулирован, много запятых - и я его не понял. Без преподавателя обойтись не получилось. Именно когда я сдавал бумажку преподаватель удивился, как на такой простой вопрос неправильно дан ответ - только это его удивление и спасло от пары - материал-то я знал, просто вопроса не понял.
>Такое впечатление, что вы этот вопрос первый раз на экзамене увидили. К экзаменам готовится надо. Все вопросы заранее известны. Так что понял-не_понял все равно что сдал-не_сдал.
Т.е. в вашем экзамене все 10000 вопросов будут опубликованы с вариантами ответов?

>>>>>Данный метод приследует единственную цель - избежать необъективности со стороны преподавателя.
>>>>Эта цель достигается гораздо проще.
>>>>Кто поверит программистов, писавших прогу экзамена?
>>>Любой желающий.
>>Я имею в виду - конкретный экземпляр программы, который работает на экзамене.
>На заводе государственной комиссией, где происходит штамовка программы (^^).
Господи, какая наивность. Про возможность исправления _кода_ программы уже в памяти компьютера при исполнении вы неосведомлены?

>>>>Поскольку будет использоваться одна и та же прога в масштабе страны - представьте какой интенсивности атак она будет подвергаться - куш то какой большой
>>>>Исход атак - предсказуем. НЕ сломают, так подкупят программистов.
>>>Программу не сломают и программистов не подкупят.
>>>Потому что от программы НИЧЕГО не зависит. Там нечего ломать. Её дело брать из базы вопрос, получать на него ответ сверять его с верным и проставлять в соответсвии с этим балл - всё. Ни каких других действий программа не выполняет.
>>От программы зависит - какая оценка будет выставлена,
>Верно.
>>или она у вас выдает просто протокол выбранных ответов, а по нему потом надо еще куда-то обращаться? Каким образом и кто оценивает правильность ответов?
>Программа.
Она, как минимум, будет хранить в оперативной памяти компьютера список ответов студента и оценку, ему выставленную - вот эту оценку и будут исправлять или искажать.

>>Где хранится отношение вопрос-правильный ответ?
>Программа находится на ПЛМ
>База вопросов и ответов (в том числе правильных) так же находится на ПЛМ (но отдельной, по каждому предмету - своя).
И насколько часто будут меняться вопросы?

>>>Исходные тексты программы доступны общественности - поэтому что либо "заложить" в программу просто не возможно.
>>Бомбу заложать в конкретные экземпляры программ, которые преобразуют протокол ответов в оценку.
>После прошивки ПЛМ туда уже ничего не заложишь, а проверить ПЛМ на соответствие эталону - проще простого. Достаточно весма простого прибора: генератор сигнала, счетчик, эталонная ПЛМ, гнездо для тестовой, регистр, 8 элементов типа ИЛИ-НЕ и пара диодов, обвязка, и батарейки. Ну и корпус, если вам не нравится вид голой платы. Сборка прибора займет не больше часа, а проверка - считанные секунды.
Так атака будет не здесь - а в момент выставления оценки.

>Факт один. Сегодня на машину можно положиться, а на человека пока увы не на каждого.
Господи, какая наивность :)

С уважением, Дмитрий Кобзев

От	Социал
К	Дмитрий Кобзев (16.11.2001 08:47:00)
Дата	16.11.2001 14:12:23

Ну, избавил... (^^)

>>Как бороться? Пока сознательных кадров не воспитаем никакими средствами бороться не получится. У нас в университете честных в приёмную комиссию не берут на пушечный выстрел...
>Например - сменой бюрократического подхода на делократический.
В делокративной форме (^^). Неужели вы столь наивны. Те же бюрократы его и угробят. Нужно воспитывать кадры, для этого нужно время. Одними приказами ничего не сделаешь. Кадры - решают все.

>>Рекомендуемый вами сайт с точки зрения построения статистического сбора и обработки информации - вчерашний, а порой позавчерашний день.
>Весьма самонадеянное заявление. Не приведете ли ссылки на более продвинутые проекты?
Anderson P.K., Borgan O., Grill R.D. and Keiding N. Statistical Models Based on Counting Processess. - New York: Springer-Verlag, 1997.
Atherton C.R., Klemmak D.L. Research method in Social Work: An introdution. - Lexington DC: Heath and Company, 1998.
Collet D. Modelling Binary Data. - New YorkL Chapman & Hall, 1991.
Greenbaum Thomas L. The handbook for Focus Group Research. - 2nd edition. - Thousand Oaks. SAGE Publications Inc., 1998.
Nelson W.B. Accelerated Testing. - New York: John Wiley & Sons, 1990.
...
Думаю вполне достаточно.
В этих книгах содержиться вся необходимая информация для понимания методик построения подобного рода тестов.

>Так я и говорю про вероятности - те вопросы, которые чаще выпадают - для них подготовят ответы.
Ради бога, пусть готовят. Может умнее станут (^^). Только вот вычислить вероятность выпадения вопросов не легче, чем посчитать вероятность выпадения бочёнков в "русском лотто" (^^). Хотя там, процесс явно детерменированный, а здесь исключительно вероятностный.

>>Вообщем, идите и вспоминайте матстатистику (если хотите конечно), весьма полезная наука.
>При чем тут матстатистика? Вы признали, что некоторые вопросы выпадают чаще, чем другие. Поэтому для части вопросов вероятность выпадения будет не 1/50 как для большинства - а меньше, например, 1/10 - а это равносильно уменьшению базы до 2000 вопросов - т.е., также как и на brainbench сейчас.
Не равносильно. Если бы это было равносильно, то вся статистика очень сильно бы упростилась (^^). Очень многие исследователи просто жаждут, чтобы так оно и было. Но, к сожалению, вынуждены оперировать тем что есть.
Во-первых, такого большого различия вероятностей, как 1/10 - 1/50, не будет. Будет где-то p=0.0001(+/-)0.00009 .
Во-вторых, сама база разделена на блоки по 500, 600, 700, 800, 900, 1000, 1100, 1200, 1300, 1900 вопросов. Вероятность выпадения вопросов внутри каждого из блоков определяется функцией распределеиня соответствующего блока (у разных блоков - функции различны). В зависимости от правильности ваших ответов компьютер будет задавать вам вопросы из различных блоков. Не факт, что тот кто будет следующим сдавать экзамен получит вопросы из тех же блоков, что и вы.

>>>Он попросит протокол у вас, чтобы потом можно было проконтролировать правильность оценки работы независимыми экспертами - и это справедливо. Мало ли какие ошибки в базе будут.
>>Это ему абсолютно никаким образом не поможет...
>Так не о нем речь - а о других, которые за дверью собирают и систематизируют эти сведения.
Зачем? Если все возможные вопросы и объяснения к ним даны в учебнике, и рассматриваются в изучаемом курсе?

>Вы сказали - некоторые вопросы выпадают _чаще_ чем другие. Это равносильно увеличению вероятности повтора - сл-но, эквивалентно снижению обьема базы вопросов.
Не эквивалентно. Даже в предельном варианте. Если сможете доказать что эквивалентно, считайте что докторская вам обеспечена.

>>Такое впечатление, что вы этот вопрос первый раз на экзамене увидили. К экзаменам готовится надо. Все вопросы заранее известны. Так что понял-не_понял все равно что сдал-не_сдал.
>Т.е. в вашем экзамене все 10000 вопросов будут опубликованы с вариантами ответов?
Да. все 10000 вопросов будут опубликованы в учебнике и будут рассмотрены во время обучения. А как же иначе.
Естественно, что это не будет типа:
? №32. Второй закон Ньютона:
1. a = F/m. [x]
2. ... [ ]
3. ...
Но в вопросах для самопроверки будут содержаться именно те формулировки, что и в базе.

>>На заводе государственной комиссией, где происходит штамовка программы (^^).
>Господи, какая наивность. Про возможность исправления _кода_ программы уже в памяти компьютера при исполнении вы неосведомлены?
Осведомлён. А также осведомлён о том, что код программы _невозможно_ исправить, когда он исполняется не из RAM, а из ROM, коим является та же ПЛМ. Вы слышали о процессорах с раздельной архитектурой? Где к программной памяти никто кроме процессора обращаться не может, да и тот только для чтения (архитектура естественно реализована на АППАРАТНОМ уровне).
А о процессорах серии 1816 (хотя уже появились более современные модели), которые построены по такой архитектуре...
Более того, там даже к области данных из вне обратится нельзя.

>>Программа.
>Она, как минимум, будет хранить в оперативной памяти компьютера список ответов студента и оценку, ему выставленную - вот эту оценку и будут исправлять или искажать.
Неполучится. В силу архитектурных особенностей. Или вы думате что экзамен будет проходить на ЭВМ типа IBM PC с процессорами Intel Pentium 3 (^^).

>>Программа находится на ПЛМ
>>База вопросов и ответов (в том числе правильных) так же находится на ПЛМ (но отдельной, по каждому предмету - своя).
>И насколько часто будут меняться вопросы?
На столько, насколько это будет необходимо в силу развития данной области науки.

>>После прошивки ПЛМ туда уже ничего не заложишь, а проверить ПЛМ на соответствие эталону - проще простого. Достаточно весма простого прибора: генератор сигнала, счетчик, эталонная ПЛМ, гнездо для тестовой, регистр, 8 элементов типа ИЛИ-НЕ и пара диодов, обвязка, и батарейки. Ну и корпус, если вам не нравится вид голой платы. Сборка прибора займет не больше часа, а проверка - считанные секунды.
>Так атака будет не здесь - а в момент выставления оценки.
Исключено.

Вы совершенно не представляете себе как все будет происходить (и при этом пытаетесь доказать что я ничего не смыслю).
Тестирующий вас компьютер может располагаться на расстоянии многих тысяч километров и доступа к его памяти вам точно не видать. У вас удаленный терминал, который может выполнять только две функции: Принять_символ, Послать_символ.
Фактически, на этом терминале только кнопки [0..9] [,] [Ввод] [Да] [Нет]. Все больше вам ничего не доступно.
Терминал принял изображение, показал его вам. Получил от вас номер ответа и послал его на компьютер. И т.д.
Единственное что вам доступно еще, это лог, который печатается теримналом перед отправкой, и которой можно будет сравнить с логом на "том конце", чтобы исключить возможность влияния на сигнал в процессе передачи.
Причем этот лог выглядит вот так:
09143 0010000000
00230 0000100000
01052 0100000000
...
(причём номера правильных ответов для разных тестов могут меняться (вопросы перемешиваются), и у вас например правильный ответ на вопрос № 01052 = 0100000000, а у следующего сдающего № 01052 = 0000100000
Так что лог будет бесполезен для целей вычисления правильных ответов (о чем я говорил ранее).

На том конце вас обслуживает не Intel процессор (слишком расточительно), а однокристальная ЭВМ (типа 1816) У которой программа жестко прошита в ПЗУ и ее не изменить никакими средствами. Подсчет оценки ведется в ее оперативной памяти, которая располагается на том же кристалле, и доступ к которой из вне невозможен.
В конце теста вам передаётся оценка, которая подбивается в лог, и эта же оценка заносится в базу мин. образования, вместе с вашим номером и датой сдачи. И ранее чем через месяц у вас этот экзамен никто не примет.

Далее по базе вопросов. Действительно, выборка вопросов осуществляется не по равномерному распределению, хотя и близкому к нему. Но есть ряд отдельных моментов, сама база разбита на 10 блоков (по уровню сложности вопросов) и помере того, как компьютер оценивает ваши знания он может усложнять или упрощать вам вопросы, т. е. производить выборку из разных блоков (для каждого блока - своё распределение вероятности выпадения того или иного вопроса). Таким образом, вероятность выпадения того или иного вопроса нелинейная функция. Предугадать которую крайне сложно. Ведь вам не будет известно на какие вопросы вы ответели неправильно сразу. Поэтому не будет ясно на каком оснвании компьютер решил выбрать вопросы из другого блока. Такая "подборка" ответов может занять (ориентировочно) от 10 до 20 лет, что превышает срок изменения базы (ориентировочно 5-7 лет) как минимум вдвое.

От	Дмитрий Кобзев
К	Социал (16.11.2001 14:12:23)
Дата	16.11.2001 15:50:14

Re: Ну, избавил......

Привет!

>>>Как бороться? Пока сознательных кадров не воспитаем никакими средствами бороться не получится. У нас в университете честных в приёмную комиссию не берут на пушечный выстрел...
>>Например - сменой бюрократического подхода на делократический.
>В делокративной форме (^^). Неужели вы столь наивны. Те же бюрократы его и угробят. Нужно воспитывать кадры, для этого нужно время. Одними приказами ничего не сделаешь. Кадры - решают все.

ТАк и надо на бюрократов направить усилия, а не на совершенствование технических средств.

>>Весьма самонадеянное заявление. Не приведете ли ссылки на более продвинутые проекты?
>Anderson P.K., Borgan O., Grill R.D. and Keiding N. Statistical Models Based on Counting Processess. - New York: Springer-Verlag, 1997.
>Atherton C.R., Klemmak D.L. Research method in Social Work: An introdution. - Lexington DC: Heath and Company, 1998.
>Collet D. Modelling Binary Data. - New YorkL Chapman & Hall, 1991.
>Greenbaum Thomas L. The handbook for Focus Group Research. - 2nd edition. - Thousand Oaks. SAGE Publications Inc., 1998.
>Nelson W.B. Accelerated Testing. - New York: John Wiley & Sons, 1990.
А что-нибудь более свежее есть? И что именно на brainbench согласно этих источников - "позвачерашний день" :)?

>Думаю вполне достаточно.
>В этих книгах содержиться вся необходимая информация для понимания методик построения подобного рода тестов.
Тесты - мастдай.

>>Так я и говорю про вероятности - те вопросы, которые чаще выпадают - для них подготовят ответы.
>Ради бога, пусть готовят. Может умнее станут (^^).
Т.е., то, что вероятность снизится - я вам доказал.
Как именно снизится - не суть важно.

>>>>Он попросит протокол у вас, чтобы потом можно было проконтролировать правильность оценки работы независимыми экспертами - и это справедливо. Мало ли какие ошибки в базе будут.
>>>Это ему абсолютно никаким образом не поможет...
>>Так не о нем речь - а о других, которые за дверью собирают и систематизируют эти сведения.
>Зачем? Если все возможные вопросы и объяснения к ним даны в учебнике, и рассматриваются в изучаемом курсе?

>>Вы сказали - некоторые вопросы выпадают _чаще_ чем другие. Это равносильно увеличению вероятности повтора -сл-но, эквивалентно снижению обьема базы вопросов.
>Не эквивалентно. Даже в предельном варианте. Если сможете доказать что эквивалентно, считайте что докторская вам обеспечена.
Да вы и сами это признали - см. выше.

>>>Такое впечатление, что вы этот вопрос первый раз на экзамене увидили. К экзаменам готовится надо. Все вопросы заранее известны. Так что понял-не_понял все равно что сдал-не_сдал.
>>Т.е. в вашем экзамене все 10000 вопросов будут опубликованы с вариантами ответов?
>Да. все 10000 вопросов будут опубликованы в учебнике и будут рассмотрены во время обучения. А как же иначе.
>Естественно, что это не будет типа:
>? №32. Второй закон Ньютона:
>1. a = F/m. [x]
>2. ... [ ]
>3. ...
>Но в вопросах для самопроверки будут содержаться именно те формулировки, что и в базе.
Это полный мастдай. Даже если на странице учебника разбирается 2 вопроса - по каждой дисциплине придется издавать по 10 500-стр. томов с перечнем вопросов.
Студенты только и будут заниматься этой глупостью - читать внешний вид вопросов и правильных ответов.
Попробуйте хоть 100 вопросов по своей профессии накидать, в которых бы требовалось не запомнить - а мыслить. Это очень сложная работа.

>>>На заводе государственной комиссией, где происходит штамовка программы (^^).
>>Господи, какая наивность. Про возможность исправления _кода_ программы уже в памяти компьютера при исполнении вы неосведомлены?
>Осведомлён. А также осведомлён о том, что код программы _невозможно_ исправить, когда он исполняется не из RAM, а из ROM, коим является та же ПЛМ.
А код и не будет исправлятся. Достаточно подменить полученную оценку.

>Вы слышали о процессорах с раздельной архитектурой? Где к программной памяти никто кроме процессора обращаться не может, да и тот только для чтения (архитектура естественно реализована на АППАРАТНОМ уровне).

>А о процессорах серии 1816 (хотя уже появились более современные модели), которые построены по такой архитектуре...
Слушайте, у вас все сведения о процессорах такой давности?

>Более того, там даже к области данных из вне обратится нельзя.

>>>Программа.
>>Она, как минимум, будет хранить в оперативной памяти компьютера список ответов студента и оценку, ему выставленную - вот эту оценку и будут исправлять или искажать.
>Неполучится. В силу архитектурных особенностей. Или вы думате что экзамен будет проходить на ЭВМ типа IBM PC с процессорами Intel Pentium 3 (^^).
Это не имеет значения. Как на это повлияют архитектурные особенности?

>>>Программа находится на ПЛМ
>>>База вопросов и ответов (в том числе правильных) так же находится на ПЛМ (но отдельной, по каждому предмету - своя).
>>И насколько часто будут меняться вопросы?
>На столько, насколько это будет необходимо в силу развития данной области науки.
А все же?

>>>После прошивки ПЛМ туда уже ничего не заложишь, а проверить ПЛМ на соответствие эталону - проще простого. Достаточно весма простого прибора: генератор сигнала, счетчик, эталонная ПЛМ, гнездо для тестовой, регистр, 8 элементов типа ИЛИ-НЕ и пара диодов, обвязка, и батарейки. Ну и корпус, если вам не нравится вид голой платы. Сборка прибора займет не больше часа, а проверка - считанные секунды.

>>Так атака будет не здесь - а в момент выставления оценки.
>Исключено.

>Вы совершенно не представляете себе как все будет происходить (и при этом пытаетесь доказать что я ничего не смыслю).
Боюсь, это вы не представляете.

>Тестирующий вас компьютер может располагаться на расстоянии многих тысяч километров и доступа к его памяти вам точно не видать.
У вас удаленный терминал, который может выполнять только две функции: Принять_символ, Послать_символ.
>Фактически, на этом терминале только кнопки [0..9] [,] [Ввод] [Да] [Нет]. Все больше вам ничего не доступно.
>Терминал принял изображение, показал его вам. Получил от вас номер ответа и послал его на компьютер. И т.д.
>Единственное что вам доступно еще, это лог, который печатается теримналом перед отправкой, и которой можно будет сравнить с логом на "том конце", чтобы исключить возможность влияния на сигнал в процессе передачи.
>Причем этот лог выглядит вот так:
>09143 0010000000
>00230 0000100000
>01052 0100000000
>...
>(причём номера правильных ответов для разных тестов могут меняться (вопросы перемешиваются), и у вас например правильный ответ на вопрос № 01052 = 0100000000, а у следующего сдающего № 01052 = 0000100000
>Так что лог будет бесполезен для целей вычисления правильных ответов (о чем я говорил ранее).
Это все чепуха. Почему я должен доверять вашей программе?
Я попрошу протокол вопросов и ответов, как я на них ответил, чтобы проверить - не наврала ли машина. И потом скажу - что вы наврали, вот в этом вот вопросе я ответил правильно, а ваша программа сбойнула, или из своих каких-то соображений подставила неверный ответ.

>На том конце вас обслуживает не Intel процессор (слишком расточительно), а однокристальная ЭВМ (типа 1816)
Господи, какая наивность :) Что, и на каждого экзаменующегося - свой компьютер?
И когда десятиклассники будут сдавать экзамен, числом 10 млн. человек - задействуюете 10 млн. компьютеров (что с ними будет после экзамена - простаивать будут год?) и 10 млн линий связи (вы ж сказали, на столе - терминал просто? Или он интеллектуальный, сам стек TCP/IP держит)?
А если держит, то сложность его несопоставима ни с каким 1816 и т.д.
Так на чем экономить будете?

> У которой программа жестко прошита в ПЗУ и ее не изменить никакими средствами. Подсчет оценки ведется в ее оперативной памяти, которая располагается на том же кристалле, и доступ к которой из вне невозможен.

>В конце теста вам передаётся оценка, которая подбивается в лог, и эта же оценка заносится в базу мин. образования, вместе с вашим номером и датой сдачи.
Вот здесь все и подменится - хакер сломает эту базу (или штатный программист, удостоверившись, что на его счет в банке упала соотв. сумма) (она поди не в памяти 1816 :) и поставит себе и нужным людям нужную оценку.

>И ранее чем через месяц у вас этот экзамен никто не примет.
Не понял? В каком смысле не примет?

>Далее по базе вопросов. Действительно, выборка вопросов осуществляется не по равномерному распределению, хотя и близкому к нему. Но есть ряд отдельных моментов, сама база разбита на 10 блоков (по уровню сложности вопросов) и помере того, как компьютер оценивает ваши знания он может усложнять или упрощать вам вопросы, т. е. производить выборку из разных блоков (для каждого блока - своё распределение вероятности выпадения того или иного вопроса). Таким образом, вероятность выпадения того или иного вопроса нелинейная функция. Предугадать которую крайне сложно. Ведь вам не будет известно на какие вопросы вы ответели неправильно сразу. Поэтому не будет ясно на каком оснвании компьютер решил выбрать вопросы из другого блока. Такая "подборка" ответов может занять (ориентировочно) от 10 до 20 лет, что превышает срок изменения базы (ориентировочно 5-7 лет) как минимум вдвое.
РЕчь не о том. Никому нафиг не нужно предугадывать функции. Достаточно констатации факта, что одни вопросы появляются чаще других - будут существовать сборники часто появляющихся вопросов, собранные на основе анализа протоколов ответов.

В общем, общий итог - несерьезно все это, увы.

С уважением, Дмитрий Кобзев

От	Социал
К	Дмитрий Кобзев (16.11.2001 15:50:14)
Дата	16.11.2001 19:35:37

Re: Ну, избавил......

>ТАк и надо на бюрократов направить усилия, а не на совершенствование технических средств.
Надо комплексно подходить. Совершенствование технических средств, способствует научно-техническому прогрессу, задействует инженерный состав и т. д.

>>>Весьма самонадеянное заявление. Не приведете ли ссылки на более продвинутые проекты?
>>Anderson P.K., Borgan O., Grill R.D. and Keiding N. Statistical Models Based on Counting Processess. - New York: Springer-Verlag, 1997.
>>Atherton C.R., Klemmak D.L. Research method in Social Work: An introdution. - Lexington DC: Heath and Company, 1998.
>>Collet D. Modelling Binary Data. - New YorkL Chapman & Hall, 1991.
>>Greenbaum Thomas L. The handbook for Focus Group Research. - 2nd edition. - Thousand Oaks. SAGE Publications Inc., 1998.
>>Nelson W.B. Accelerated Testing. - New York: John Wiley & Sons, 1990.
>А что-нибудь более свежее есть? И что именно на brainbench согласно этих источников - "позвачерашний день" :)?
Куда свежее-то. Пусть, хотя бы, на основании изложенных в этих книгах методах строят свою систему (^^).

>>Думаю вполне достаточно.
>>В этих книгах содержиться вся необходимая информация для понимания методик построения подобного рода тестов.
>Тесты - мастдай.
Мнение студента-неудачника, постоянно проваливающегося на тестах (^^). Тесты поволяют оценить уровень знаний, пусть и приближённо, но вполне достаточно.

>>>Так я и говорю про вероятности - те вопросы, которые чаще выпадают - для них подготовят ответы.
>>Ради бога, пусть готовят. Может умнее станут (^^).
>Т.е., то, что вероятность снизится - я вам доказал.
>Как именно снизится - не суть важно.
Вероятность чего? Конкретнее. Вероятность выпадения вопросов? - нет, не снизится, она жёстко задана.
Вероятность правильного ответа на вопрос студентом? - я только рад буду за студентов.
Вероятность подбора верных ответов? - пусть перебирают, лишь напрасно потратят 10-15 лет своей жизни.

>Это полный мастдай. Даже если на странице учебника разбирается 2 вопроса - по каждой дисциплине придется издавать по 10 500-стр. томов с перечнем вопросов.
>Студенты только и будут заниматься этой глупостью - читать внешний вид вопросов и правильных ответов.
Глупые студенты именно так и будут делать, а умные будут разбираться в сути, и формулировка им не будет важна.
>Попробуйте хоть 100 вопросов по своей профессии накидать, в которых бы требовалось не запомнить - а мыслить. Это очень сложная работа.
Вполне легко, у меня начинаются проблемы с 3ей тысячей (^^).

>А код и не будет исправлятся. Достаточно подменить полученную оценку.
Как? Её подменить невозможно (если конечно не рассматривать влияние потусторониих сил и божественную помощь (^^)).

>>А о процессорах серии 1816 (хотя уже появились более современные модели), которые построены по такой архитектуре...
>Слушайте, у вас все сведения о процессорах такой давности?
Нет, но я предпочитаю рассматривать классические примеры, которые наглядно демонстрируют суть, а не отвлекаться на ультромодные Ph3816, в которых одно программирование требует отдельного курса лекций.

>>>>Программа.
>>>Она, как минимум, будет хранить в оперативной памяти компьютера список ответов студента и оценку, ему выставленную - вот эту оценку и будут исправлять или искажать.
>>Неполучится. В силу архитектурных особенностей. Или вы думате что экзамен будет проходить на ЭВМ типа IBM PC с процессорами Intel Pentium 3 (^^).
>Это не имеет значения. Как на это повлияют архитектурные особенности?
Программа сидит в ПЗУ и выполняется оттуда.
Результаты работы программы сидят в кэш-памяти (если выражаться современным языком), куда доступа нет никому кроме процессора. И ПЗУ и КЭШ располагаются на том-же кристалле, что и процессор, с внешним миром процессор общается через порты. Процессор однозадачный.
Чтобы что-то изменить в области кода или данных, вам придется как минимум получить доступ к процессору на молекулярном уровне, иначе - никак.
С точки зрения взлома - дохляк. Таблица прерываний в ПЗУ (соответственно не перехватить управление), точек останова нет (соответственно не перехватить управление).
Не перехватить управление - не исправить область данных.
Более того, сегмент кода расположен только в ПЗУ - соответственно самому туда ничего записать не получится.

>>>И насколько часто будут меняться вопросы?
>>На столько, насколько это будет необходимо в силу развития данной области науки.
>А все же?
В классических науках (где уже годами ничего не меняется) вопросы так и будут раз и навсегда. А в развивающихся - будут менятся по мере развития.

>Боюсь, это вы не представляете.
Представляю, ибо моделирую данную систему.

>Это все чепуха. Почему я должен доверять вашей программе?
А куда вы денитесь... если это будет одобрено и принято на уровне мин. образования РФ?

>Я попрошу протокол вопросов и ответов, как я на них ответил, чтобы проверить - не наврала ли машина. И потом скажу - что вы наврали, вот в этом вот вопросе я ответил правильно, а ваша программа сбойнула, или из своих каких-то соображений подставила неверный ответ.
Протокол вопросов и ответов у вас будет (как я уже писал), он распечатывается на ленте терминала по мере ответов, и без этой ленты никто ваши протесты и слушать не будет. Вашу ленту сравнят с контрольной, что печаталась "на том конце", где стоит тестирующий компьютер и в случае полного их совпадения вас пошлют подальше. А если действительно произошел сбой, то вам дадут шанс пересдать.

>>На том конце вас обслуживает не Intel процессор (слишком расточительно), а однокристальная ЭВМ (типа 1816)
>Господи, какая наивность :) Что, и на каждого экзаменующегося - свой компьютер?
Да. На каждого экзаменующегося - свой терминал, обслуживаемый отдельным компьютером (дёшево и сердито). А заодно, сразу будет видно, если по каким-то МИФИЧЕСКИМ причинам этот компьютер начнет сбоить. Потому тогда на данном терминале все будут заваливаться... После 100го завалившегося подряд терминал поменяют, а завалившимся предложат пересдать экзамен.
НО, сбоить там просто нечему.

>И когда десятиклассники будут сдавать экзамен, числом 10 млн. человек - задействуюете 10 млн. компьютеров (что с ними будет после экзамена - простаивать будут год?) и 10 млн линий связи (вы ж сказали, на столе - терминал просто? Или он интеллектуальный, сам стек TCP/IP держит)?
Ну нафига там стек TCP/IP, когда всё можно сделать на аппаратном уровне? И в каком городе наберется 10 мил. десятиклассников? Кстати 10 млн. микроэвм типа 1816 - примерный объем годового выпуска, так что легко. И потом, не думате же вы, что на всю страну будет только 1 такой центр. А экзамены люди будт сдавать круглый год. (почти каждый день). Сегодня один сдает, завтра другой и т. д. Если я изучил предмет за 10 класс в 5м, то я могу пойти, сдать экзамен сейчас, а не ждать ещё 5 лет.

>А если держит, то сложность его несопоставима ни с каким 1816 и т.д.
Сложность такого компьютера не сопоставима даже с последней моделью утюга фирмы Philips, куда также засунули однокристалку, ибо весь этот "компьютер" можно собрать на "россыпной" логике 155 серии.
>Так на чем экономить будете?
На всём (^^).
Сложные компьютеры не нужны.
Программисты стека TCP/IP - тоже не нужны.
Инженеры и операторы, обслуживающие сложные компьютеры и т.д.

>>В конце теста вам передаётся оценка, которая подбивается в лог, и эта же оценка заносится в базу мин. образования, вместе с вашим номером и датой сдачи.
>Вот здесь все и подменится - хакер сломает эту базу (или штатный программист, удостоверившись, что на его счет в банке упала соотв. сумма) (она поди не в памяти 1816 :) и поставит себе и нужным людям нужную оценку.
И тут же лишиться своей работы и будет отдан под суд. Поскольку, информация об оценке сохраняется на жестком носителе (как минимум на контрольной ленте, с которой будет сравниваться ваш лог в случае вашего несогласия).

>>И ранее чем через месяц у вас этот экзамен никто не примет.
>Не понял? В каком смысле не примет?
При попытка сдать экзамен повторно, вам будет отказано в этом.

>РЕчь не о том. Никому нафиг не нужно предугадывать функции. Достаточно констатации факта, что одни вопросы появляются чаще других - будут существовать сборники часто появляющихся вопросов, собранные на основе анализа протоколов ответов.
Как вам объяснить, чтобы вы поняли. То что вероятность не одинакова и я говорю чаще - не значит, что одни вопросы появляются в 2 раза чаще чем другие. Кстати я вам даже указал примерные пределы.
Ну будет вопрос № 10 попадаться 5 раз из 10000, а вопорос № 7 - 4 раза. Чаще попадается вопрос № 10? - Чаще. Вам это сильно поможет - сомневаюсь...

>В общем, общий итог - несерьезно все это, увы.
Поживём увидим.

Вообще, по этой дисскусии у меня сложилось определенной мнение, что у вас о предмете нашего разговоро лишь весьма смутное представление, которое вас вполне устраивает. И в сознании сидят определённые мифы, заложенные современными СМИ. Если компьютер - то обязательно супер-современный (типа пентиума 3), если канал связи, то обязательно ТСП/ЙП, если программа, то обязательно можно сломать и т.д. Все эти мифы придуманы специально, чтобы пудрить мозги неспециалистам, и напустить туману на данную отрасль.
Конечно, программисту гораздо приятние быстро и без напрягов за чашкой кофе писать программу в визуальной среде, а потом все её ошибки сваливать на глюки компилятора, операционки, железа и т. д., чем сидеть копаясь в машинном коде выверять каждую переменную.
Помню в бытность мою студентом, на практике по программированию писали мы текстовый редактор. Одни написали его за один день (на турбо-вижен под си), а другие, в том числе и я возились месяц с ассемблером. Разница была поражающей воображение и в размере кода (до нескольких порядков) и в скорости работы (в разы), а главное что мой редактор не вылетал в операционку с воплями об ошибке, при попытке открыть файл более 64к, а спокойно грузил его в память, в отличие от редактора написанного на си.
Сейчас на ассемблере практически никто не пишет. Зачем напрягаться - не пристижно это (^^). Уже до того обнаглели, что директХ Микрософт пишет на Си. А ведь если бы его писале на асме, то скорость видюшных драйверов (критичных для многих игр) возрасла как минимум бы в трое.

Вывод один. Можно сделать эффективную, невзламываемую систему, только нужно захотеть, а главное обеспечить соответствующую реализацию. Ибо известно много случаев, когда вместо требуемых по проекту компонент лепили фигню всякую, а некоторые после этого заплатили за свою халатность жизнью (например, когда вместо предохранительных пробок на высоковольтное оборудование гвозди совали, и цепь, естественно не разрывалась вовремя, когда одним из звеньев оказывался человек...).

От	Дмитрий Кобзев
К	Социал (16.11.2001 19:35:37)
Дата	19.11.2001 07:59:48

Избави Бог повторно

Привет!

>>>>Весьма самонадеянное заявление. Не приведете ли ссылки на более продвинутые проекты?
>>>Anderson P.K., Borgan O., Grill R.D. and Keiding N. Statistical Models Based on Counting Processess. - New York: Springer-Verlag, 1997.
>>>Atherton C.R., Klemmak D.L. Research method in Social Work: An introdution. - Lexington DC: Heath and Company, 1998.
>>>Collet D. Modelling Binary Data. - New YorkL Chapman & Hall, 1991.
>>>Greenbaum Thomas L. The handbook for Focus Group Research. - 2nd edition. - Thousand Oaks. SAGE Publications Inc., 1998.
>>>Nelson W.B. Accelerated Testing. - New York: John Wiley & Sons, 1990.
>>А что-нибудь более свежее есть? И что именно на brainbench согласно этих источников - "позвачерашний день" :)?
>Куда свежее-то. Пусть, хотя бы, на основании изложенных в этих книгах методах строят свою систему (^^).
Ответа по существу не последовало.

>>>Думаю вполне достаточно.
>>>В этих книгах содержиться вся необходимая информация для понимания методик построения подобного рода тестов.
>>Тесты - мастдай.
>Мнение студента-неудачника, постоянно проваливающегося на тестах (^^). Тесты поволяют оценить уровень знаний, пусть и приближённо, но вполне достаточно.
Это, скорее, мнение студента-отличника, знающего, что почем, и знающего, в чем ценность, а в чем недостатки тестовых методов сдачи экзаменов.
Рекомендую прислушаться, чтобы не попадать пальцем в небо при определении главных проблем образования и экзаменов.

С уважением, Дмитрий Кобзев

От	Социал
К	Дмитрий Кобзев (19.11.2001 07:59:48)
Дата	19.11.2001 13:05:05

Re: Избави Бог...

>Ответа по существу не последовало.
А вам что ссылка на сайт нужна? - увы нет пока таких (по крайней мере я не встречал) так что ноу-хау.
Вот внедрим скоро в мин.образования и сайты появятся...

>>>Тесты - мастдай.
>>Мнение студента-неудачника, постоянно проваливающегося на тестах (^^). Тесты поволяют оценить уровень знаний, пусть и приближённо, но вполне достаточно.
>Это, скорее, мнение студента-отличника, знающего, что почем, и знающего, в чем ценность, а в чем недостатки тестовых методов сдачи экзаменов.
И что с того, думаете я их не знаю - прекрасно знаю. Но, когда студент категорически со мной не согласен, что мне делать? Созывать комиссию? Вот в этом случае тесты и покажут кто прав (^^). И потом, вы представляете себе какого принимать экзамены у всего потока в один день? Кроме того, ведь дискуссия началась с того, что необходимо средство позволяющее сократить коррупицю. Тесты - подходящая временная мера, пока не будет воспитано новое поколение преподавателей.

>Рекомендую прислушаться, чтобы не попадать пальцем в небо при определении главных проблем образования и экзаменов.
Ну, это мы посмотрим. Как только закончу оформление, буду представлять в соответствующие органы...

От	А.Б.
К	Социал (16.11.2001 14:12:23)
Дата	16.11.2001 14:31:20

Re: Придерусь. :)

ПЛМ (как и ПМЛ) - она и не РАМ и не РОМ - совсем особая статья. :) Это так, для общего развития.

Проблема же - невнятнее. Как сформылировать вопрос так, чтобы машина ответ на него "поняла" и адекватно классифицировала - правильный или нет. Да так, чтобы ответа не давать "угадайкой".

Для задачи - просто. Для теории - нет. Есть наработки?

От	Социал
К	А.Б. (16.11.2001 14:31:20)
Дата	16.11.2001 14:55:39

Re: Придерусь. :)

>ПЛМ (как и ПМЛ) - она и не РАМ и не РОМ - совсем особая статья. :) Это так, для общего развития.
Это понятно, но все же, после прошивки, она ближе к РОМ (^^).

>Проблема же - невнятнее. Как сформылировать вопрос так, чтобы машина ответ на него "поняла" и адекватно классифицировала - правильный или нет. Да так, чтобы ответа не давать "угадайкой".
Ну, здесь действительно проблема есть. Но она скорее уже методического, чем технического характера.
Так что для каждого предмета должна решаться по-своему.

>Для задачи - просто. Для теории - нет. Есть наработки?
Наработки в какой области? В области составления таких вопросов? - пока нет.
В общей техническо-математической постановки задачи - есть. Начиная от постановки задачи, используемых методов и подробного описания алгоритма, до принципиальных схем некоторых узлов "опрашивающей ЭВМ".

От	А.Б.
К	Социал (16.11.2001 14:55:39)
Дата	16.11.2001 15:13:28

Re: Ни-за-что!

>Это понятно, но все же, после прошивки, она ближе к РОМ (^^).

В первую голову - это ЛОГИКА, т.е. "И", "ИЛИ" и прочая.
Памяти там - токмо регистры, которые - на триггерах, D-типа :) В принципе, пользуя мультиплексор и РОМ - можно эмулировать ПЛМ, но - сами понимаете... незачем.

>Ну, здесь действительно проблема есть. Но она скорее уже методического, чем технического характера.
>Так что для каждого предмета должна решаться по-своему.

Тогда - сперва дождемся наработок. А уж потом - пробовать-сравнивать-решать. :)

От	Социал
К	А.Б. (16.11.2001 15:13:28)
Дата	16.11.2001 19:35:54

Re: Ни-за-что!

>>Это понятно, но все же, после прошивки, она ближе к РОМ (^^).
>В первую голову - это ЛОГИКА, т.е. "И", "ИЛИ" и прочая.
>Памяти там - токмо регистры, которые - на триггерах, D-типа :) В принципе, пользуя мультиплексор и РОМ - можно эмулировать ПЛМ, но - сами понимаете... незачем.
Стоп. стоп. стоп. ПЛМ - Програмируемая Логическая Матрица. Никаких тригеров там нет. Все что там есть, так это паралельно стоящие ИЛИ-НЕ и И-НЕ. По сути тот же РОМ, который можно прошить один раз по своему усмотрению и работать с ним. Прошивка осуществляется прожиганием перемычек на физическом уровне, т.е. перепрошивка невозможна (в отличие от ППЗУ).

Типичная ПЛМ:

!-----------------------------!
! !
! !------------------------! !
! ! ! !
! (х)-*\ /*-! !
! ИЛИ-НЕ -(y)- И-НЕ !
!-(х)-*/ \*---!

звёздочками (*) обозначены перемычки, которые могут быть прожжены. Так что ПЛМ, самая настоящая РОМ.

>>Ну, здесь действительно проблема есть. Но она скорее уже методического, чем технического характера.
>>Так что для каждого предмета должна решаться по-своему.
>Тогда - сперва дождемся наработок. А уж потом - пробовать-сравнивать-решать. :)
Ну вот я на студентах испытаю (^^), там посмотрим...

От	А.Б.
К	Социал (16.11.2001 19:35:54)
Дата	16.11.2001 20:54:18

Re: Регистры есть в ПМЛ :)

Которая Программируемая Матричная Логика :))

А схожесть - лишь одна "технология прошивки". Перемычки плавкие. Назвать байтов 20 памятью - у меня язык не поворачивается. Тем более - что она (как регистр) скорее не РОМ а СРАМ :)

Студентов - заставьте потом сочинение о впечатлениях накатать. И поделитесь ими с обчеством :))