От Дмитрий Кобзев
К Социал
Дата 16.11.2001 08:47:00
Рубрики Прочее; Образы будущего; Идеология; Компромисс; Программа; ...

Избави Бог

Привет!


>>>>Почему бы просто не использовать письменные экзамены и проверять работы под шифром живыми преподавателями?
>>>Живыми преподавателями проверяют сейчас (в институтах при поступлении) именно под шифрами, однако...
>>>нужная сумма, нужному человеку и в итоге нужная оценка.
>>Ну так с этим и надо бороться, а не монстров измышлять :)
>Как бороться? Пока сознательных кадров не воспитаем никакими средствами бороться не получится. У нас в университете честных в приёмную комиссию не берут на пушечный выстрел...
Например - сменой бюрократического подхода на делократический.


>>Вот я и сомневаюсь, что столько вопросов можно придумать - по опыту работы с www.brainbench.com - (зайдите - очень рекомендую, посмотрите, как в реальности ваши фантазии могли бы выглядеть ) - а это самый продвинутый международный проект сейчас - развивается уже более 2х лет, и работает над ним - множество специалистов - большинство вопросов именно на запоминание.
>У меня не фантазии а реальные наработки, подкрепленные теорией.
>Рекомендуемый вами сайт с точки зрения построения статистического сбора и обработки информации - вчерашний, а порой позавчерашний день.
Весьма самонадеянное заявление. Не приведете ли ссылки на более продвинутые проекты?

>>>>>3. Выборка вопросов осуществляется НЕРАВНОМЕРНО. Следовательно вероятность выпадения одних вопросов больше чем других.
>>>>Т.е. вероятность подбора - больше, т.к., вместо чисто случайного распределения, реально получается далекое от случайного. Люди примерно с одним уровнем подготовки с большей вероятностью будут получать одинаковые вопросы.
>>>>Несерьезно.
>>>Это вы говорите несерьезно.
>>>Что значит "чисто случайное распределение"? Я такого не знаю.
>>Так. Поймите, что если процесс _неслучаен_ - предугадать его поведение проще, чем случайный.
>А где я сказал что процесс "не случаен"? Покажите мне? Я сказал что "выброка осуществляется НЕРАВНОМЕРНО".
>Т. е. используется не равномерное распределение, а, скажем нормальное, или логнормальное. При этом вероятность выпадения одних вопросов больше чем других. НО, выборка производится случайным образом.

Так я и говорю про вероятности - те вопросы, которые чаще выпадают - для них подготовят ответы.

>Существует огромное множество распределений (на вскидку могу припомнить около 30), и только в равномерном все варианты равновероятны.
>Вообщем, идите и вспоминайте матстатистику (если хотите конечно), весьма полезная наука.
При чем тут матстатистика? Вы признали, что некоторые вопросы выпадают чаще, чем другие. Поэтому для части вопросов вероятность выпадения будет не 1/50 как для большинства - а меньше, например, 1/10 - а это равносильно уменьшению базы до 2000 вопросов - т.е., также как и на brainbench сейчас.

>>Он попросит протокол у вас, чтобы потом можно было проконтролировать правильность оценки работы независимыми экспертами - и это справедливо. Мало ли какие ошибки в базе будут.
>Это ему абсолютно никаким образом не поможет...
Так не о нем речь - а о других, которые за дверью собирают и систематизируют эти сведения.

>>>>>5. Выбор вопросов зависит от предыдущих ответов экзаменуемого.
>>>>См.п3. - результат _ухудшение_ случайного распределения, т.е. эквивалент базы вопросов сужаетсяя с 10 тыщ, например - вдвое.
>>>Никакого _ухудшения_ случайного распределения быть не может (по определению). Просто вопросы имеют еще градации по сожности. И зависимость там не линейная а логорифмическая.
>>Это не о том. См.выше.
>Именно о том. Просто вы не понимаете о чем говорите.
Это вы не понимаете. См.выше
Вы сказали - некоторые вопросы выпадают _чаще_ чем другие. Это равносильно увеличению вероятности повтора - сл-но, эквивалентно снижению обьема базы вопросов.

>>Вот вам студент и скажет - вопрос не понял.
>>Со мной именно такой случай и был на экзамене.
>>Просто вопрос был коряво сформулирован, много запятых - и я его не понял. Без преподавателя обойтись не получилось. Именно когда я сдавал бумажку преподаватель удивился, как на такой простой вопрос неправильно дан ответ - только это его удивление и спасло от пары - материал-то я знал, просто вопроса не понял.
>Такое впечатление, что вы этот вопрос первый раз на экзамене увидили. К экзаменам готовится надо. Все вопросы заранее известны. Так что понял-не_понял все равно что сдал-не_сдал.
Т.е. в вашем экзамене все 10000 вопросов будут опубликованы с вариантами ответов?

>>>>>Данный метод приследует единственную цель - избежать необъективности со стороны преподавателя.
>>>>Эта цель достигается гораздо проще.
>>>>Кто поверит программистов, писавших прогу экзамена?
>>>Любой желающий.
>>Я имею в виду - конкретный экземпляр программы, который работает на экзамене.
>На заводе государственной комиссией, где происходит штамовка программы (^^).
Господи, какая наивность. Про возможность исправления _кода_ программы уже в памяти компьютера при исполнении вы неосведомлены?

>>>>Поскольку будет использоваться одна и та же прога в масштабе страны - представьте какой интенсивности атак она будет подвергаться - куш то какой большой
>>>>Исход атак - предсказуем. НЕ сломают, так подкупят программистов.
>>>Программу не сломают и программистов не подкупят.
>>>Потому что от программы НИЧЕГО не зависит. Там нечего ломать. Её дело брать из базы вопрос, получать на него ответ сверять его с верным и проставлять в соответсвии с этим балл - всё. Ни каких других действий программа не выполняет.
>>От программы зависит - какая оценка будет выставлена,
>Верно.
>>или она у вас выдает просто протокол выбранных ответов, а по нему потом надо еще куда-то обращаться? Каким образом и кто оценивает правильность ответов?
>Программа.
Она, как минимум, будет хранить в оперативной памяти компьютера список ответов студента и оценку, ему выставленную - вот эту оценку и будут исправлять или искажать.

>>Где хранится отношение вопрос-правильный ответ?
>Программа находится на ПЛМ
>База вопросов и ответов (в том числе правильных) так же находится на ПЛМ (но отдельной, по каждому предмету - своя).
И насколько часто будут меняться вопросы?

>>>Исходные тексты программы доступны общественности - поэтому что либо "заложить" в программу просто не возможно.
>>Бомбу заложать в конкретные экземпляры программ, которые преобразуют протокол ответов в оценку.
>После прошивки ПЛМ туда уже ничего не заложишь, а проверить ПЛМ на соответствие эталону - проще простого. Достаточно весма простого прибора: генератор сигнала, счетчик, эталонная ПЛМ, гнездо для тестовой, регистр, 8 элементов типа ИЛИ-НЕ и пара диодов, обвязка, и батарейки. Ну и корпус, если вам не нравится вид голой платы. Сборка прибора займет не больше часа, а проверка - считанные секунды.
Так атака будет не здесь - а в момент выставления оценки.

>Факт один. Сегодня на машину можно положиться, а на человека пока увы не на каждого.
Господи, какая наивность :)

С уважением, Дмитрий Кобзев
От Социал
К Дмитрий Кобзев (16.11.2001 08:47:00)
Дата 16.11.2001 14:12:23

Ну, избавил... (^^)

>>Как бороться? Пока сознательных кадров не воспитаем никакими средствами бороться не получится. У нас в университете честных в приёмную комиссию не берут на пушечный выстрел...
>Например - сменой бюрократического подхода на делократический.
В делокративной форме (^^). Неужели вы столь наивны. Те же бюрократы его и угробят. Нужно воспитывать кадры, для этого нужно время. Одними приказами ничего не сделаешь. Кадры - решают все.

>>Рекомендуемый вами сайт с точки зрения построения статистического сбора и обработки информации - вчерашний, а порой позавчерашний день.
>Весьма самонадеянное заявление. Не приведете ли ссылки на более продвинутые проекты?
Anderson P.K., Borgan O., Grill R.D. and Keiding N. Statistical Models Based on Counting Processess. - New York: Springer-Verlag, 1997.
Atherton C.R., Klemmak D.L. Research method in Social Work: An introdution. - Lexington DC: Heath and Company, 1998.
Collet D. Modelling Binary Data. - New YorkL Chapman & Hall, 1991.
Greenbaum Thomas L. The handbook for Focus Group Research. - 2nd edition. - Thousand Oaks. SAGE Publications Inc., 1998.
Nelson W.B. Accelerated Testing. - New York: John Wiley & Sons, 1990.
...
Думаю вполне достаточно.
В этих книгах содержиться вся необходимая информация для понимания методик построения подобного рода тестов.

>Так я и говорю про вероятности - те вопросы, которые чаще выпадают - для них подготовят ответы.
Ради бога, пусть готовят. Может умнее станут (^^). Только вот вычислить вероятность выпадения вопросов не легче, чем посчитать вероятность выпадения бочёнков в "русском лотто" (^^). Хотя там, процесс явно детерменированный, а здесь исключительно вероятностный.

>>Вообщем, идите и вспоминайте матстатистику (если хотите конечно), весьма полезная наука.
>При чем тут матстатистика? Вы признали, что некоторые вопросы выпадают чаще, чем другие. Поэтому для части вопросов вероятность выпадения будет не 1/50 как для большинства - а меньше, например, 1/10 - а это равносильно уменьшению базы до 2000 вопросов - т.е., также как и на brainbench сейчас.
Не равносильно. Если бы это было равносильно, то вся статистика очень сильно бы упростилась (^^). Очень многие исследователи просто жаждут, чтобы так оно и было. Но, к сожалению, вынуждены оперировать тем что есть.
Во-первых, такого большого различия вероятностей, как 1/10 - 1/50, не будет. Будет где-то p=0.0001(+/-)0.00009 .
Во-вторых, сама база разделена на блоки по 500, 600, 700, 800, 900, 1000, 1100, 1200, 1300, 1900 вопросов. Вероятность выпадения вопросов внутри каждого из блоков определяется функцией распределеиня соответствующего блока (у разных блоков - функции различны). В зависимости от правильности ваших ответов компьютер будет задавать вам вопросы из различных блоков. Не факт, что тот кто будет следующим сдавать экзамен получит вопросы из тех же блоков, что и вы.

>>>Он попросит протокол у вас, чтобы потом можно было проконтролировать правильность оценки работы независимыми экспертами - и это справедливо. Мало ли какие ошибки в базе будут.
>>Это ему абсолютно никаким образом не поможет...
>Так не о нем речь - а о других, которые за дверью собирают и систематизируют эти сведения.
Зачем? Если все возможные вопросы и объяснения к ним даны в учебнике, и рассматриваются в изучаемом курсе?

>Вы сказали - некоторые вопросы выпадают _чаще_ чем другие. Это равносильно увеличению вероятности повтора - сл-но, эквивалентно снижению обьема базы вопросов.
Не эквивалентно. Даже в предельном варианте. Если сможете доказать что эквивалентно, считайте что докторская вам обеспечена.

>>Такое впечатление, что вы этот вопрос первый раз на экзамене увидили. К экзаменам готовится надо. Все вопросы заранее известны. Так что понял-не_понял все равно что сдал-не_сдал.
>Т.е. в вашем экзамене все 10000 вопросов будут опубликованы с вариантами ответов?
Да. все 10000 вопросов будут опубликованы в учебнике и будут рассмотрены во время обучения. А как же иначе.
Естественно, что это не будет типа:
? №32. Второй закон Ньютона:
1. a = F/m. [x]
2. ... [ ]
3. ...
Но в вопросах для самопроверки будут содержаться именно те формулировки, что и в базе.

>>На заводе государственной комиссией, где происходит штамовка программы (^^).
>Господи, какая наивность. Про возможность исправления _кода_ программы уже в памяти компьютера при исполнении вы неосведомлены?
Осведомлён. А также осведомлён о том, что код программы _невозможно_ исправить, когда он исполняется не из RAM, а из ROM, коим является та же ПЛМ. Вы слышали о процессорах с раздельной архитектурой? Где к программной памяти никто кроме процессора обращаться не может, да и тот только для чтения (архитектура естественно реализована на АППАРАТНОМ уровне).
А о процессорах серии 1816 (хотя уже появились более современные модели), которые построены по такой архитектуре...
Более того, там даже к области данных из вне обратится нельзя.

>>Программа.
>Она, как минимум, будет хранить в оперативной памяти компьютера список ответов студента и оценку, ему выставленную - вот эту оценку и будут исправлять или искажать.
Неполучится. В силу архитектурных особенностей. Или вы думате что экзамен будет проходить на ЭВМ типа IBM PC с процессорами Intel Pentium 3 (^^).

>>Программа находится на ПЛМ
>>База вопросов и ответов (в том числе правильных) так же находится на ПЛМ (но отдельной, по каждому предмету - своя).
>И насколько часто будут меняться вопросы?
На столько, насколько это будет необходимо в силу развития данной области науки.

>>После прошивки ПЛМ туда уже ничего не заложишь, а проверить ПЛМ на соответствие эталону - проще простого. Достаточно весма простого прибора: генератор сигнала, счетчик, эталонная ПЛМ, гнездо для тестовой, регистр, 8 элементов типа ИЛИ-НЕ и пара диодов, обвязка, и батарейки. Ну и корпус, если вам не нравится вид голой платы. Сборка прибора займет не больше часа, а проверка - считанные секунды.
>Так атака будет не здесь - а в момент выставления оценки.
Исключено.

Вы совершенно не представляете себе как все будет происходить (и при этом пытаетесь доказать что я ничего не смыслю).
Тестирующий вас компьютер может располагаться на расстоянии многих тысяч километров и доступа к его памяти вам точно не видать. У вас удаленный терминал, который может выполнять только две функции: Принять_символ, Послать_символ.
Фактически, на этом терминале только кнопки [0..9] [,] [Ввод] [Да] [Нет]. Все больше вам ничего не доступно.
Терминал принял изображение, показал его вам. Получил от вас номер ответа и послал его на компьютер. И т.д.
Единственное что вам доступно еще, это лог, который печатается теримналом перед отправкой, и которой можно будет сравнить с логом на "том конце", чтобы исключить возможность влияния на сигнал в процессе передачи.
Причем этот лог выглядит вот так:
09143 0010000000
00230 0000100000
01052 0100000000
...
(причём номера правильных ответов для разных тестов могут меняться (вопросы перемешиваются), и у вас например правильный ответ на вопрос № 01052 = 0100000000, а у следующего сдающего № 01052 = 0000100000
Так что лог будет бесполезен для целей вычисления правильных ответов (о чем я говорил ранее).

На том конце вас обслуживает не Intel процессор (слишком расточительно), а однокристальная ЭВМ (типа 1816) У которой программа жестко прошита в ПЗУ и ее не изменить никакими средствами. Подсчет оценки ведется в ее оперативной памяти, которая располагается на том же кристалле, и доступ к которой из вне невозможен.
В конце теста вам передаётся оценка, которая подбивается в лог, и эта же оценка заносится в базу мин. образования, вместе с вашим номером и датой сдачи. И ранее чем через месяц у вас этот экзамен никто не примет.

Далее по базе вопросов. Действительно, выборка вопросов осуществляется не по равномерному распределению, хотя и близкому к нему. Но есть ряд отдельных моментов, сама база разбита на 10 блоков (по уровню сложности вопросов) и помере того, как компьютер оценивает ваши знания он может усложнять или упрощать вам вопросы, т. е. производить выборку из разных блоков (для каждого блока - своё распределение вероятности выпадения того или иного вопроса). Таким образом, вероятность выпадения того или иного вопроса нелинейная функция. Предугадать которую крайне сложно. Ведь вам не будет известно на какие вопросы вы ответели неправильно сразу. Поэтому не будет ясно на каком оснвании компьютер решил выбрать вопросы из другого блока. Такая "подборка" ответов может занять (ориентировочно) от 10 до 20 лет, что превышает срок изменения базы (ориентировочно 5-7 лет) как минимум вдвое.
От Дмитрий Кобзев
К Социал (16.11.2001 14:12:23)
Дата 16.11.2001 15:50:14

Re: Ну, избавил......

Привет!


>>>Как бороться? Пока сознательных кадров не воспитаем никакими средствами бороться не получится. У нас в университете честных в приёмную комиссию не берут на пушечный выстрел...
>>Например - сменой бюрократического подхода на делократический.
>В делокративной форме (^^). Неужели вы столь наивны. Те же бюрократы его и угробят. Нужно воспитывать кадры, для этого нужно время. Одними приказами ничего не сделаешь. Кадры - решают все.

ТАк и надо на бюрократов направить усилия, а не на совершенствование технических средств.

>>Весьма самонадеянное заявление. Не приведете ли ссылки на более продвинутые проекты?
>Anderson P.K., Borgan O., Grill R.D. and Keiding N. Statistical Models Based on Counting Processess. - New York: Springer-Verlag, 1997.
>Atherton C.R., Klemmak D.L. Research method in Social Work: An introdution. - Lexington DC: Heath and Company, 1998.
>Collet D. Modelling Binary Data. - New YorkL Chapman & Hall, 1991.
>Greenbaum Thomas L. The handbook for Focus Group Research. - 2nd edition. - Thousand Oaks. SAGE Publications Inc., 1998.
>Nelson W.B. Accelerated Testing. - New York: John Wiley & Sons, 1990.
А что-нибудь более свежее есть? И что именно на brainbench согласно этих источников - "позвачерашний день" :)?

>Думаю вполне достаточно.
>В этих книгах содержиться вся необходимая информация для понимания методик построения подобного рода тестов.
Тесты - мастдай.

>>Так я и говорю про вероятности - те вопросы, которые чаще выпадают - для них подготовят ответы.
>Ради бога, пусть готовят. Может умнее станут (^^).
Т.е., то, что вероятность снизится - я вам доказал.
Как именно снизится - не суть важно.

>>>>Он попросит протокол у вас, чтобы потом можно было проконтролировать правильность оценки работы независимыми экспертами - и это справедливо. Мало ли какие ошибки в базе будут.
>>>Это ему абсолютно никаким образом не поможет...
>>Так не о нем речь - а о других, которые за дверью собирают и систематизируют эти сведения.
>Зачем? Если все возможные вопросы и объяснения к ним даны в учебнике, и рассматриваются в изучаемом курсе?

>>Вы сказали - некоторые вопросы выпадают _чаще_ чем другие. Это равносильно увеличению вероятности повтора -сл-но, эквивалентно снижению обьема базы вопросов.
>Не эквивалентно. Даже в предельном варианте. Если сможете доказать что эквивалентно, считайте что докторская вам обеспечена.
Да вы и сами это признали - см. выше.

>>>Такое впечатление, что вы этот вопрос первый раз на экзамене увидили. К экзаменам готовится надо. Все вопросы заранее известны. Так что понял-не_понял все равно что сдал-не_сдал.
>>Т.е. в вашем экзамене все 10000 вопросов будут опубликованы с вариантами ответов?
>Да. все 10000 вопросов будут опубликованы в учебнике и будут рассмотрены во время обучения. А как же иначе.
>Естественно, что это не будет типа:
>? №32. Второй закон Ньютона:
>1. a = F/m. [x]
>2. ... [ ]
>3. ...
>Но в вопросах для самопроверки будут содержаться именно те формулировки, что и в базе.
Это полный мастдай. Даже если на странице учебника разбирается 2 вопроса - по каждой дисциплине придется издавать по 10 500-стр. томов с перечнем вопросов.
Студенты только и будут заниматься этой глупостью - читать внешний вид вопросов и правильных ответов.
Попробуйте хоть 100 вопросов по своей профессии накидать, в которых бы требовалось не запомнить - а мыслить. Это очень сложная работа.

>>>На заводе государственной комиссией, где происходит штамовка программы (^^).
>>Господи, какая наивность. Про возможность исправления _кода_ программы уже в памяти компьютера при исполнении вы неосведомлены?
>Осведомлён. А также осведомлён о том, что код программы _невозможно_ исправить, когда он исполняется не из RAM, а из ROM, коим является та же ПЛМ.
А код и не будет исправлятся. Достаточно подменить полученную оценку.

>Вы слышали о процессорах с раздельной архитектурой? Где к программной памяти никто кроме процессора обращаться не может, да и тот только для чтения (архитектура естественно реализована на АППАРАТНОМ уровне).


>А о процессорах серии 1816 (хотя уже появились более современные модели), которые построены по такой архитектуре...
Слушайте, у вас все сведения о процессорах такой давности?

>Более того, там даже к области данных из вне обратится нельзя.


>>>Программа.
>>Она, как минимум, будет хранить в оперативной памяти компьютера список ответов студента и оценку, ему выставленную - вот эту оценку и будут исправлять или искажать.
>Неполучится. В силу архитектурных особенностей. Или вы думате что экзамен будет проходить на ЭВМ типа IBM PC с процессорами Intel Pentium 3 (^^).
Это не имеет значения. Как на это повлияют архитектурные особенности?

>>>Программа находится на ПЛМ
>>>База вопросов и ответов (в том числе правильных) так же находится на ПЛМ (но отдельной, по каждому предмету - своя).
>>И насколько часто будут меняться вопросы?
>На столько, насколько это будет необходимо в силу развития данной области науки.
А все же?

>>>После прошивки ПЛМ туда уже ничего не заложишь, а проверить ПЛМ на соответствие эталону - проще простого. Достаточно весма простого прибора: генератор сигнала, счетчик, эталонная ПЛМ, гнездо для тестовой, регистр, 8 элементов типа ИЛИ-НЕ и пара диодов, обвязка, и батарейки. Ну и корпус, если вам не нравится вид голой платы. Сборка прибора займет не больше часа, а проверка - считанные секунды.

>>Так атака будет не здесь - а в момент выставления оценки.
>Исключено.

>Вы совершенно не представляете себе как все будет происходить (и при этом пытаетесь доказать что я ничего не смыслю).
Боюсь, это вы не представляете.

>Тестирующий вас компьютер может располагаться на расстоянии многих тысяч километров и доступа к его памяти вам точно не видать.
У вас удаленный терминал, который может выполнять только две функции: Принять_символ, Послать_символ.
>Фактически, на этом терминале только кнопки [0..9] [,] [Ввод] [Да] [Нет]. Все больше вам ничего не доступно.
>Терминал принял изображение, показал его вам. Получил от вас номер ответа и послал его на компьютер. И т.д.
>Единственное что вам доступно еще, это лог, который печатается теримналом перед отправкой, и которой можно будет сравнить с логом на "том конце", чтобы исключить возможность влияния на сигнал в процессе передачи.
>Причем этот лог выглядит вот так:
>09143 0010000000
>00230 0000100000
>01052 0100000000
>...
>(причём номера правильных ответов для разных тестов могут меняться (вопросы перемешиваются), и у вас например правильный ответ на вопрос № 01052 = 0100000000, а у следующего сдающего № 01052 = 0000100000
>Так что лог будет бесполезен для целей вычисления правильных ответов (о чем я говорил ранее).
Это все чепуха. Почему я должен доверять вашей программе?
Я попрошу протокол вопросов и ответов, как я на них ответил, чтобы проверить - не наврала ли машина. И потом скажу - что вы наврали, вот в этом вот вопросе я ответил правильно, а ваша программа сбойнула, или из своих каких-то соображений подставила неверный ответ.


>На том конце вас обслуживает не Intel процессор (слишком расточительно), а однокристальная ЭВМ (типа 1816)
Господи, какая наивность :) Что, и на каждого экзаменующегося - свой компьютер?
И когда десятиклассники будут сдавать экзамен, числом 10 млн. человек - задействуюете 10 млн. компьютеров (что с ними будет после экзамена - простаивать будут год?) и 10 млн линий связи (вы ж сказали, на столе - терминал просто? Или он интеллектуальный, сам стек TCP/IP держит)?
А если держит, то сложность его несопоставима ни с каким 1816 и т.д.
Так на чем экономить будете?

> У которой программа жестко прошита в ПЗУ и ее не изменить никакими средствами. Подсчет оценки ведется в ее оперативной памяти, которая располагается на том же кристалле, и доступ к которой из вне невозможен.


>В конце теста вам передаётся оценка, которая подбивается в лог, и эта же оценка заносится в базу мин. образования, вместе с вашим номером и датой сдачи.
Вот здесь все и подменится - хакер сломает эту базу (или штатный программист, удостоверившись, что на его счет в банке упала соотв. сумма) (она поди не в памяти 1816 :) и поставит себе и нужным людям нужную оценку.

>И ранее чем через месяц у вас этот экзамен никто не примет.
Не понял? В каком смысле не примет?

>Далее по базе вопросов. Действительно, выборка вопросов осуществляется не по равномерному распределению, хотя и близкому к нему. Но есть ряд отдельных моментов, сама база разбита на 10 блоков (по уровню сложности вопросов) и помере того, как компьютер оценивает ваши знания он может усложнять или упрощать вам вопросы, т. е. производить выборку из разных блоков (для каждого блока - своё распределение вероятности выпадения того или иного вопроса). Таким образом, вероятность выпадения того или иного вопроса нелинейная функция. Предугадать которую крайне сложно. Ведь вам не будет известно на какие вопросы вы ответели неправильно сразу. Поэтому не будет ясно на каком оснвании компьютер решил выбрать вопросы из другого блока. Такая "подборка" ответов может занять (ориентировочно) от 10 до 20 лет, что превышает срок изменения базы (ориентировочно 5-7 лет) как минимум вдвое.
РЕчь не о том. Никому нафиг не нужно предугадывать функции. Достаточно констатации факта, что одни вопросы появляются чаще других - будут существовать сборники часто появляющихся вопросов, собранные на основе анализа протоколов ответов.

В общем, общий итог - несерьезно все это, увы.

С уважением, Дмитрий Кобзев
От Социал
К Дмитрий Кобзев (16.11.2001 15:50:14)
Дата 16.11.2001 19:35:37

Re: Ну, избавил......

>ТАк и надо на бюрократов направить усилия, а не на совершенствование технических средств.
Надо комплексно подходить. Совершенствование технических средств, способствует научно-техническому прогрессу, задействует инженерный состав и т. д.

>>>Весьма самонадеянное заявление. Не приведете ли ссылки на более продвинутые проекты?
>>Anderson P.K., Borgan O., Grill R.D. and Keiding N. Statistical Models Based on Counting Processess. - New York: Springer-Verlag, 1997.
>>Atherton C.R., Klemmak D.L. Research method in Social Work: An introdution. - Lexington DC: Heath and Company, 1998.
>>Collet D. Modelling Binary Data. - New YorkL Chapman & Hall, 1991.
>>Greenbaum Thomas L. The handbook for Focus Group Research. - 2nd edition. - Thousand Oaks. SAGE Publications Inc., 1998.
>>Nelson W.B. Accelerated Testing. - New York: John Wiley & Sons, 1990.
>А что-нибудь более свежее есть? И что именно на brainbench согласно этих источников - "позвачерашний день" :)?
Куда свежее-то. Пусть, хотя бы, на основании изложенных в этих книгах методах строят свою систему (^^).

>>Думаю вполне достаточно.
>>В этих книгах содержиться вся необходимая информация для понимания методик построения подобного рода тестов.
>Тесты - мастдай.
Мнение студента-неудачника, постоянно проваливающегося на тестах (^^). Тесты поволяют оценить уровень знаний, пусть и приближённо, но вполне достаточно.

>>>Так я и говорю про вероятности - те вопросы, которые чаще выпадают - для них подготовят ответы.
>>Ради бога, пусть готовят. Может умнее станут (^^).
>Т.е., то, что вероятность снизится - я вам доказал.
>Как именно снизится - не суть важно.
Вероятность чего? Конкретнее. Вероятность выпадения вопросов? - нет, не снизится, она жёстко задана.
Вероятность правильного ответа на вопрос студентом? - я только рад буду за студентов.
Вероятность подбора верных ответов? - пусть перебирают, лишь напрасно потратят 10-15 лет своей жизни.

>Это полный мастдай. Даже если на странице учебника разбирается 2 вопроса - по каждой дисциплине придется издавать по 10 500-стр. томов с перечнем вопросов.
>Студенты только и будут заниматься этой глупостью - читать внешний вид вопросов и правильных ответов.
Глупые студенты именно так и будут делать, а умные будут разбираться в сути, и формулировка им не будет важна.
>Попробуйте хоть 100 вопросов по своей профессии накидать, в которых бы требовалось не запомнить - а мыслить. Это очень сложная работа.
Вполне легко, у меня начинаются проблемы с 3ей тысячей (^^).

>А код и не будет исправлятся. Достаточно подменить полученную оценку.
Как? Её подменить невозможно (если конечно не рассматривать влияние потусторониих сил и божественную помощь (^^)).

>>А о процессорах серии 1816 (хотя уже появились более современные модели), которые построены по такой архитектуре...
>Слушайте, у вас все сведения о процессорах такой давности?
Нет, но я предпочитаю рассматривать классические примеры, которые наглядно демонстрируют суть, а не отвлекаться на ультромодные Ph3816, в которых одно программирование требует отдельного курса лекций.

>>>>Программа.
>>>Она, как минимум, будет хранить в оперативной памяти компьютера список ответов студента и оценку, ему выставленную - вот эту оценку и будут исправлять или искажать.
>>Неполучится. В силу архитектурных особенностей. Или вы думате что экзамен будет проходить на ЭВМ типа IBM PC с процессорами Intel Pentium 3 (^^).
>Это не имеет значения. Как на это повлияют архитектурные особенности?
Программа сидит в ПЗУ и выполняется оттуда.
Результаты работы программы сидят в кэш-памяти (если выражаться современным языком), куда доступа нет никому кроме процессора. И ПЗУ и КЭШ располагаются на том-же кристалле, что и процессор, с внешним миром процессор общается через порты. Процессор однозадачный.
Чтобы что-то изменить в области кода или данных, вам придется как минимум получить доступ к процессору на молекулярном уровне, иначе - никак.
С точки зрения взлома - дохляк. Таблица прерываний в ПЗУ (соответственно не перехватить управление), точек останова нет (соответственно не перехватить управление).
Не перехватить управление - не исправить область данных.
Более того, сегмент кода расположен только в ПЗУ - соответственно самому туда ничего записать не получится.

>>>И насколько часто будут меняться вопросы?
>>На столько, насколько это будет необходимо в силу развития данной области науки.
>А все же?
В классических науках (где уже годами ничего не меняется) вопросы так и будут раз и навсегда. А в развивающихся - будут менятся по мере развития.

>Боюсь, это вы не представляете.
Представляю, ибо моделирую данную систему.

>Это все чепуха. Почему я должен доверять вашей программе?
А куда вы денитесь... если это будет одобрено и принято на уровне мин. образования РФ?

>Я попрошу протокол вопросов и ответов, как я на них ответил, чтобы проверить - не наврала ли машина. И потом скажу - что вы наврали, вот в этом вот вопросе я ответил правильно, а ваша программа сбойнула, или из своих каких-то соображений подставила неверный ответ.
Протокол вопросов и ответов у вас будет (как я уже писал), он распечатывается на ленте терминала по мере ответов, и без этой ленты никто ваши протесты и слушать не будет. Вашу ленту сравнят с контрольной, что печаталась "на том конце", где стоит тестирующий компьютер и в случае полного их совпадения вас пошлют подальше. А если действительно произошел сбой, то вам дадут шанс пересдать.

>>На том конце вас обслуживает не Intel процессор (слишком расточительно), а однокристальная ЭВМ (типа 1816)
>Господи, какая наивность :) Что, и на каждого экзаменующегося - свой компьютер?
Да. На каждого экзаменующегося - свой терминал, обслуживаемый отдельным компьютером (дёшево и сердито). А заодно, сразу будет видно, если по каким-то МИФИЧЕСКИМ причинам этот компьютер начнет сбоить. Потому тогда на данном терминале все будут заваливаться... После 100го завалившегося подряд терминал поменяют, а завалившимся предложат пересдать экзамен.
НО, сбоить там просто нечему.

>И когда десятиклассники будут сдавать экзамен, числом 10 млн. человек - задействуюете 10 млн. компьютеров (что с ними будет после экзамена - простаивать будут год?) и 10 млн линий связи (вы ж сказали, на столе - терминал просто? Или он интеллектуальный, сам стек TCP/IP держит)?
Ну нафига там стек TCP/IP, когда всё можно сделать на аппаратном уровне? И в каком городе наберется 10 мил. десятиклассников? Кстати 10 млн. микроэвм типа 1816 - примерный объем годового выпуска, так что легко. И потом, не думате же вы, что на всю страну будет только 1 такой центр. А экзамены люди будт сдавать круглый год. (почти каждый день). Сегодня один сдает, завтра другой и т. д. Если я изучил предмет за 10 класс в 5м, то я могу пойти, сдать экзамен сейчас, а не ждать ещё 5 лет.

>А если держит, то сложность его несопоставима ни с каким 1816 и т.д.
Сложность такого компьютера не сопоставима даже с последней моделью утюга фирмы Philips, куда также засунули однокристалку, ибо весь этот "компьютер" можно собрать на "россыпной" логике 155 серии.
>Так на чем экономить будете?
На всём (^^).
Сложные компьютеры не нужны.
Программисты стека TCP/IP - тоже не нужны.
Инженеры и операторы, обслуживающие сложные компьютеры и т.д.

>>В конце теста вам передаётся оценка, которая подбивается в лог, и эта же оценка заносится в базу мин. образования, вместе с вашим номером и датой сдачи.
>Вот здесь все и подменится - хакер сломает эту базу (или штатный программист, удостоверившись, что на его счет в банке упала соотв. сумма) (она поди не в памяти 1816 :) и поставит себе и нужным людям нужную оценку.
И тут же лишиться своей работы и будет отдан под суд. Поскольку, информация об оценке сохраняется на жестком носителе (как минимум на контрольной ленте, с которой будет сравниваться ваш лог в случае вашего несогласия).

>>И ранее чем через месяц у вас этот экзамен никто не примет.
>Не понял? В каком смысле не примет?
При попытка сдать экзамен повторно, вам будет отказано в этом.

>РЕчь не о том. Никому нафиг не нужно предугадывать функции. Достаточно констатации факта, что одни вопросы появляются чаще других - будут существовать сборники часто появляющихся вопросов, собранные на основе анализа протоколов ответов.
Как вам объяснить, чтобы вы поняли. То что вероятность не одинакова и я говорю чаще - не значит, что одни вопросы появляются в 2 раза чаще чем другие. Кстати я вам даже указал примерные пределы.
Ну будет вопрос № 10 попадаться 5 раз из 10000, а вопорос № 7 - 4 раза. Чаще попадается вопрос № 10? - Чаще. Вам это сильно поможет - сомневаюсь...

>В общем, общий итог - несерьезно все это, увы.
Поживём увидим.

Вообще, по этой дисскусии у меня сложилось определенной мнение, что у вас о предмете нашего разговоро лишь весьма смутное представление, которое вас вполне устраивает. И в сознании сидят определённые мифы, заложенные современными СМИ. Если компьютер - то обязательно супер-современный (типа пентиума 3), если канал связи, то обязательно ТСП/ЙП, если программа, то обязательно можно сломать и т.д. Все эти мифы придуманы специально, чтобы пудрить мозги неспециалистам, и напустить туману на данную отрасль.
Конечно, программисту гораздо приятние быстро и без напрягов за чашкой кофе писать программу в визуальной среде, а потом все её ошибки сваливать на глюки компилятора, операционки, железа и т. д., чем сидеть копаясь в машинном коде выверять каждую переменную.
Помню в бытность мою студентом, на практике по программированию писали мы текстовый редактор. Одни написали его за один день (на турбо-вижен под си), а другие, в том числе и я возились месяц с ассемблером. Разница была поражающей воображение и в размере кода (до нескольких порядков) и в скорости работы (в разы), а главное что мой редактор не вылетал в операционку с воплями об ошибке, при попытке открыть файл более 64к, а спокойно грузил его в память, в отличие от редактора написанного на си.
Сейчас на ассемблере практически никто не пишет. Зачем напрягаться - не пристижно это (^^). Уже до того обнаглели, что директХ Микрософт пишет на Си. А ведь если бы его писале на асме, то скорость видюшных драйверов (критичных для многих игр) возрасла как минимум бы в трое.

Вывод один. Можно сделать эффективную, невзламываемую систему, только нужно захотеть, а главное обеспечить соответствующую реализацию. Ибо известно много случаев, когда вместо требуемых по проекту компонент лепили фигню всякую, а некоторые после этого заплатили за свою халатность жизнью (например, когда вместо предохранительных пробок на высоковольтное оборудование гвозди совали, и цепь, естественно не разрывалась вовремя, когда одним из звеньев оказывался человек...).
От Дмитрий Кобзев
К Социал (16.11.2001 19:35:37)
Дата 19.11.2001 07:59:48

Избави Бог повторно

Привет!

>>>>Весьма самонадеянное заявление. Не приведете ли ссылки на более продвинутые проекты?
>>>Anderson P.K., Borgan O., Grill R.D. and Keiding N. Statistical Models Based on Counting Processess. - New York: Springer-Verlag, 1997.
>>>Atherton C.R., Klemmak D.L. Research method in Social Work: An introdution. - Lexington DC: Heath and Company, 1998.
>>>Collet D. Modelling Binary Data. - New YorkL Chapman & Hall, 1991.
>>>Greenbaum Thomas L. The handbook for Focus Group Research. - 2nd edition. - Thousand Oaks. SAGE Publications Inc., 1998.
>>>Nelson W.B. Accelerated Testing. - New York: John Wiley & Sons, 1990.
>>А что-нибудь более свежее есть? И что именно на brainbench согласно этих источников - "позвачерашний день" :)?
>Куда свежее-то. Пусть, хотя бы, на основании изложенных в этих книгах методах строят свою систему (^^).
Ответа по существу не последовало.

>>>Думаю вполне достаточно.
>>>В этих книгах содержиться вся необходимая информация для понимания методик построения подобного рода тестов.
>>Тесты - мастдай.
>Мнение студента-неудачника, постоянно проваливающегося на тестах (^^). Тесты поволяют оценить уровень знаний, пусть и приближённо, но вполне достаточно.
Это, скорее, мнение студента-отличника, знающего, что почем, и знающего, в чем ценность, а в чем недостатки тестовых методов сдачи экзаменов.
Рекомендую прислушаться, чтобы не попадать пальцем в небо при определении главных проблем образования и экзаменов.


С уважением, Дмитрий Кобзев
От Социал
К Дмитрий Кобзев (19.11.2001 07:59:48)
Дата 19.11.2001 13:05:05

Re: Избави Бог...

>Ответа по существу не последовало.
А вам что ссылка на сайт нужна? - увы нет пока таких (по крайней мере я не встречал) так что ноу-хау.
Вот внедрим скоро в мин.образования и сайты появятся...

>>>Тесты - мастдай.
>>Мнение студента-неудачника, постоянно проваливающегося на тестах (^^). Тесты поволяют оценить уровень знаний, пусть и приближённо, но вполне достаточно.
>Это, скорее, мнение студента-отличника, знающего, что почем, и знающего, в чем ценность, а в чем недостатки тестовых методов сдачи экзаменов.
И что с того, думаете я их не знаю - прекрасно знаю. Но, когда студент категорически со мной не согласен, что мне делать? Созывать комиссию? Вот в этом случае тесты и покажут кто прав (^^). И потом, вы представляете себе какого принимать экзамены у всего потока в один день? Кроме того, ведь дискуссия началась с того, что необходимо средство позволяющее сократить коррупицю. Тесты - подходящая временная мера, пока не будет воспитано новое поколение преподавателей.

>Рекомендую прислушаться, чтобы не попадать пальцем в небо при определении главных проблем образования и экзаменов.
Ну, это мы посмотрим. Как только закончу оформление, буду представлять в соответствующие органы...
От А.Б.
К Социал (16.11.2001 14:12:23)
Дата 16.11.2001 14:31:20

Re: Придерусь. :)

ПЛМ (как и ПМЛ) - она и не РАМ и не РОМ - совсем особая статья. :) Это так, для общего развития.

Проблема же - невнятнее. Как сформылировать вопрос так, чтобы машина ответ на него "поняла" и адекватно классифицировала - правильный или нет. Да так, чтобы ответа не давать "угадайкой".

Для задачи - просто. Для теории - нет. Есть наработки?
От Социал
К А.Б. (16.11.2001 14:31:20)
Дата 16.11.2001 14:55:39

Re: Придерусь. :)

>ПЛМ (как и ПМЛ) - она и не РАМ и не РОМ - совсем особая статья. :) Это так, для общего развития.
Это понятно, но все же, после прошивки, она ближе к РОМ (^^).

>Проблема же - невнятнее. Как сформылировать вопрос так, чтобы машина ответ на него "поняла" и адекватно классифицировала - правильный или нет. Да так, чтобы ответа не давать "угадайкой".
Ну, здесь действительно проблема есть. Но она скорее уже методического, чем технического характера.
Так что для каждого предмета должна решаться по-своему.

>Для задачи - просто. Для теории - нет. Есть наработки?
Наработки в какой области? В области составления таких вопросов? - пока нет.
В общей техническо-математической постановки задачи - есть. Начиная от постановки задачи, используемых методов и подробного описания алгоритма, до принципиальных схем некоторых узлов "опрашивающей ЭВМ".
От А.Б.
К Социал (16.11.2001 14:55:39)
Дата 16.11.2001 15:13:28

Re: Ни-за-что!

>Это понятно, но все же, после прошивки, она ближе к РОМ (^^).

В первую голову - это ЛОГИКА, т.е. "И", "ИЛИ" и прочая.
Памяти там - токмо регистры, которые - на триггерах, D-типа :) В принципе, пользуя мультиплексор и РОМ - можно эмулировать ПЛМ, но - сами понимаете... незачем.

>Ну, здесь действительно проблема есть. Но она скорее уже методического, чем технического характера.
>Так что для каждого предмета должна решаться по-своему.

Тогда - сперва дождемся наработок. А уж потом - пробовать-сравнивать-решать. :)
От Социал
К А.Б. (16.11.2001 15:13:28)
Дата 16.11.2001 19:35:54

Re: Ни-за-что!

>>Это понятно, но все же, после прошивки, она ближе к РОМ (^^).
>В первую голову - это ЛОГИКА, т.е. "И", "ИЛИ" и прочая.
>Памяти там - токмо регистры, которые - на триггерах, D-типа :) В принципе, пользуя мультиплексор и РОМ - можно эмулировать ПЛМ, но - сами понимаете... незачем.
Стоп. стоп. стоп. ПЛМ - Програмируемая Логическая Матрица. Никаких тригеров там нет. Все что там есть, так это паралельно стоящие ИЛИ-НЕ и И-НЕ. По сути тот же РОМ, который можно прошить один раз по своему усмотрению и работать с ним. Прошивка осуществляется прожиганием перемычек на физическом уровне, т.е. перепрошивка невозможна (в отличие от ППЗУ).

Типичная ПЛМ:

!-----------------------------!
! !
! !------------------------! !
! ! ! !
! (х)-*\ /*-! !
! ИЛИ-НЕ -(y)- И-НЕ !
!-(х)-*/ \*---!

звёздочками (*) обозначены перемычки, которые могут быть прожжены. Так что ПЛМ, самая настоящая РОМ.

>>Ну, здесь действительно проблема есть. Но она скорее уже методического, чем технического характера.
>>Так что для каждого предмета должна решаться по-своему.
>Тогда - сперва дождемся наработок. А уж потом - пробовать-сравнивать-решать. :)
Ну вот я на студентах испытаю (^^), там посмотрим...
От А.Б.
К Социал (16.11.2001 19:35:54)
Дата 16.11.2001 20:54:18

Re: Регистры есть в ПМЛ :)

Которая Программируемая Матричная Логика :))

А схожесть - лишь одна "технология прошивки". Перемычки плавкие. Назвать байтов 20 памятью - у меня язык не поворачивается. Тем более - что она (как регистр) скорее не РОМ а СРАМ :)

Студентов - заставьте потом сочинение о впечатлениях накатать. И поделитесь ими с обчеством :))