От Дмитрий Кобзев
К Социал
Дата 16.11.2001 15:50:14
Рубрики Прочее; Образы будущего; Идеология; Компромисс; Программа; ...

Re: Ну, избавил......

Привет!


>>>Как бороться? Пока сознательных кадров не воспитаем никакими средствами бороться не получится. У нас в университете честных в приёмную комиссию не берут на пушечный выстрел...
>>Например - сменой бюрократического подхода на делократический.
>В делокративной форме (^^). Неужели вы столь наивны. Те же бюрократы его и угробят. Нужно воспитывать кадры, для этого нужно время. Одними приказами ничего не сделаешь. Кадры - решают все.

ТАк и надо на бюрократов направить усилия, а не на совершенствование технических средств.

>>Весьма самонадеянное заявление. Не приведете ли ссылки на более продвинутые проекты?
>Anderson P.K., Borgan O., Grill R.D. and Keiding N. Statistical Models Based on Counting Processess. - New York: Springer-Verlag, 1997.
>Atherton C.R., Klemmak D.L. Research method in Social Work: An introdution. - Lexington DC: Heath and Company, 1998.
>Collet D. Modelling Binary Data. - New YorkL Chapman & Hall, 1991.
>Greenbaum Thomas L. The handbook for Focus Group Research. - 2nd edition. - Thousand Oaks. SAGE Publications Inc., 1998.
>Nelson W.B. Accelerated Testing. - New York: John Wiley & Sons, 1990.
А что-нибудь более свежее есть? И что именно на brainbench согласно этих источников - "позвачерашний день" :)?

>Думаю вполне достаточно.
>В этих книгах содержиться вся необходимая информация для понимания методик построения подобного рода тестов.
Тесты - мастдай.

>>Так я и говорю про вероятности - те вопросы, которые чаще выпадают - для них подготовят ответы.
>Ради бога, пусть готовят. Может умнее станут (^^).
Т.е., то, что вероятность снизится - я вам доказал.
Как именно снизится - не суть важно.

>>>>Он попросит протокол у вас, чтобы потом можно было проконтролировать правильность оценки работы независимыми экспертами - и это справедливо. Мало ли какие ошибки в базе будут.
>>>Это ему абсолютно никаким образом не поможет...
>>Так не о нем речь - а о других, которые за дверью собирают и систематизируют эти сведения.
>Зачем? Если все возможные вопросы и объяснения к ним даны в учебнике, и рассматриваются в изучаемом курсе?

>>Вы сказали - некоторые вопросы выпадают _чаще_ чем другие. Это равносильно увеличению вероятности повтора -сл-но, эквивалентно снижению обьема базы вопросов.
>Не эквивалентно. Даже в предельном варианте. Если сможете доказать что эквивалентно, считайте что докторская вам обеспечена.
Да вы и сами это признали - см. выше.

>>>Такое впечатление, что вы этот вопрос первый раз на экзамене увидили. К экзаменам готовится надо. Все вопросы заранее известны. Так что понял-не_понял все равно что сдал-не_сдал.
>>Т.е. в вашем экзамене все 10000 вопросов будут опубликованы с вариантами ответов?
>Да. все 10000 вопросов будут опубликованы в учебнике и будут рассмотрены во время обучения. А как же иначе.
>Естественно, что это не будет типа:
>? №32. Второй закон Ньютона:
>1. a = F/m. [x]
>2. ... [ ]
>3. ...
>Но в вопросах для самопроверки будут содержаться именно те формулировки, что и в базе.
Это полный мастдай. Даже если на странице учебника разбирается 2 вопроса - по каждой дисциплине придется издавать по 10 500-стр. томов с перечнем вопросов.
Студенты только и будут заниматься этой глупостью - читать внешний вид вопросов и правильных ответов.
Попробуйте хоть 100 вопросов по своей профессии накидать, в которых бы требовалось не запомнить - а мыслить. Это очень сложная работа.

>>>На заводе государственной комиссией, где происходит штамовка программы (^^).
>>Господи, какая наивность. Про возможность исправления _кода_ программы уже в памяти компьютера при исполнении вы неосведомлены?
>Осведомлён. А также осведомлён о том, что код программы _невозможно_ исправить, когда он исполняется не из RAM, а из ROM, коим является та же ПЛМ.
А код и не будет исправлятся. Достаточно подменить полученную оценку.

>Вы слышали о процессорах с раздельной архитектурой? Где к программной памяти никто кроме процессора обращаться не может, да и тот только для чтения (архитектура естественно реализована на АППАРАТНОМ уровне).


>А о процессорах серии 1816 (хотя уже появились более современные модели), которые построены по такой архитектуре...
Слушайте, у вас все сведения о процессорах такой давности?

>Более того, там даже к области данных из вне обратится нельзя.


>>>Программа.
>>Она, как минимум, будет хранить в оперативной памяти компьютера список ответов студента и оценку, ему выставленную - вот эту оценку и будут исправлять или искажать.
>Неполучится. В силу архитектурных особенностей. Или вы думате что экзамен будет проходить на ЭВМ типа IBM PC с процессорами Intel Pentium 3 (^^).
Это не имеет значения. Как на это повлияют архитектурные особенности?

>>>Программа находится на ПЛМ
>>>База вопросов и ответов (в том числе правильных) так же находится на ПЛМ (но отдельной, по каждому предмету - своя).
>>И насколько часто будут меняться вопросы?
>На столько, насколько это будет необходимо в силу развития данной области науки.
А все же?

>>>После прошивки ПЛМ туда уже ничего не заложишь, а проверить ПЛМ на соответствие эталону - проще простого. Достаточно весма простого прибора: генератор сигнала, счетчик, эталонная ПЛМ, гнездо для тестовой, регистр, 8 элементов типа ИЛИ-НЕ и пара диодов, обвязка, и батарейки. Ну и корпус, если вам не нравится вид голой платы. Сборка прибора займет не больше часа, а проверка - считанные секунды.

>>Так атака будет не здесь - а в момент выставления оценки.
>Исключено.

>Вы совершенно не представляете себе как все будет происходить (и при этом пытаетесь доказать что я ничего не смыслю).
Боюсь, это вы не представляете.

>Тестирующий вас компьютер может располагаться на расстоянии многих тысяч километров и доступа к его памяти вам точно не видать.
У вас удаленный терминал, который может выполнять только две функции: Принять_символ, Послать_символ.
>Фактически, на этом терминале только кнопки [0..9] [,] [Ввод] [Да] [Нет]. Все больше вам ничего не доступно.
>Терминал принял изображение, показал его вам. Получил от вас номер ответа и послал его на компьютер. И т.д.
>Единственное что вам доступно еще, это лог, который печатается теримналом перед отправкой, и которой можно будет сравнить с логом на "том конце", чтобы исключить возможность влияния на сигнал в процессе передачи.
>Причем этот лог выглядит вот так:
>09143 0010000000
>00230 0000100000
>01052 0100000000
>...
>(причём номера правильных ответов для разных тестов могут меняться (вопросы перемешиваются), и у вас например правильный ответ на вопрос № 01052 = 0100000000, а у следующего сдающего № 01052 = 0000100000
>Так что лог будет бесполезен для целей вычисления правильных ответов (о чем я говорил ранее).
Это все чепуха. Почему я должен доверять вашей программе?
Я попрошу протокол вопросов и ответов, как я на них ответил, чтобы проверить - не наврала ли машина. И потом скажу - что вы наврали, вот в этом вот вопросе я ответил правильно, а ваша программа сбойнула, или из своих каких-то соображений подставила неверный ответ.


>На том конце вас обслуживает не Intel процессор (слишком расточительно), а однокристальная ЭВМ (типа 1816)
Господи, какая наивность :) Что, и на каждого экзаменующегося - свой компьютер?
И когда десятиклассники будут сдавать экзамен, числом 10 млн. человек - задействуюете 10 млн. компьютеров (что с ними будет после экзамена - простаивать будут год?) и 10 млн линий связи (вы ж сказали, на столе - терминал просто? Или он интеллектуальный, сам стек TCP/IP держит)?
А если держит, то сложность его несопоставима ни с каким 1816 и т.д.
Так на чем экономить будете?

> У которой программа жестко прошита в ПЗУ и ее не изменить никакими средствами. Подсчет оценки ведется в ее оперативной памяти, которая располагается на том же кристалле, и доступ к которой из вне невозможен.


>В конце теста вам передаётся оценка, которая подбивается в лог, и эта же оценка заносится в базу мин. образования, вместе с вашим номером и датой сдачи.
Вот здесь все и подменится - хакер сломает эту базу (или штатный программист, удостоверившись, что на его счет в банке упала соотв. сумма) (она поди не в памяти 1816 :) и поставит себе и нужным людям нужную оценку.

>И ранее чем через месяц у вас этот экзамен никто не примет.
Не понял? В каком смысле не примет?

>Далее по базе вопросов. Действительно, выборка вопросов осуществляется не по равномерному распределению, хотя и близкому к нему. Но есть ряд отдельных моментов, сама база разбита на 10 блоков (по уровню сложности вопросов) и помере того, как компьютер оценивает ваши знания он может усложнять или упрощать вам вопросы, т. е. производить выборку из разных блоков (для каждого блока - своё распределение вероятности выпадения того или иного вопроса). Таким образом, вероятность выпадения того или иного вопроса нелинейная функция. Предугадать которую крайне сложно. Ведь вам не будет известно на какие вопросы вы ответели неправильно сразу. Поэтому не будет ясно на каком оснвании компьютер решил выбрать вопросы из другого блока. Такая "подборка" ответов может занять (ориентировочно) от 10 до 20 лет, что превышает срок изменения базы (ориентировочно 5-7 лет) как минимум вдвое.
РЕчь не о том. Никому нафиг не нужно предугадывать функции. Достаточно констатации факта, что одни вопросы появляются чаще других - будут существовать сборники часто появляющихся вопросов, собранные на основе анализа протоколов ответов.

В общем, общий итог - несерьезно все это, увы.

С уважением, Дмитрий Кобзев
От Социал
К Дмитрий Кобзев (16.11.2001 15:50:14)
Дата 16.11.2001 19:35:37

Re: Ну, избавил......

>ТАк и надо на бюрократов направить усилия, а не на совершенствование технических средств.
Надо комплексно подходить. Совершенствование технических средств, способствует научно-техническому прогрессу, задействует инженерный состав и т. д.

>>>Весьма самонадеянное заявление. Не приведете ли ссылки на более продвинутые проекты?
>>Anderson P.K., Borgan O., Grill R.D. and Keiding N. Statistical Models Based on Counting Processess. - New York: Springer-Verlag, 1997.
>>Atherton C.R., Klemmak D.L. Research method in Social Work: An introdution. - Lexington DC: Heath and Company, 1998.
>>Collet D. Modelling Binary Data. - New YorkL Chapman & Hall, 1991.
>>Greenbaum Thomas L. The handbook for Focus Group Research. - 2nd edition. - Thousand Oaks. SAGE Publications Inc., 1998.
>>Nelson W.B. Accelerated Testing. - New York: John Wiley & Sons, 1990.
>А что-нибудь более свежее есть? И что именно на brainbench согласно этих источников - "позвачерашний день" :)?
Куда свежее-то. Пусть, хотя бы, на основании изложенных в этих книгах методах строят свою систему (^^).

>>Думаю вполне достаточно.
>>В этих книгах содержиться вся необходимая информация для понимания методик построения подобного рода тестов.
>Тесты - мастдай.
Мнение студента-неудачника, постоянно проваливающегося на тестах (^^). Тесты поволяют оценить уровень знаний, пусть и приближённо, но вполне достаточно.

>>>Так я и говорю про вероятности - те вопросы, которые чаще выпадают - для них подготовят ответы.
>>Ради бога, пусть готовят. Может умнее станут (^^).
>Т.е., то, что вероятность снизится - я вам доказал.
>Как именно снизится - не суть важно.
Вероятность чего? Конкретнее. Вероятность выпадения вопросов? - нет, не снизится, она жёстко задана.
Вероятность правильного ответа на вопрос студентом? - я только рад буду за студентов.
Вероятность подбора верных ответов? - пусть перебирают, лишь напрасно потратят 10-15 лет своей жизни.

>Это полный мастдай. Даже если на странице учебника разбирается 2 вопроса - по каждой дисциплине придется издавать по 10 500-стр. томов с перечнем вопросов.
>Студенты только и будут заниматься этой глупостью - читать внешний вид вопросов и правильных ответов.
Глупые студенты именно так и будут делать, а умные будут разбираться в сути, и формулировка им не будет важна.
>Попробуйте хоть 100 вопросов по своей профессии накидать, в которых бы требовалось не запомнить - а мыслить. Это очень сложная работа.
Вполне легко, у меня начинаются проблемы с 3ей тысячей (^^).

>А код и не будет исправлятся. Достаточно подменить полученную оценку.
Как? Её подменить невозможно (если конечно не рассматривать влияние потусторониих сил и божественную помощь (^^)).

>>А о процессорах серии 1816 (хотя уже появились более современные модели), которые построены по такой архитектуре...
>Слушайте, у вас все сведения о процессорах такой давности?
Нет, но я предпочитаю рассматривать классические примеры, которые наглядно демонстрируют суть, а не отвлекаться на ультромодные Ph3816, в которых одно программирование требует отдельного курса лекций.

>>>>Программа.
>>>Она, как минимум, будет хранить в оперативной памяти компьютера список ответов студента и оценку, ему выставленную - вот эту оценку и будут исправлять или искажать.
>>Неполучится. В силу архитектурных особенностей. Или вы думате что экзамен будет проходить на ЭВМ типа IBM PC с процессорами Intel Pentium 3 (^^).
>Это не имеет значения. Как на это повлияют архитектурные особенности?
Программа сидит в ПЗУ и выполняется оттуда.
Результаты работы программы сидят в кэш-памяти (если выражаться современным языком), куда доступа нет никому кроме процессора. И ПЗУ и КЭШ располагаются на том-же кристалле, что и процессор, с внешним миром процессор общается через порты. Процессор однозадачный.
Чтобы что-то изменить в области кода или данных, вам придется как минимум получить доступ к процессору на молекулярном уровне, иначе - никак.
С точки зрения взлома - дохляк. Таблица прерываний в ПЗУ (соответственно не перехватить управление), точек останова нет (соответственно не перехватить управление).
Не перехватить управление - не исправить область данных.
Более того, сегмент кода расположен только в ПЗУ - соответственно самому туда ничего записать не получится.

>>>И насколько часто будут меняться вопросы?
>>На столько, насколько это будет необходимо в силу развития данной области науки.
>А все же?
В классических науках (где уже годами ничего не меняется) вопросы так и будут раз и навсегда. А в развивающихся - будут менятся по мере развития.

>Боюсь, это вы не представляете.
Представляю, ибо моделирую данную систему.

>Это все чепуха. Почему я должен доверять вашей программе?
А куда вы денитесь... если это будет одобрено и принято на уровне мин. образования РФ?

>Я попрошу протокол вопросов и ответов, как я на них ответил, чтобы проверить - не наврала ли машина. И потом скажу - что вы наврали, вот в этом вот вопросе я ответил правильно, а ваша программа сбойнула, или из своих каких-то соображений подставила неверный ответ.
Протокол вопросов и ответов у вас будет (как я уже писал), он распечатывается на ленте терминала по мере ответов, и без этой ленты никто ваши протесты и слушать не будет. Вашу ленту сравнят с контрольной, что печаталась "на том конце", где стоит тестирующий компьютер и в случае полного их совпадения вас пошлют подальше. А если действительно произошел сбой, то вам дадут шанс пересдать.

>>На том конце вас обслуживает не Intel процессор (слишком расточительно), а однокристальная ЭВМ (типа 1816)
>Господи, какая наивность :) Что, и на каждого экзаменующегося - свой компьютер?
Да. На каждого экзаменующегося - свой терминал, обслуживаемый отдельным компьютером (дёшево и сердито). А заодно, сразу будет видно, если по каким-то МИФИЧЕСКИМ причинам этот компьютер начнет сбоить. Потому тогда на данном терминале все будут заваливаться... После 100го завалившегося подряд терминал поменяют, а завалившимся предложат пересдать экзамен.
НО, сбоить там просто нечему.

>И когда десятиклассники будут сдавать экзамен, числом 10 млн. человек - задействуюете 10 млн. компьютеров (что с ними будет после экзамена - простаивать будут год?) и 10 млн линий связи (вы ж сказали, на столе - терминал просто? Или он интеллектуальный, сам стек TCP/IP держит)?
Ну нафига там стек TCP/IP, когда всё можно сделать на аппаратном уровне? И в каком городе наберется 10 мил. десятиклассников? Кстати 10 млн. микроэвм типа 1816 - примерный объем годового выпуска, так что легко. И потом, не думате же вы, что на всю страну будет только 1 такой центр. А экзамены люди будт сдавать круглый год. (почти каждый день). Сегодня один сдает, завтра другой и т. д. Если я изучил предмет за 10 класс в 5м, то я могу пойти, сдать экзамен сейчас, а не ждать ещё 5 лет.

>А если держит, то сложность его несопоставима ни с каким 1816 и т.д.
Сложность такого компьютера не сопоставима даже с последней моделью утюга фирмы Philips, куда также засунули однокристалку, ибо весь этот "компьютер" можно собрать на "россыпной" логике 155 серии.
>Так на чем экономить будете?
На всём (^^).
Сложные компьютеры не нужны.
Программисты стека TCP/IP - тоже не нужны.
Инженеры и операторы, обслуживающие сложные компьютеры и т.д.

>>В конце теста вам передаётся оценка, которая подбивается в лог, и эта же оценка заносится в базу мин. образования, вместе с вашим номером и датой сдачи.
>Вот здесь все и подменится - хакер сломает эту базу (или штатный программист, удостоверившись, что на его счет в банке упала соотв. сумма) (она поди не в памяти 1816 :) и поставит себе и нужным людям нужную оценку.
И тут же лишиться своей работы и будет отдан под суд. Поскольку, информация об оценке сохраняется на жестком носителе (как минимум на контрольной ленте, с которой будет сравниваться ваш лог в случае вашего несогласия).

>>И ранее чем через месяц у вас этот экзамен никто не примет.
>Не понял? В каком смысле не примет?
При попытка сдать экзамен повторно, вам будет отказано в этом.

>РЕчь не о том. Никому нафиг не нужно предугадывать функции. Достаточно констатации факта, что одни вопросы появляются чаще других - будут существовать сборники часто появляющихся вопросов, собранные на основе анализа протоколов ответов.
Как вам объяснить, чтобы вы поняли. То что вероятность не одинакова и я говорю чаще - не значит, что одни вопросы появляются в 2 раза чаще чем другие. Кстати я вам даже указал примерные пределы.
Ну будет вопрос № 10 попадаться 5 раз из 10000, а вопорос № 7 - 4 раза. Чаще попадается вопрос № 10? - Чаще. Вам это сильно поможет - сомневаюсь...

>В общем, общий итог - несерьезно все это, увы.
Поживём увидим.

Вообще, по этой дисскусии у меня сложилось определенной мнение, что у вас о предмете нашего разговоро лишь весьма смутное представление, которое вас вполне устраивает. И в сознании сидят определённые мифы, заложенные современными СМИ. Если компьютер - то обязательно супер-современный (типа пентиума 3), если канал связи, то обязательно ТСП/ЙП, если программа, то обязательно можно сломать и т.д. Все эти мифы придуманы специально, чтобы пудрить мозги неспециалистам, и напустить туману на данную отрасль.
Конечно, программисту гораздо приятние быстро и без напрягов за чашкой кофе писать программу в визуальной среде, а потом все её ошибки сваливать на глюки компилятора, операционки, железа и т. д., чем сидеть копаясь в машинном коде выверять каждую переменную.
Помню в бытность мою студентом, на практике по программированию писали мы текстовый редактор. Одни написали его за один день (на турбо-вижен под си), а другие, в том числе и я возились месяц с ассемблером. Разница была поражающей воображение и в размере кода (до нескольких порядков) и в скорости работы (в разы), а главное что мой редактор не вылетал в операционку с воплями об ошибке, при попытке открыть файл более 64к, а спокойно грузил его в память, в отличие от редактора написанного на си.
Сейчас на ассемблере практически никто не пишет. Зачем напрягаться - не пристижно это (^^). Уже до того обнаглели, что директХ Микрософт пишет на Си. А ведь если бы его писале на асме, то скорость видюшных драйверов (критичных для многих игр) возрасла как минимум бы в трое.

Вывод один. Можно сделать эффективную, невзламываемую систему, только нужно захотеть, а главное обеспечить соответствующую реализацию. Ибо известно много случаев, когда вместо требуемых по проекту компонент лепили фигню всякую, а некоторые после этого заплатили за свою халатность жизнью (например, когда вместо предохранительных пробок на высоковольтное оборудование гвозди совали, и цепь, естественно не разрывалась вовремя, когда одним из звеньев оказывался человек...).
От Дмитрий Кобзев
К Социал (16.11.2001 19:35:37)
Дата 19.11.2001 07:59:48

Избави Бог повторно

Привет!

>>>>Весьма самонадеянное заявление. Не приведете ли ссылки на более продвинутые проекты?
>>>Anderson P.K., Borgan O., Grill R.D. and Keiding N. Statistical Models Based on Counting Processess. - New York: Springer-Verlag, 1997.
>>>Atherton C.R., Klemmak D.L. Research method in Social Work: An introdution. - Lexington DC: Heath and Company, 1998.
>>>Collet D. Modelling Binary Data. - New YorkL Chapman & Hall, 1991.
>>>Greenbaum Thomas L. The handbook for Focus Group Research. - 2nd edition. - Thousand Oaks. SAGE Publications Inc., 1998.
>>>Nelson W.B. Accelerated Testing. - New York: John Wiley & Sons, 1990.
>>А что-нибудь более свежее есть? И что именно на brainbench согласно этих источников - "позвачерашний день" :)?
>Куда свежее-то. Пусть, хотя бы, на основании изложенных в этих книгах методах строят свою систему (^^).
Ответа по существу не последовало.

>>>Думаю вполне достаточно.
>>>В этих книгах содержиться вся необходимая информация для понимания методик построения подобного рода тестов.
>>Тесты - мастдай.
>Мнение студента-неудачника, постоянно проваливающегося на тестах (^^). Тесты поволяют оценить уровень знаний, пусть и приближённо, но вполне достаточно.
Это, скорее, мнение студента-отличника, знающего, что почем, и знающего, в чем ценность, а в чем недостатки тестовых методов сдачи экзаменов.
Рекомендую прислушаться, чтобы не попадать пальцем в небо при определении главных проблем образования и экзаменов.


С уважением, Дмитрий Кобзев
От Социал
К Дмитрий Кобзев (19.11.2001 07:59:48)
Дата 19.11.2001 13:05:05

Re: Избави Бог...

>Ответа по существу не последовало.
А вам что ссылка на сайт нужна? - увы нет пока таких (по крайней мере я не встречал) так что ноу-хау.
Вот внедрим скоро в мин.образования и сайты появятся...

>>>Тесты - мастдай.
>>Мнение студента-неудачника, постоянно проваливающегося на тестах (^^). Тесты поволяют оценить уровень знаний, пусть и приближённо, но вполне достаточно.
>Это, скорее, мнение студента-отличника, знающего, что почем, и знающего, в чем ценность, а в чем недостатки тестовых методов сдачи экзаменов.
И что с того, думаете я их не знаю - прекрасно знаю. Но, когда студент категорически со мной не согласен, что мне делать? Созывать комиссию? Вот в этом случае тесты и покажут кто прав (^^). И потом, вы представляете себе какого принимать экзамены у всего потока в один день? Кроме того, ведь дискуссия началась с того, что необходимо средство позволяющее сократить коррупицю. Тесты - подходящая временная мера, пока не будет воспитано новое поколение преподавателей.

>Рекомендую прислушаться, чтобы не попадать пальцем в небо при определении главных проблем образования и экзаменов.
Ну, это мы посмотрим. Как только закончу оформление, буду представлять в соответствующие органы...