От apple16
К All
Дата 28.08.2019 17:17:47
Рубрики WWII;

Качество мемуарной литературы и инструменты исследователя

Читая мемуарную и прочую подобную литературу сейчас можно практически автоматически проделывать несложную работу - выписывать три категории сущностей в столбик (в Excel конечно):

1. Формирования - полки, дивизии и тп
2. Географию - населенные пункты и реки с высотами
3. Люди - фамилии и звания/должности

также можно отдельно записать отношения между этими сущностями по времени

После чего пробивать через ОБД что есть, а чего нету

Так вот - есть мемуары, где все подряд бьется (как Ванька ротный) - даже незначительные офицеры находятся и по датам и по месту (автор видимо вел дневник и потом по нему писал)
А есть наоборот (например Павлюченко) - часть сведений не бьется, часть в мемуарах не описана - те писалось по памяти с переменным успехом.

Можно даже рейтинг качества мемуара составить - насколько бьется он с реальностью

Работа по прояснению в ОБД несложная, но длительная и видимо могла бы быть автоматизирована

Те от ОБД хотелось бы какой никакой шаг вперед по обогащению инструментария, а именно взять наконец и составить дерево формирований во времени и привязать туда хотя бы старших офицеров.
Это не рокет сайнс и не миллионы записей

Элар что-то подобное делает рисуя боевой путь, но как зря выглядит ибо данные мусорные
А нужно просто справочник, рисовать дело очень вторичное

КПД историков низкий - вместо того чтобы выдвигать идеи на всем готовеньком, тратят время на первичный сбор информации и описательную часть, что можно и автоматически подтянуть.
От Моцарт
К apple16 (28.08.2019 17:17:47)
Дата 30.08.2019 15:32:56

Будете низвергать спутавших Чернавку/Черняевку и взводного Иванова/Иванкова? (-)

---
От Slick
К Моцарт (30.08.2019 15:32:56)
Дата 30.08.2019 18:01:45

Re: лучше просто в виде сносок - уточнить

>---
и привести достоверную информацию :)
От Кострома
К Slick (30.08.2019 18:01:45)
Дата 31.08.2019 06:15:35

Открою вам тайну

>>---
>и привести достоверную информацию :)


Мемуары - это художественное произведение
От объект 925
К Кострома (31.08.2019 06:15:35)
Дата 01.09.2019 00:11:40

Re: Открою вам...

>Мемуары - это художественное произведение
+++
Важная особенность мемуаров заключается в претензии на достоверность воссоздаваемого прошлого и, соответственно, на документальный характер текста, хотя в действительности не все мемуары являются правдивыми и точными....Многие мемуары написаны лицами, игравшими видную роль в истории (Уинстон Черчилль, Шарль де Голль, Екатерина II). Они могут охватывать значительный период времени, иногда всю жизнь автора, соединяя важные события с мелкими подробностями повседневной жизни. В этом отношении мемуары служат историческим источником первостепенной важности.
Wikipedia- ups
Alexej
От Slick
К apple16 (28.08.2019 17:17:47)
Дата 29.08.2019 10:46:32

Re: Качество мемуарной...

>Читая мемуарную и прочую подобную литературу сейчас можно практически автоматически проделывать несложную работу - выписывать три категории сущностей в столбик (в Excel конечно):


>КПД историков низкий - вместо того чтобы выдвигать идеи на всем готовеньком, тратят время на первичный сбор информации и описательную часть, что можно и автоматически подтянуть.

Боюсь задача сложнее. Сначала надо подготовить студентов на стыке история/математика/программирование. Это не особо сложно, лет 5. Но сложно людям с таким образованием в исторических институтах платить по 300 тысяч в месяц. Банки просто перекупят.
От Bigfoot
К Slick (29.08.2019 10:46:32)
Дата 29.08.2019 17:58:45

Есть готовые развитые средства анализа текста. (+)

Готовить отдельно студентов вряд ли разумно. Проще взять готового информатика по профилю data science / machine learning с опытом обработки текстов и задействовать его в среде историков.
Я знаком с людьми, которые анализируют текст, выявляя обман страховых компаний методами машинного обучения. Да, "стОят" такие специалисты недешево.
От Slick
К Bigfoot (29.08.2019 17:58:45)
Дата 29.08.2019 23:42:03

Re: Есть готовые...


Готовых средств - еще нет. Матаппарат - тот был готов еще в 80е.

>Готовить отдельно студентов вряд ли разумно. Проще взять готового информатика по профилю data science / machine learning с опытом обработки текстов и задействовать его в среде историков.
>Я знаком с людьми, которые анализируют текст, выявляя обман страховых компаний методами машинного обучения. Да, "стОят" такие специалисты недешево.

Верно, пока без специальных людей - машинное обучение не работает. Пока специалистов data science / machine learning на рынке не хватает. Вот историкам бы привлечь профессоров по IT, создать бы школу историков-информатиков, что позволило бы привлечь нормальных абитуриентов и получить кучу докторских степеней.
От Bigfoot
К Slick (29.08.2019 23:42:03)
Дата 30.08.2019 06:07:00

Готовые средства есть. Как минимум, для Python и R. (+)

И довольно много.
Делать из историков информатиков - утопия. Нужно кооперироваться.
От Slick
К Bigfoot (30.08.2019 06:07:00)
Дата 30.08.2019 10:25:17

Off

>И довольно много.
Имеющимися инструментами без специального образования пользоваться пока нельзя.

>Делать из историков информатиков - утопия. Нужно кооперироваться.
Профессура историков должна договориться с математиками.
Из инженера проще сделать историка, лучший вариант адаптация программ математического / IT профиля к истории.
Сейчас похоже из специалистов всех направлений приходится делать информатиков (см. медицину и IBM) ;(



От Bigfoot
К Slick (30.08.2019 10:25:17)
Дата 30.08.2019 22:26:09

Re: Off

>Имеющимися инструментами без специального образования пользоваться пока нельзя.
Вообще-то, можно. Но потребует много времени на освоение в первую очередь базиса - основ программирования на указанных мною выше языках. Для энтузазиста, имеющего опыт програмиизма даже на уровне хобби - ничего невозможного. Вопрос лишь в желании и усидчивости.

>Профессура историков должна договориться с математиками.
Ну договариваются же в других науках. Я знаю множество примеров кооперации с математиками в таком варианте: математику _грамотно_ формулируют задачу, он пытается найти решение.
>Из инженера проще сделать историка, лучший вариант адаптация программ математического / IT профиля к истории.
Тут не знаю. ИМХО - можно и так, и эдак, все определится склонностями и возможностями конкретных исполнителей.
>Сейчас похоже из специалистов всех направлений приходится делать информатиков (см. медицину и IBM) ;(
Я не знаю, что означает "медицина и IBM", но грамотность в области информатики никому не мешала. И будущее будет принадлежать разработчикам эффективных алгоритмов (или тому, кто их контролирует).
От linze
К Bigfoot (30.08.2019 22:26:09)
Дата 02.09.2019 14:54:32

Вы всё правильно пишете. (-)
От Slick
К Bigfoot (30.08.2019 22:26:09)
Дата 31.08.2019 08:15:11

Re: Off

>>Имеющимися инструментами без специального образования пользоваться пока нельзя.
>Вообще-то, можно. Но потребует много времени на освоение в первую очередь базиса - основ программирования на указанных мною выше языках. Для энтузазиста, имеющего опыт програмиизма даже на уровне хобби - ничего невозможного. Вопрос лишь в желании и усидчивости.

Это и есть образование. Но помимо программирования - нужена еще и математика.

>Я не знаю, что означает "медицина и IBM", но грамотность в области информатики никому не мешала. И будущее будет принадлежать разработчикам эффективных алгоритмов (или тому, кто их контролирует).

Оффтоп конечно, но близко к исходной теме по объемам данных, и может когда-нибудь применят в военно-полевой медицине: http://www.diakonlab.ru/vse_novosti/industry_news/superkompyuter_ibm_watson_revolyuciya_v_diagnostike_i_terapii_raka/
От linze
К Slick (31.08.2019 08:15:11)
Дата 02.09.2019 15:03:12

Re: Off

>Это и есть образование. Но помимо программирования - нужена еще и математика.

Тут нужна конкретизация. Современная математика настолько огромна, что одной человеческой жизни на её освоение уже давно не хватает.

С информатикой то же самое. Сейчас все, кто учат математику так или иначе учатся и программировать: R, Matlab, Python..., но для работы с теми же базами данными и их организацией, для создания удобного интерфейса, для создания сетевой части нужны те, кто конкретно на всём этом специализируются. Математик может сам написать какой-то модуль с алгоритмом на известном себе языке, который будет принимать вводные и давать ответы, но вписать всё это в удобную схему он скорее всего уже не сможет.
От Zevs
К Bigfoot (30.08.2019 22:26:09)
Дата 31.08.2019 02:40:21

Re: Off

Ave!
>>Имеющимися инструментами без специального образования пользоваться пока нельзя.
>Вообще-то, можно. Но потребует много времени на освоение в первую очередь базиса - основ программирования на указанных мною выше языках. Для энтузазиста, имеющего опыт програмиизма даже на уровне хобби - ничего невозможного. Вопрос лишь в желании и усидчивости.

Для указанного выше по треду не нужен энтузиазм, нужен профессионализм!

>>Профессура историков должна договориться с математиками.
>Ну договариваются же в других науках. Я знаю множество примеров кооперации с математиками в таком варианте: математику _грамотно_ формулируют задачу, он пытается найти решение.

И как обычно встаёт вопрос о грамотно формулирующем задачу для математика.

>>Из инженера проще сделать историка, лучший вариант адаптация программ математического / IT профиля к истории.
>Тут не знаю. ИМХО - можно и так, и эдак, все определится склонностями и возможностями конкретных исполнителей.

По крайней мере знаю несколько д.ф.н., которые до этого были к.ф-м.н. Обратных метаморфоз не встречал. :)


Vale!
От Bigfoot
К Zevs (31.08.2019 02:40:21)
Дата 03.09.2019 19:28:41

Re: Off

>Для указанного выше по треду не нужен энтузиазм, нужен профессионализм!
Даже среди участников данного форума есть отличные примеры того, как энтузиазм конвертируется в профессионализм. Это я без тени иронии.

>И как обычно встаёт вопрос о грамотно формулирующем задачу для математика.
На самом деле тоже вполне решаемая проблема. Очень помогает организация взаимодействия в виде доклада с качественным иллюстративным материалом и последующей дискуссией.

>По крайней мере знаю несколько д.ф.н., которые до этого были к.ф-м.н. Обратных метаморфоз не встречал. :)
Я знавал лишь филологов, вполне успешно сотрудничавших с математиками. ИМХО, тут бессмысленно обобщать. Но подобные задачи, на мой взгляд, заслуживают внимания государства в плане финансирования междисциплинарных проектов.

Я пролистывал литературу по анализу текста - только потому, что R и Python использую в качестве основных программных средства для решения повседневных задач (разносторонний анализ данных) на рабочем месте, но глубоко в проблематику не вникал, увы. Только впечатлился, сколько уже всего всякого наколбасили.
От Zevs
К Bigfoot (30.08.2019 06:07:00)
Дата 30.08.2019 09:01:02

Re: Готовые средства...

Ave!
>И довольно много.
>Делать из историков информатиков - утопия. Нужно кооперироваться.

Тогда надо делать из "информатиков" историков. Но на это тоже нужно несколько лет и стимул (денежный) для этих самых "информатиков".

Vale!
От Кострома
К Zevs (30.08.2019 09:01:02)
Дата 31.08.2019 06:10:28

Из информатиков историки получаются

Примерно такие же как из математиков.


У них мозги иначе устроены
От damdor
К Кострома (31.08.2019 06:10:28)
Дата 31.08.2019 11:50:40

Эти математики?

>Примерно такие же как из математиков.

Морозов Николай Александрович (25 июня (7 июля) 1854 — 30 июля 1946)
Фоменко Николай Владимирович
От Кострома
К damdor (31.08.2019 11:50:40)
Дата 31.08.2019 12:32:37

Re: Эти математики?

>>Примерно такие же как из математиков.
>
>Морозов Николай Александрович (25 июня (7 июля) 1854 — 30 июля 1946)
>Фоменко Николай Владимирович


По справедливости - Морозов - не математик

А вот Фоменко - да - профессиональный
От Bigfoot
К Zevs (30.08.2019 09:01:02)
Дата 30.08.2019 22:27:17

Можно и так, и эдак - см. выше. Но эффективнее кооперироваться. (-)
От Zevs
К Bigfoot (30.08.2019 22:27:17)
Дата 31.08.2019 02:27:30

Re: Можно и...

Ave!

Так-то да, эффективнее. В теории.

Но на практике тяжело удружить "историков" с "программистами в BigData". Потому тут и ищут обходные пути с погружением тех или иных в чуждые области знания.


Vale!
От Fateev
К Zevs (30.08.2019 09:01:02)
Дата 30.08.2019 09:06:36

Re: Готовые средства...

День добрый.
>Тогда надо делать из "информатиков" историков. Но на это тоже нужно несколько лет и стимул (денежный) для этих самых "информатиков".

Нужен грамотный постановщик задач/аналитик. Он ставит задачу программисту.
Быть при этом историком - ни постановщику, ни программисту не требуется.

С уважением, Павел Фатеев.
От Zevs
К Fateev (30.08.2019 09:06:36)
Дата 30.08.2019 09:52:26

Re: Готовые средства...

Ave!

>Нужен грамотный постановщик задач/аналитик. Он ставит задачу программисту.
>Быть при этом историком - ни постановщику, ни программисту не требуется.

Но где же такого грамотного постановщика/аналитика взять?

Vale!
От Iva
К Zevs (30.08.2019 09:52:26)
Дата 30.08.2019 11:16:57

Re: Готовые средства...

Привет!

>Но где же такого грамотного постановщика/аналитика взять?

вот поэтому и были озвучены 300 тыс. :)

Владимир
От Fateev
К Zevs (30.08.2019 09:52:26)
Дата 30.08.2019 11:04:22

Re: Готовые средства...

День добрый.
>>Нужен грамотный постановщик задач/аналитик. Он ставит задачу программисту.
>>Быть при этом историком - ни постановщику, ни программисту не требуется.
>Но где же такого грамотного постановщика/аналитика взять?

Это проблема, согласен. Сами сейчас в поисках, ибо не хватает.

С уважением, Павел Фатеев.
От Slick
К Zevs (30.08.2019 09:52:26)
Дата 30.08.2019 10:37:36

Re: Готовые средства...


>Но где же такого грамотного постановщика/аналитика взять?

Вот пример (он по химии больше):
https://www.luxoft-training.ru/about/experts/kumskov.html
От И.Пыхалов
К Slick (29.08.2019 10:46:32)
Дата 29.08.2019 17:45:33

Осетра бы надо урезать

>Боюсь задача сложнее. Сначала надо подготовить студентов на стыке история/математика/программирование. Это не особо сложно, лет 5. Но сложно людям с таким образованием в исторических институтах платить по 300 тысяч в месяц. Банки просто перекупят.

Раза в 4 как минимум

Тов. Чубайс является смелым, волевым и решительным комиссаром
От Iva
К И.Пыхалов (29.08.2019 17:45:33)
Дата 29.08.2019 18:21:47

Re: Осетра бы...

Привет!
>>Боюсь задача сложнее. Сначала надо подготовить студентов на стыке история/математика/программирование. Это не особо сложно, лет 5. Но сложно людям с таким образованием в исторических институтах платить по 300 тысяч в месяц. Банки просто перекупят.
>
>Раза в 4 как минимум

боюсь, что больше, чем в два раза не получится :)

т.е. 100 т.р. будет недостижимым идеалом - т.е. вряд ли кого найдете на постоянку.


Владимир
От Fateev
К Iva (29.08.2019 18:21:47)
Дата 30.08.2019 06:33:30

Ау, остановитесь

День добрый.
>т.е. 100 т.р. будет недостижимым идеалом - т.е. вряд ли кого найдете на постоянку.

Москвичи, остановитесь !
За мкадом жизнь есть !

За 100 тр. в Самаре, Казани, Волгограде и далее можно найти очень хороших спецов.

С уважением, Павел Фатеев.
От Iva
К Fateev (30.08.2019 06:33:30)
Дата 30.08.2019 10:58:52

Re: Ау, остановитесь

Привет!

>Москвичи, остановитесь !
>За мкадом жизнь есть !

не важно где живет высоковалифицированный программист, он будет работать по мировым расценкам.

мне очень сомнительно наличие хорошего специалиста по БигДате в нашей провинции в товарных количествах.
Т.е. отдельные, скорее всего, есть но они получают по мировому уровню, так как работают на тех, кому эта БигДата нужна.

>За 100 тр. в Самаре, Казани, Волгограде и далее можно найти очень хороших спецов.

не уверен. По опыту моих клиентов (крупных компаний) даже всякие сисадмины высокой (именно высокой) квалификации выкачаны. Даже сами эти компании таких людей переводили в Москву, так как и здесь их не хватает.

Владимир
От Zevs
К Fateev (30.08.2019 06:33:30)
Дата 30.08.2019 08:57:52

Re: Ау, остановитесь

Ave!

>>т.е. 100 т.р. будет недостижимым идеалом - т.е. вряд ли кого найдете на постоянку.

>Москвичи, остановитесь !
>За мкадом жизнь есть !

>За 100 тр. в Самаре, Казани, Волгограде и далее можно найти очень хороших спецов.

Как я понял, отправной точкой было обучение новых специалистов "на стыке истории, математики и программирования", что будет происходить в Москве. А обычно свежий выпускник из регионов, если учился в Москве, там и остаётся.

Vale!
От Slick
К Zevs (30.08.2019 08:57:52)
Дата 30.08.2019 10:27:43

off


>Как я понял, отправной точкой было обучение новых специалистов "на стыке истории, математики и программирования", что будет происходить в Москве. А обычно свежий выпускник из регионов, если учился в Москве, там и остаётся.

Студенты такого уровня легко уезжают заграницу. Поэтому придется им платить среднемировую зарплату.
От apple16
К Slick (29.08.2019 10:46:32)
Дата 29.08.2019 12:48:33

Логично - или мы признаем, что история это гуманитарная дисциплина

и там будет только патриотическая накачка разной степени правдоподобности
(с научным подходом работают только отдельные энтузиасты)
или же системно копаем за отдельные деньги.

Умных людей много не надо на самом деле - чуть ли не 7-8 человек хватит (одна команда)
Остальное построить на беслатных/дешевых энтузиастах/надомниках
(ровно так как они сканирование делали).
Те не с табличкой раз в год выходить, а 100 записей полностью в базу из сканов поднять.

Правда тогда академия с технологиями XVIII века (пол книжки состоит из цитирования других книжек и выражения почтения разным деятелям) будет выглядеть бледно. ))
От Samsv
К apple16 (28.08.2019 17:17:47)
Дата 29.08.2019 10:41:01

Re: Качество мемуарной...

>Читая мемуарную и прочую подобную литературу сейчас можно практически автоматически проделывать несложную работу - выписывать три категории сущностей в столбик (в Excel конечно):

>1. Формирования - полки, дивизии и тп

Приветствую! Это видимо не касается мемуарной литературы 50-х гг. Там можно обнаружить только N-ские полки.
Точные указания не приветствовались цензурой.

>2. Географию - населенные пункты и реки с высотами
>3. Люди - фамилии и звания/должности

>также можно отдельно записать отношения между этими сущностями по времени

>После чего пробивать через ОБД что есть, а чего нету

>Так вот - есть мемуары, где все подряд бьется (как Ванька ротный) - даже незначительные офицеры находятся и по датам и по месту (автор видимо вел дневник и потом по нему писал)
>А есть наоборот (например Павлюченко) - часть сведений не бьется, часть в мемуарах не описана - те писалось по памяти с переменным успехом.

>Можно даже рейтинг качества мемуара составить - насколько бьется он с реальностью

>Работа по прояснению в ОБД несложная, но длительная и видимо могла бы быть автоматизирована

>Те от ОБД хотелось бы какой никакой шаг вперед по обогащению инструментария, а именно взять наконец и составить дерево формирований во времени и привязать туда хотя бы старших офицеров.
>Это не рокет сайнс и не миллионы записей

>Элар что-то подобное делает рисуя боевой путь, но как зря выглядит ибо данные мусорные
>А нужно просто справочник, рисовать дело очень вторичное

>КПД историков низкий - вместо того чтобы выдвигать идеи на всем готовеньком, тратят время на первичный сбор информации и описательную часть, что можно и автоматически подтянуть.
С уважением, Samsv, http://samsv.narod.ru
От apple16
К Samsv (29.08.2019 10:41:01)
Дата 29.08.2019 12:52:01

Н-ский полк не проблема если есть ФИО полковника

Целью написания обычно было оставить память о людях и уже сильно потом помочь кому-то в изучении истории. Поэтому толковая база (да хоть бы и ОБД) на раз дивизию и полк вычислит если люди указаны верно.

Мемуар вообще не содержащий привязки к реальности полезен очень условно - описанием бытовухи разве что. Можно конечно автора взять и по наградным пробить - хоть что-то будет.
От Samsv
К apple16 (29.08.2019 12:52:01)
Дата 29.08.2019 15:55:55

Ф как раз есть, а вот с ИО часто бывает плохо ...

>Целью написания обычно было оставить память о людях и уже сильно потом помочь кому-то в изучении истории. Поэтому толковая база (да хоть бы и ОБД) на раз дивизию и полк вычислит если люди указаны верно.

>Мемуар вообще не содержащий привязки к реальности полезен очень условно - описанием бытовухи разве что. Можно конечно автора взять и по наградным пробить - хоть что-то будет.

Например,

Н.Пухов "Годы испытаний", 1959

http://militera.lib.ru/memo/russian/puhov_np/index.html

А из фамилий в первую очередь обычно упоминали комначсостав да ГСС.

Где помогло ОБД, так это в уточнении данных в воспоминаниях бывших военнопленных, в довольно большом количестве начавших выходить в начале 1960-х гг.
Благодаря ОБД через упомянутые ФИО удалось понять, в какие лагеря и из каких дивизий, полков попали воины в плен после окружений. В таких воспоминаниях, обычно указывались не только ИО, но и данные о земляках.



С уважением, Samsv, http://samsv.narod.ru