От Hoaxer
К All
Дата 02.05.2002 14:34:16
Рубрики Прочее;

Распознавание СБД

Вот отчет об экспериментах по распознаванию СБД. Было испробовано 2 варианта.

1-й

1. Файл SBDt33.pdf (т.е. 33 том СБД) загружается в Adobe Acrobat 5.0.

2. Страницы экспортируются из "Акробата" как картинки. Установки -- 400 dpi, tiff, greyscale, никакой компрессии, colorspace - grey.

3. Полученные tiffs загружаются в ABBYY FineReader 4.0, 5.0, и выше (лучше всё же 5.0) как пакет. Далее распознаются.

Качество картинок и текста см. ниже.


---------------

ДОКЛАД КОМАНДИРА 21-го МЕХАНИЗИРОВАННОГО КОРПУСА КОМАНДУЮЩЕМУ 27-й АРМИЕЙ О СОСТОЯНИИ КОРПУСА НА 23 ИЮЛЯ 1941
г.
КОМАНДУЮЩЕМУ 27-й АРМИЕЙ
СЕКРЕТНО
НАЧАЛЬНИКУ ГЛАВНОГО АВТОБРСЧЕТАНКОВОГО УПРАВЛЕНИЙ КРАСНОЙ АРМИИ генерал-лейтенанту ФЕДОРЕНКО
ДОКЛАД О СОСТОЯНИИ 21-го МЕХАНИЗИРОВАННОГО КОРПУСА
21 -Л механизированный корпус организационно начал создаваться лишь в апреле 1941 г. с расчетом (по плану Генерального Штаба) укомплектования боевой материальной частью не ранее 1942 года.
1. 21 -ii механизированный корпус (в. ч. 2979) 23.6.41 г. приказом командующего Московским военным округом направлен на фронт в двинском направлении.
К началу войны корпус был укомплектован личным составом на 80—90%, из них до 70% апрельско-июньского призыва.
Материальной частью корпус был обеспечен на 10 — 15% (колесные и специальные машины). На фронт корпус выступил со значительным некомплектом артиллерии, станковых и ручных пулеметов и автоматических винтовок, а также минометов. Большинство 76-мм пушек были без панорам, а малокалиберные зенитные пушки — без дальномеров (были даны за два дня до воины и в процессе войны).
Корпус выведен на войну по тревоге неотмобилизованным и неукомплектованным материальной частью всех видов, со значительным количеством необученных бойцов. Отсутствие вооружения, материальной настн и неподготовленность новобранцев заставили меня оставить в лайонах зимних квартир до 17 тысяч необученных солдат с задачей их /подготовки, вооружения и сколачивания.
v 2. Начиная с 23.6.41 г. по сегодняшний день корпус находится в непрерывных боях. Его отдельные бойцы, подразделения и части в целом проявили образцы подлинного героизма в боях с немцами.
Корпус понес значительные потерн как в личном составе, так и а материальной <Ластн. За месяц войны потери убытыми, ранеными и пропавшими без вести составляют;
— командного состава — 394 челов ка;
— младшего начальствующего состава — 830 человек;
— рядового состава — 5060 человек,
Всего потерь — 6284 человека, т. е. 60% участников боев...1 Корпус, именуемый 21-м механизированным корпусом, практически • дерется как мотострелковое соединение, по своему числу не соответст-j вующее даже мотострелковой дивизии. За месяц боев с "немцами корпус j захватил: пленных 53 человека, винтовок — 95 штук, мотоциклов и вело t сипедов — 39 штук, автомашин -- 12 штук, пушек 3 штуки; помимо этого | до 10 пушек, захваченных у противника, по нэрасходованки снарядов
1 Опушен слнсок убитых и раненых командиров подразделении, частей ц соединении 21-го механизированного корпуса. с*я
40

уничтожены. Уничтожено, по подсчетам частей, 9575 человек, пулеметов — 90 штук, орудий различных калибров — 86 штук, танков и бронемашин — 53 штуки, автотранспорта — 834 [машины], мотоциклов — 503 штуки, велосипедов свыше 215 штук, лошадей 412 [голов].
3. Испытывая крайний недостаток в артиллерии, станковых и ручных пулеметах, автоматических винтовках и минометах, средствах связи всех видов (имеющихся средств связи недостаточно даже для организации управления огнем артиллерии), при значительном некомплекте в командном и политическом составе, неукомплектованности штабоа, корпус продолжает драться, не снижая своего боевого духа, но долго так протянуть не сможет из-за отсутствия пополнения как людьми, так и материальной частью, в то время как кадры его несут значительные потерн.
4. [Вследствие] отсутствия ремонтных мастерских, ЗИП и деталей для ремонта, выводится из строя много материальной части, которая могла бы быть восстановлена силами частей.
5. Оставленные мною в районах зимних квартир невооруженные бойцы в настоящий момент передвигаются в направлении Осташков, испытывая крайние трудности как в питании, так и в обучении: ни 22-я армия, ни другие снабженческие органы не хотят снабжать второй эшелон корпуса, считая его чужим, в то же время принимают самые решительные меры к растаскивайте ет кадров и материальной части, лишая меня перспективы когда-либо сформироваться в механизированный корпус.
Так, например: занаряженная мне по планам Главного автоброне-тснкового управления и Главного артиллерийского управления материальная чисть и отправленная на мой адрес перехватывается командованием 22-3 армии. В Великих Луках у меня взято 1500 самозарядных винтовок, 126 грузовых, автомашин. 15 автокухонь, 28 76-мм пушек, танков «KB» — 22 штуки, «Т-34» — 13 штук, несколько вагонов запасных частей и 860 комплектов авторезины.
Помимо этого, распоряжением отдельных высших командиров забрано под различными предлогами «ЗИГ.» ~ 115 штук и «ГАЗ» — 186 штук (распоряжением генерал-майора Кармакова и начальника штаба il-й армии).
Такое- положение не может быть дальше терпимым. Я прошу Вас довести это до сведения высшего командования, одновременно прошу разрешить вопрос о том, будет ли корпус в дальнейшем существовать как механизированный корпус или будет действовать как мотострелковое соединение и его танковые кадры, действующие на фронте, постепенно будут выведены ..з строя и корпус потеряет базу для развертывания в механизированный корпус.
Прошу Ваших мероприятий по существу изложенного мною.
Командир 21-го механизированного
корпуса
Герой Со-етского Союза генерал-майор ЛЕЛЮШЕНКО
Поенный комиссар 21-го механизированного корпуса
бригадный комиссар БАБИЙЧУК
Начальник штаба корпуса полное шк АСЕИЧЕВ
(2Э.7.41 г.1] tb OW8.
От Гришa
К Hoaxer (02.05.2002 14:34:16)
Дата 03.05.2002 10:23:43

Re: Распознавание СБД

На данный момент я борюсь с источником, пытаясь совместить хорошее качество и маленький размер...300 кб на страницу получаються, а это как то многовато.

Может начать выкладывать зипы с пресловутым djvu форматом?
От Бермедич
К Гришa (03.05.2002 10:23:43)
Дата 03.05.2002 10:52:23

Re: Распознавание СБД

Мое почтение

>На данный момент я борюсь с источником, пытаясь совместить хорошее качество и маленький размер...300 кб на страницу получаються, а это как то многовато.

Надо отсканированые страницы в фотошопе конвертировать в однобитный тифф, тогда размер каждой 60-70 кб получится.

>Может начать выкладывать зипы с пресловутым djvu форматом?

а можно и в этой экзотике выложить.

Бермедич
От Гришa
К Бермедич (03.05.2002 10:52:23)
Дата 03.05.2002 18:39:33

Re: Распознавание СБД


>Мое почтение

>>На данный момент я борюсь с источником, пытаясь совместить хорошее качество и маленький размер...300 кб на страницу получаються, а это как то многовато.
>
>Надо отсканированые страницы в фотошопе конвертировать в однобитный тифф, тогда размер каждой 60-70 кб получится.

А это как сделать?
От Василий Т.
К Hoaxer (02.05.2002 14:34:16)
Дата 02.05.2002 21:45:28

Обо всем понемногу… (+)

Доброе время суток

1. Перевод в TIFF.
Я воспользовался вариантом 2, т.к. у меня уже есть Photoshop 5.
Учитывая, что работать пришлось с КАЖДОЙ страницей использовал Visual Test.
(Вкратце, VT - программа, предназначенная для избавления пользователя от многократных повторений одних и тех же операций при работе на компьютере. К сожалению, при работе с разными версиями Windows не всегда четко определяет названия окон или текст меню. Поэтому иногда требуется подстройка на каждый отдельно взятый компьютер. Удобна для тестировщиков программных продуктов. Я пользуюсь версией "Rational Visual Test 6.0") Из-за сравнительной слабости компьютера на это ушло около 8 часов. При этом бОльшую часть времени занял перевод в самом Photoshop’е из PDF в PSD (там это автоматизировано именно для многостраничных PDF). Дальше уже в TIFF.
В результате переведены в TIFF т.33 и первый раздел т.34. Ведется работа над вторым разделом т.34.

2. О картинках.
К сожалению, качество отсканированного не позволяет сделать хорошую цельную картинку.
Если есть возможность, просьба к имеющим «Сборник» отсканировать картинки отдельно с улучшенным качеством.

3. О CD.
На CD, на мой взгляд, нет необходимости переносить TIFF’ы, т.к. это промежуточный вариант между PDF и текстовым файлом. Лучше положить PDF, а уже после перевода в текст, выложить на CD.

4. О распознании.
Я воспользовался FineReader’ом 3.
Качество конечно хуже, чем у более поздних версий, но для первого приближения годится.
Пока перевел в текст чуть более 40 страниц т.33.
Схемы в текст не вводил, жду появления более качественных.

5. Об очередности.
Необходимо определиться кто и что будет распознавать, чтобы избежать «накладок» при работе.
Я собираюсь попытаться «совершить гражданский подвиг» (Алексей Исаев) по всем текстам «для себя», но можно установить очередность, чтобы документы быстрее были обработаны и попали на Милитеру и CD.

С уважением, Василий Т.
От Гришa
К Василий Т. (02.05.2002 21:45:28)
Дата 02.05.2002 22:06:34

Спаси вас бог переводить в ТИФы!

У меня это все есть в ТИФах, если очень надо и есть место куда выложить скажите мне и я положу.
От Василий Т.
К Гришa (02.05.2002 22:06:34)
Дата 02.05.2002 22:15:42

Re: Спаси вас бог... :O))

Доброе время суток

>У меня это все есть в ТИФах, если очень надо и есть место куда выложить скажите мне и я положу.

Надо, т.к. распознавать приходится из TIFF'ов, но методика уже отработана и "процесс идет".
К тому же, места (куда выложить) у меня нет.

Да, и пригодиться это может для других документов в PDF.

С уважением, Василий Т.
От Исаев Алексей
К Hoaxer (02.05.2002 14:34:16)
Дата 02.05.2002 19:23:14

Я же говорю - гражданский подвиг будет

Доброе время суток

Потому на CD лучше писать в PDF-е и/или TIFF-е, а распознавать/выкладывать на милитеру по мере совершения подвига мастерами своего дела.

С уважением, Алексей Исаев
От kilkunda
К Hoaxer (02.05.2002 14:34:16)
Дата 02.05.2002 16:39:10

Re: Распознавание СБД (+)



>Качество картинок и текста см. ниже.

А где картинки?


Kilkunda
От Hoaxer
К Hoaxer (02.05.2002 14:34:16)
Дата 02.05.2002 14:36:05

2-й вариант

2-й вариант -- в цепочке есть Photoshop. Т.е., PDF открывается в Фотошопе через встроенный парсер. Недостатки -- очень долго, неудобно. Достоинства -- качество немного выше + возвожность применения фильтров (над этим ведется работа), что еще повысит качество.

Образец текста ниже.

ДОКЛАД КОМАНДИРА 21-го МЕХАНИЗИРОВАННОГО КОРПУСА
КОМАНДУЮЩЕМУ 27-й АРМИЕЙ О СОСТОЯНИИ КОРПУСА
НА 23 ИЮЛЯ 1941 г.
СЕКРЕТНО
КОМАНДУЮЩЕМУ 27-й АРМИЕЙ Копии.
НАЧАЛЬНИКУ ГЛАВНОГО А ВГОБРСЧЕ ТАН НОВОГО УПРАВЛЕНИЯ КРАСНОЙ АРМИИ генерал-лейтенанту ФЕДОРЕНКО
ДОКЛАД О СОСТОЯНИИ 21-го МЕХАНИЗИРОВАННОГО КОРПУСА
21-й механизированный корпус организационно начал создаваться лишь в апреле 1941 г. с расчетом (по плану Генерального Штаба) укомплектования боевой материальной частью не ранее 1942 года.
1. 21-й механизированный корпус (в. ч. 2979) 23.6.41 г. приказом командующего Московским военным округом направлен на фронт в двинском направлении.
К началу войны корпус был укомплектован личным составом на 80—90%, из них до 70% а прел ьско-июньского призыва.
Материальной частью корпус был обеспечен на 10—15% (колесные и специальные машины). На фронт корпус выступил со значительным некомплектом артиллерии, станковых и ручных пулеметов и автоматических винтовок, а также минометов. Большинство 76-мм пушек были без панорам, а малокалиберные зенитные пушки —без дальномеров (были даны за два дня до войны и в процессе войны).
Корпус выведен на войну по тревоге неотмобилизованным н неукомплектованным материальной частью всех видов, со значительным количеством необученных бойцов. Отсутствие вооружения, материальной ыасти н неподготовленность новобранцев заставили меня оставить в А а и он ах зимних квартир до 17 тысяч необученных солдат с задачей их ^подготовки, вооружения и сколачивания.
С 2. Начиная с 23.6.41 г. по сегодняшний день корпус находится в непрерывных боях. Его отдельные бойцы, подразделения и части в целом проявили образцы подлинного героизма в боях с немцами.
Корпус понес значительные потерн как в личном составе, так н в материальной «Ласти. За месяц войны потери убытыми, ранеными и пропавшими без вести составляют:
— командного состава —394 челов ка;
— младшего начальствующего состава — 830 человек;
— рядового состава — 5060 человек.
Всего потерь —6284 человека, т. е. 60% участников боев...1 Корпус, именуемый 21-м механизированным корпусом, практически j дерется как мотострелковое соединение, по своему числу не соответст-j вующее даже мотострелковой дивизии. За месяц боев с 'немцами корпус | захватил: пленных 53 человека, винтовок — 95 штук, мотоциклов и вело i сипедов — 39 штук, автомашин ~ 12 штук, пушек 3 штуки; помимо этого ' до 10 пушек, захваченных у противника, по иэрасходованнн снарядов
1 Опушен список убитых и раненых командиров подразделений, частей н соеяи-пенни 21-го механизированного корпуса. " совди
40
уничтожены. Уничтожено, по подсчетам частей, 9575 человек, пулеметов— 90 штук, орудий различных калибров — 86 штук, танков и бронемашин— 53 штуки, автотранспорта — 834 [машины], мотоциклов — 503 штуки, велосипедов свыше 215 штук, лошадей 412 [голов].
3. Испытывая крайний недостаток в артиллерии, станковых и ручных пулеметах, автоматических винтовках и минометах, средствах связи всех видов (имеющихся средств связи недостаточно даже для организации управления огнем артиллерии), при значительном некомплекте в командном и политическом составе, неукомплектованности штабов, корпус продолжает драться, не снижая своего боевого духа, но долго так протянуть не сможет из-за отсутствия пополнения как людьми, так и материальной частью, в то время как кадры его несут значительные потерн.
4. [Вследствие] отсутствия ремонтных мастерских, ЗИП и деталей для ремонта, выводится из строя много материальной части, которая могла бы быть восстановлена силами частей.
5. Оставленные мною в районах зимних квартир невооруженные бойцы в настоящий момент передвигаются в направлении Осташков, испытывая крайние трудности как в питании, так и в обучении: ни 22-я армия, ми другие снабженческие органы не хотят снабжать второй эшелон корпуса, считая его чужим, в то же время принимают самые решительные меры к растаскиванию его кадров и материальной части, лишая меня перспективы когда-либо сформироваться в механизированный корпус.
Так, например: занаряженная мне по планам Главного автоброне-тснкового управления и Главного артиллерийского управления материальная честь и отправленная на мой адрес перехватывается командованием 22-.1 армии. В Великих Луках у меня взято 1500 самозарядных винтовок, 126 грузовых, автомашин, 15 автокухонь, 28 76-мч пушек, танков «KB» — 22 штуки, «Т-34» — 13 штук, несколько вагонов запасных частей и 860 комплектов авторезины.
Помимо этого, распоряжением отдельных высших командиров забрано под различными предлогами «ЗИО» — 115 штук и «ГАЗ» — 18В штук (распоряжением генерал-майора Кармакова и начальника штаба
11-й армии).
Такое положение не может быть дальше терпимым. Я прошу Вас довести это до сведения высшего командования, одновременно прошу разрешить вопрос о том, будет ли корпус в дальнейшем существовать как механизированный корпус или будет действовать как мотострелковое соединение и его танковые кадры, действующие на фронте, постепенно будут выведены .з строя и корпус потеряет базу для развертывания в
механизированный корпус.
Прошу Ваших мероприятий по существу изюженного мною.
Командир 21-го механизированного
корпуса
ГеооЛ Советского Союза генерал майор ЛЕЛЮШЕНКО
Поенный комиссар 21-го механизированного корпуса
бриеадный комиссар БАБИЯЧУК
Начальник штаба корпуса нолкое<шк АСЕИЧЕВ
юч 7 41 гМ JA 0048.
'?'"!. ;„««,.«. «• «• "*-1|т- м""»»-"""""1 ••"•
___ ..„_ л. го механизированного ———Га^Г угишом*." 10 журналу «сходящих до,сумеитов 21-го Г-
корпуса. 41


======================
Выводы

1. Фактически полностью автоматическое распознавание СБД возможно.
2. Качество среднее, но с такими тестами уже можно работать.
3. Качество можно повысить за счет применения фильтров, а также ручной обработки имиджей (выравнивание, например, многие стоят криво).
4. Возможны и другие варианты (с применением др. программ), это будет ясно в течение недели.