Загадка Кайрской генизы
Коллекция еврейских рукописей, известная как Кайрская гениза, открывает уникальное окно в историю периода 950–1250 гг. до н. э. К сожалению, листы разбросаны по музеям и библиотекам разных стран, и учёным трудно понять, какие фрагменты относятся к одному документу.
Где находятся фрагменты?
Около 193 000 из более чем 280 000 листов находятся в Кембриджском университете (Великобритания). Значительные части также хранятся в Нью‑Йорке (США) и Манчестере (Великобритания). Сейчас их постепенно оцифровывают, но определить, какие кусочки образуют одну рукопись, остаётся сложной задачей.
Решение с помощью компьютера
Исследователи из Тель‑Авивского университета и проекта Friedberg Genizah разработали систему joins, способную автоматически находить группы фрагментов, принадлежащих к одному документу. Система использует методы обработки изображений: сначала она выделяет фрагмент, выравнивает его и переводит в черно‑белый формат, чтобы упростить дальнейший анализ.
Поиск прямых линий
Одним из этапов является определение ориентации текста. Для этого применяется преобразование Хафа – стандартный метод обнаружения прямых линий на изображении. Каждый пиксель преобразуется в набор возможных линий, описываемых формулой x·cosθ + y·sinθ = ρ. На графике «θ‑ρ» (преобразование Хафа) появляются яркие пятна, указывающие на наличие множества пикселей, лежащих на одной линии.
Текст в горизонтали
Хотя на фотографиях рукописей нет настоящих линейных объектов, пиксели букв формируют горизонтальные линии. На преобразовании Хафа это видно как несколько ярких линий при углах ±90°. Система определяет угол, при котором наблюдается наибольшая концентрация пикселей, и тем самым вычисляет, насколько текст наклонён.
От текста к числам
После корректировки ориентации система строит профиль проекции: суммирует пиксели по столбцам и строкам, получая характеристики, такие как количество строк, межстрочный интервал и высота строки. Кроме того, с помощью метода SIFT выделяются «ключевые точки» – характерные особенности изображения. Всё это преобразуется в вектор признаков – набор чисел, удобный для дальнейшего машинного анализа.
Обучение классификатора
Для определения того, принадлежат ли два фрагмента одному документу, сравниваются их векторы признаков. Чем они похожи, тем выше вероятность «соединения». Классификатор обучают на наборе известных пар фрагментов (training set), где уже известно, какие кусочки совпадают. После обучения система может оценивать новые пары.
Результаты и ограничения
Тестирование внутри одной институции дало точность около 80 %. При попытке сопоставить фрагменты из разных коллекций система выдала 9 000 потенциальных соединений, из которых лишь 24 % оказались верными после ручной проверки. Тем не менее, удалось обнаружить около тысячи новых «соединений», что значительно превышает количество, найденных экспертами вручную.
Хотя автоматическая оценка пока требует подтверждения человеком, разработка представляет важный шаг вперёд в цифровой реставрации рукописей.
