stage2_OCR_updates2.md 6.1KB
Оценка качества OCR и требования к улучшению
Общая оценка
Что получилось хорошо
✅ Структура документа (layout) определяется качественно.
✅ Порядок чтения блоков в целом корректный.
✅ Таблицы извлекаются хорошо.
✅ Display-формулы (отдельные блочные формулы) успешно выделяются и экспортируются в LaTeX.
Например:
A_{i}=Z\cdot r+u_{i}\cdot\sqrt{1-R}
является корректным LaTeX и без проблем отображается в MathJax/KaTeX.
Основные проблемы
1. Inline-формулы практически не распознаются
Это самая серьёзная проблема текущего pipeline.
Формулы вида
u_i ~ N(0,1)
R = r²
r = corr(...)
не выделяются как математические выражения.
Вместо этого они становятся частью обычного текста.
Именно это является причиной большинства последующих ошибок.
2. LaTeX повреждается при генерации Markdown
В результате появляются конструкции вида
\$R=r\^{}\{2\}\$
\textbackslash{}sim
\textbackslash{}mathrm
A\_i
Это уже невалидный LaTeX.
MathJax здесь не является причиной проблемы — он получает уже повреждённый текст.
3. Избыточное экранирование
Необходимо полностью исключить появление:
\$
\_
\textbackslash{}
если они являются результатом сериализации LaTeX.
Markdown должен содержать настоящий LaTeX, а не его текстовое представление.
4. OCR допускает типичные ошибки
Например
V a R
вместо
VaR
P D
вместо
PD
vhere
вместо
where
ndividual
вместо
Individual
Это снижает качество итогового документа.
Требования к улучшению
Высокий приоритет
1. Исправить обработку inline-формул
Inline-математика должна сохраняться как
$u_i \sim N(0,1)$
а не как текст
\$u\_\{i\}\textbackslash{}sim...
2. Не экранировать LaTeX
Запрещается преобразовывать
\sqrt
\frac
\alpha
\sim
\mathrm
в
\textbackslash{}sqrt
\textbackslash{}frac
...
3. Сохранять display-формулы без изменений
LaTeX, полученный от PP-StructureV3, должен использоваться без модификации.
Формат вывода:
$$
...
$$
4. Улучшить OCR-постобработку
Исправлять наиболее типичные ошибки OCR.
Например:
| Было | Должно стать |
|---|---|
V a R |
VaR |
P D |
PD |
N ^ {-1} |
N^{-1} |
l → 1 |
при высокой уверенности |
O → 0 |
при высокой уверенности |
Средний приоритет
5. Валидировать LaTeX
Перед сохранением желательно проверять:
- баланс фигурных скобок;
- баланс
\left...\right; - баланс
$; - корректность команд.
6. Генерировать “чистый” Markdown
Итоговый Markdown должен сразу корректно отображаться через MathJax или KaTeX без дополнительной обработки.
Предлагаемая архитектура pipeline
Текущий pipeline смешивает OCR, обработку текста и генерацию Markdown.
Предлагается разделить его на независимые этапы:
PDF
│
▼
PP-StructureV3
│
▼
Извлечение структуры документа
│
├── текст
├── таблицы
├── изображения
└── display-формулы
│
▼
Постобработка OCR
│
▼
Выделение inline-формул
│
▼
Исправление типичных OCR-ошибок
│
▼
Генерация Markdown
│
▼
Валидация Markdown / LaTeX
│
▼
HTML + MathJax / KaTeX
Итоговая оценка
| Компонент | Оценка |
|---|---|
| Layout | ⭐⭐⭐⭐⭐ |
| Reading order | ⭐⭐⭐⭐⭐ |
| Таблицы | ⭐⭐⭐⭐⭐ |
| Display-формулы | ⭐⭐⭐⭐☆ |
| Русский OCR | ⭐⭐⭐☆☆ |
| Inline-формулы | ⭐☆☆☆☆ |
| Генерация Markdown | ⭐⭐☆☆☆ |
Главный вывод
Основная проблема текущего решения — не качество MathJax и не display-формул.
Критические недостатки находятся в двух местах:
- inline-математические выражения не выделяются как отдельные математические объекты;
- при генерации Markdown происходит повреждение LaTeX из-за его экранирования.
До устранения этих проблем невозможно получить Markdown, пригодный для качественного отображения формул и последующего анализа LLM.