scan4llm/stage2_OCR_updates2.md

Оценка качества OCR и требования к улучшению

Общая оценка

Что получилось хорошо

✅ Структура документа (layout) определяется качественно.

✅ Порядок чтения блоков в целом корректный.

✅ Таблицы извлекаются хорошо.

✅ Display-формулы (отдельные блочные формулы) успешно выделяются и экспортируются в LaTeX.

Например:

A_{i}=Z\cdot r+u_{i}\cdot\sqrt{1-R}

является корректным LaTeX и без проблем отображается в MathJax/KaTeX.

---

Основные проблемы

1. Inline-формулы практически не распознаются

Это самая серьёзная проблема текущего pipeline.

Формулы вида

u_i ~ N(0,1)

R = r²

r = corr(...)

не выделяются как математические выражения.

Вместо этого они становятся частью обычного текста.

Именно это является причиной большинства последующих ошибок.

---

2. LaTeX повреждается при генерации Markdown

В результате появляются конструкции вида

\$R=r\^{}\{2\}\$

\textbackslash{}sim

\textbackslash{}mathrm

A\_i

Это уже невалидный LaTeX.

MathJax здесь не является причиной проблемы — он получает уже повреждённый текст.

---

3. Избыточное экранирование

Необходимо полностью исключить появление:

\$
\_
\textbackslash{}

если они являются результатом сериализации LaTeX.

Markdown должен содержать настоящий LaTeX, а не его текстовое представление.

---

4. OCR допускает типичные ошибки

Например

V a R

вместо

VaR

P D

вместо

PD

vhere

вместо

where

ndividual

вместо

Individual

Это снижает качество итогового документа.

---

Требования к улучшению

Высокий приоритет

1. Исправить обработку inline-формул

Inline-математика должна сохраняться как

$u_i \sim N(0,1)$

а не как текст

\$u\_\{i\}\textbackslash{}sim...

---

2. Не экранировать LaTeX

Запрещается преобразовывать

\sqrt
\frac
\alpha
\sim
\mathrm

в

\textbackslash{}sqrt
\textbackslash{}frac
...

---

3. Сохранять display-формулы без изменений

LaTeX, полученный от PP-StructureV3, должен использоваться без модификации.

Формат вывода:

$$
...
$$

---

4. Улучшить OCR-постобработку

Исправлять наиболее типичные ошибки OCR.

Например:

Было	Должно стать
V a R	VaR
P D	PD
N ^ {-1}	N^{-1}
l → 1	при высокой уверенности
O → 0	при высокой уверенности

---

Средний приоритет

5. Валидировать LaTeX

Перед сохранением желательно проверять:

• баланс фигурных скобок;
• баланс \left...\right;
• баланс $;
• корректность команд.

---

6. Генерировать “чистый” Markdown

Итоговый Markdown должен сразу корректно отображаться через MathJax или KaTeX без дополнительной обработки.

---

Предлагаемая архитектура pipeline

Текущий pipeline смешивает OCR, обработку текста и генерацию Markdown.

Предлагается разделить его на независимые этапы:

PDF
    │
    ▼
PP-StructureV3
    │
    ▼
Извлечение структуры документа
    │
    ├── текст
    ├── таблицы
    ├── изображения
    └── display-формулы
    │
    ▼
Постобработка OCR
    │
    ▼
Выделение inline-формул
    │
    ▼
Исправление типичных OCR-ошибок
    │
    ▼
Генерация Markdown
    │
    ▼
Валидация Markdown / LaTeX
    │
    ▼
HTML + MathJax / KaTeX

---

Итоговая оценка

Компонент	Оценка
Layout	⭐⭐⭐⭐⭐
Reading order	⭐⭐⭐⭐⭐
Таблицы	⭐⭐⭐⭐⭐
Display-формулы	⭐⭐⭐⭐☆
Русский OCR	⭐⭐⭐☆☆
Inline-формулы	⭐☆☆☆☆
Генерация Markdown	⭐⭐☆☆☆

Главный вывод

Основная проблема текущего решения — не качество MathJax и не display-формул.

Критические недостатки находятся в двух местах:

1. inline-математические выражения не выделяются как отдельные математические объекты;
2. при генерации Markdown происходит повреждение LaTeX из-за его экранирования.

До устранения этих проблем невозможно получить Markdown, пригодный для качественного отображения формул и последующего анализа LLM.