updated postprocessing for tables conjunction

README.md

@@ -141,7 +141,7 @@ python -m src.image_prepare -i old_scan.jpg --denoise -s 2:2 -b 10
 | `--fix-by-external-qwen3` | Исправить ошибки VLM API (Qwen3.8 Max) | OFF |
 | `--pause` | Пауза между изображениями (сек) | 5 |
 
-Выход: `.raw`-файл с сырым ответом движка (write-once, не изменяется при постпроцессинге).
+Выход: `.raw`-файл с сырым ответом движка — write-once с режимом `0444` (read-only), не изменяется при постпроцессинге.
 
 Пример:
 ```bash
@@ -168,10 +168,15 @@ python -m src.image_ocr -i ./pages/ --ocr-engine surya
 | `--skip-latex` | Не генерировать LaTeX и HTML | OFF |
 
 Что делает:
-1. **Фильтрация номеров страниц** — блоки вида `42`, `[73]` в конце страницы удаляются
-2. **Восстановление таблиц** — таблицы, разорванные между страницами, объединяются (по кол-ву колонок)
+1. **Фильтрация номеров страниц** — блоки вида `42`, `[73]` в **начале и конце** страницы удаляются
+2. **Восстановление таблиц** — таблицы, разорванные между страницами (в т.ч. с заголовком «Продолжение таблицы»), объединяются по кол-ву колонок
 3. **Очистка формул** — `\text{score\_beh}` → `score_beh` для читаемости LLM
-4. **Генерация** — объединённый `.md` + `.tex` + `.html` (MathJax)
+4. **Нормализация HTML** — `<br>` в ячейках таблиц → пробел (не разрывает pipe-структуру)
+5. **Генерация** — объединённый `.md` + `.tex` + `.html` (MathJax)
+
+### Иммутабельность `.raw`
+
+Stage 2 (`image_ocr.py`) пишет `.raw` **один раз** и ставит файлу режим `0444` (read-only). Stage 3 (`generate_result.py`) только читает `.raw` и пишет результаты в отдельные файлы (`.json`, `.md`, `.tex`, `.html`). Повторный запуск Stage 3 идемпотентен — даёт идентичный результат.
 
 ```bash
 python -m src.generate_result -i cbr2/

src/generate_result.py

@@ -26,6 +26,7 @@ app = typer.Typer(add_completion=False, no_args_is_help=True)
 
 _TABLE_ROW: re.Pattern = re.compile(r"^\|.+\|$")
 _UNESCAPE_TEXT: re.Pattern = re.compile(r"\\text\{([^}]+)\}")
+_TABLE_CONTINUATION: re.Pattern = re.compile(r"Продолжение\s+таблицы|Окончание\s+таблицы", re.IGNORECASE)
 
 
 def _clean_formula(text: str) -> str:
@@ -79,6 +80,22 @@ def _last_table_block(blocks: list[dict]) -> tuple[dict | None, int]:
     return None, -1
 
 
+def _is_continuation_text(block: dict) -> bool:
+    content = (block.get("content", "") or "").strip()
+    return bool(content) and not _is_table_block(block) and bool(_TABLE_CONTINUATION.search(content))
+
+
+def _first_table_block(blocks: list[dict]) -> tuple[dict | None, int]:
+    """Первая таблица, пропуская префикс «Продолжение таблицы». Возвращает (блок, индекс)."""
+    for i, block in enumerate(blocks):
+        if _is_continuation_text(block):
+            continue
+        if _is_table_block(block):
+            return block, i
+        break
+    return None, -1
+
+
 def _merge_split_tables(pages: list[dict], names: list[str]) -> int:
     """Объединяет split tables, охватывающие несколько соседних страниц (in-place)."""
     merged_count = 0
@@ -94,7 +111,7 @@ def _merge_split_tables(pages: list[dict], names: list[str]) -> int:
         j = i + 1
         while j < len(pages):
             blocks_b = pages[j].get("blocks", pages[j].get("parsing_res_list", []))
-            first_b = blocks_b[0] if blocks_b and _is_table_block(blocks_b[0]) else None
+            first_b, first_b_idx = _first_table_block(blocks_b)
             if first_b is None or _table_ncols(first_b) != ncols_a:
                 break
 
@@ -114,7 +131,13 @@ def _merge_split_tables(pages: list[dict], names: list[str]) -> int:
                     break
 
             last_a["content"] = (last_a.get("content", "") or "").rstrip() + "\n" + tail_rows
-            del blocks_b[0]
+            # Удалить префикс «Продолжение таблицы» и саму таблицу
+            del blocks_b[first_b_idx]
+            for idx in range(first_b_idx - 1, -1, -1):
+                if _is_continuation_text(blocks_b[idx]):
+                    del blocks_b[idx]
+                else:
+                    break
             merged_count += 1
             logger.info("Таблицы объединены: %s + %s (%d колонок)", names[i], names[j], ncols_a)
             j += 1
@@ -124,12 +147,21 @@ def _merge_split_tables(pages: list[dict], names: list[str]) -> int:
     return merged_count
 
 
+def _is_page_num_block(block: dict) -> bool:
+    return block.get("label") == "text" and bool(PAGE_NUM.match((block.get("content", "") or "").strip()))
+
+
 def _filter_page_numbers(blocks: list[dict]) -> list[dict]:
-    dropped = [b for b in blocks if b.get("label") == "text" and PAGE_NUM.match((b.get("content", "") or "").strip())]
+    dropped: list[dict] = []
+    result = list(blocks)
+    while result and _is_page_num_block(result[0]):
+        dropped.append(result.pop(0))
+    while result and _is_page_num_block(result[-1]):
+        dropped.append(result.pop())
     if dropped:
         nums = ", ".join((b["content"] or "").strip() for b in dropped)
-        return [b for b in blocks if b not in dropped], nums
-    return blocks, ""
+        return result, nums
+    return result, ""
 
 
 def _process_raw(raw_path: Path) -> dict | None:
@@ -155,6 +187,7 @@ def _html_to_text(content: str) -> str:
         return content
     from bs4 import BeautifulSoup
 
+    content = re.sub(r"<br\s*/?>", " ", content, flags=re.IGNORECASE)
     soup = BeautifulSoup(content, "html.parser")
     for math_tag in soup.find_all("math"):
         display = math_tag.get("display", "") == "block"

src/image_ocr.py

@@ -85,6 +85,7 @@ def _save_result(page, input_path: Path, output_dir: Path) -> None:
                    for b in page.blocks]
     }
     raw_path.write_text(json.dumps(raw_payload, ensure_ascii=False, indent=2), encoding="utf-8")
+    raw_path.chmod(0o444)
     logger.info("%s → %s (%d блоков)", input_path.name, raw_path.name, len(page.blocks))
 
 

stage2_results.md

@@ -305,6 +305,8 @@ generate_result (Stage 3) → постпроцессинг → .json + .md + .te
 
 Ключевой принцип: **`.raw` — неизменяемый**. Все операции постпроцессинга читают `.raw` и пишут результат в отдельные файлы. Повторный запуск Stage 3 даёт идентичный результат (идемпотентность).
 
+**Защита от записи:** `image_ocr.py` ставит `.raw` режим `0444` (read-only) сразу после записи. `generate_result.py` физически не может модифицировать `.raw` (пишет только `.json`/`.md`/`.tex`/`.html`).
+
 ### VLM-промпт (Qwen3.8 Max) — ключевое улучшение ✅
 
 Старый промпт (4 строки) → новый (детальный, 30 строк):
@@ -325,6 +327,18 @@ generate_result (Stage 3) → постпроцессинг → .json + .md + .te
 
 Таблицы, разорванные между страницами (заголовок на стр. N, строки на стр. N+1...), объединяются по кол-ву колонок. Цепочки из 2-4 страниц склеиваются в одну таблицу (например, Таблица 76 на 4 страницах).
 
+**Частные случаи:**
+- **«Продолжение таблицы»** — страница начинается с текста «Продолжение таблицы N», за которым идёт таблица. Детектируется по regex, префикс удаляется, таблица склеивается.
+- **Многострочные ячейки `<br>`** — VLM вставляет `<br>` внутри ячеек. `_html_to_text` конвертирует `<br>` → пробел до парсинга (не `\n`, иначе ломается pipe-структура).
+
+### Номера страниц вверху и внизу ✅
+
+Номера страниц могут быть в начале (верхний колонтитул) и в конце (нижний колонтитул) страницы. Фильтр удаляет их с обоих краёв, не трогая одиночные числа в середине текста.
+
+### RGBA (прозрачный фон) ✅
+
+PNG с альфа-каналом (RGBA) композитится на белый фон в `load_image` — прозрачные пиксели не трактуются как чёрный контент при бинаризации.
+
 ### Unwarp-баг и фикс ⚠️→✅
 
 Первая версия unwarp искала 4-угольный контур и warp'ила в него — на плоских сканах находила внутренние таблицы и обрезала до 40% высоты. Фикс: порог `min_area ≥ 30%` + проверка, что результат ≥ 80% оригинала. Для плоского сканера unwarp = NOP.