CCA Prep
CCAR-FEN

Урок 5.5Урок 29 з 30

Ручна перевірка і калібрування впевненості

Design human review workflows and confidence calibration

Ручна перевірка і калібрування впевненостіВиміряти затипомдокумента іполема не лише 97%загаломВідкалібруватипороги полівна розміченомувалідаційномунаборіНизькавпевненість чиконфлікт →людинапершими в черзіСтратифікованавибіркаавтоприйнятогочастка помилок,нові патерниАвтоматизуйте лише сегменти з перевіреною точністю й далі робіть вибірки

Головне

  1. 1Загальна точність ховає слабкі місця: за 97% загалом точність на форматі рахунків одного постачальника чи на одному полі на кшталт tax_id може бути 80%. Перш ніж хоч десь скорочувати ручну перевірку, розбийте точність за типами документів і за полями.
  2. 2Сира власна оцінка впевненості моделі — ненадійний орієнтир. Впевненість на рівні окремих полів стає надійним сигналом для маршрутизації лише тоді, коли пороги відкалібровано на розміченому валідаційному наборі: ви вимірюєте реальну точність у кожному діапазоні оцінок для кожного поля й ставите поріг там, де вона досягає цільової.
  3. 3Те, що пішло в автоматичну обробку (висока впевненість), теж треба вимірювати. Стратифікована випадкова вибірка за типом документа, полем і діапазоном впевненості дає частку помилок для кожного сегмента й показує нові патерни помилок. Рівномірна випадкова вибірка рідкісних типів документів майже не зачіпає.
  4. 4Час перевіряльників обмежений, тож спрямовуйте до них лише те, що справді потребує перевірки: насамперед людям ідуть поля нижче відкаліброваного порогу й витягування, де джерела неоднозначні чи суперечать одне одному. Перевіряти все підряд — це не рішення, а перекладання проблеми на людей.
Що перевіряє іспит із цієї теми

Формулювання з програми іспиту (англійською).

  • 5.5.K1Aggregate accuracy (97%) can hide weak document types or fields
  • 5.5.K2Stratified random sampling measures error rates in high-confidence output
  • 5.5.K3Field-level confidence calibrated on labelled validation sets routes review
  • 5.5.K4Validate accuracy per document type and field before automating
  • 5.5.S1Stratified sampling of high-confidence extractions for error rates and novel patterns
  • 5.5.S2Analyse accuracy by document type and field before reducing review
  • 5.5.S3Field-level confidence with thresholds calibrated on labelled data
  • 5.5.S4Route low-confidence or contradictory-source items to humans first

Закріпіть тему

Дайте відповідь на запитання за сценаріями з цієї теми. До кожного варіанта є розбір.

Тренування 5.5 · 21 запитання