CCA Prep

Урок 4.4Урок 22 з 30

Валідація, повтори і зворотний зв'язок

Implement validation, retry, and feedback loops for extraction quality

Валідація, повтори і зворотний зв'язокВитягти черезtool useбез синтаксичнихпомилокПеревіритизміст у кодісуми, розміщенняполівПовтор:документ +вивід +помилкипомилки форматучи структуриІнформаціїнемає → null +позначкабез подальшихповторівЛогуйте detected_pattern і conflict_detected, щоб бачити, що постійно ламається

Головне

  1. 1Повтор зі зворотним зв'язком: у наступний запит передають оригінальний документ, невдалий результат витягування й конкретні помилки валідації («line_items sum to 1,180.00, total_amount is 1,280.00»). Надіслати той самий промпт ще раз — це просто знову кинути кубик.
  2. 2Повтори виправляють помилки формату й структури (дата не в ISO-форматі, значення не в тому полі). Відсутньої інформації вони не додадуть: якщо значення немає в джерелі або воно в іншому документі, поверніть null, позначте запис для ручної перевірки й більше не повторюйте.
  3. 3Tool use із JSON-схемою прибирає синтаксичні помилки (зламаний JSON, неправильні типи). Смислові лишаються: сума позицій не збігається з total, значення потрапило не в те поле. Їх ловить валідація в коді.
  4. 4Самокорекція: витягуйте calculated_total поруч зі stated_total і додайте булеве поле conflict_detected на випадок, коли джерело суперечить саме собі. Тоді розбіжності видно, а не «тихо виправлено».
  5. 5Зворотний зв'язок: додайте до кожного зауваження поле detected_pattern. Тоді відхилені зауваження можна згрупувати за конструкцією, яка їх викликала, і уточнити «шумні» критерії.
Що перевіряє іспит із цієї теми

Формулювання з програми іспиту (англійською).

  • 4.4.K1Retry with specific validation errors appended
  • 4.4.K2Retries fail when the information is absent from the source
  • 4.4.K3detected_pattern field enables analysis of dismissed findings
  • 4.4.K4Semantic validation errors vs schema syntax errors
  • 4.4.S1Follow-up includes original document, failed extraction, specific errors
  • 4.4.S2Recognise when retry will fail (info in an external document) vs succeed (format errors)
  • 4.4.S3Add detected_pattern to findings to analyse false positives
  • 4.4.S4Self-correction: calculated_total vs stated_total, conflict_detected flag

Закріпіть тему

Дайте відповідь на запитання за сценаріями з цієї теми. До кожного варіанта є розбір.

Тренування 4.4 · 21 запитання