Урок 4.4Урок 22 з 30
Валідація, повтори і зворотний зв'язок
Implement validation, retry, and feedback loops for extraction quality
Головне
- 1Повтор зі зворотним зв'язком: у наступний запит передають оригінальний документ, невдалий результат витягування й конкретні помилки валідації («
line_itemssum to 1,180.00,total_amountis 1,280.00»). Надіслати той самий промпт ще раз — це просто знову кинути кубик. - 2Повтори виправляють помилки формату й структури (дата не в ISO-форматі, значення не в тому полі). Відсутньої інформації вони не додадуть: якщо значення немає в джерелі або воно в іншому документі, поверніть null, позначте запис для ручної перевірки й більше не повторюйте.
- 3Tool use із JSON-схемою прибирає синтаксичні помилки (зламаний JSON, неправильні типи). Смислові лишаються: сума позицій не збігається з total, значення потрапило не в те поле. Їх ловить валідація в коді.
- 4Самокорекція: витягуйте
calculated_totalпоруч зіstated_totalі додайте булеве полеconflict_detectedна випадок, коли джерело суперечить саме собі. Тоді розбіжності видно, а не «тихо виправлено». - 5Зворотний зв'язок: додайте до кожного зауваження поле
detected_pattern. Тоді відхилені зауваження можна згрупувати за конструкцією, яка їх викликала, і уточнити «шумні» критерії.
Що перевіряє іспит із цієї теми
Формулювання з програми іспиту (англійською).
- 4.4.K1Retry with specific validation errors appended
- 4.4.K2Retries fail when the information is absent from the source
- 4.4.K3detected_pattern field enables analysis of dismissed findings
- 4.4.K4Semantic validation errors vs schema syntax errors
- 4.4.S1Follow-up includes original document, failed extraction, specific errors
- 4.4.S2Recognise when retry will fail (info in an external document) vs succeed (format errors)
- 4.4.S3Add detected_pattern to findings to analyse false positives
- 4.4.S4Self-correction: calculated_total vs stated_total, conflict_detected flag
Закріпіть тему
Дайте відповідь на запитання за сценаріями з цієї теми. До кожного варіанта є розбір.
Тренування 4.4 · 21 запитання