CCA Prep
CCAR-FEN

Урок 4.5Урок 23 з 30

Стратегії пакетної обробки

Design efficient batch processing strategies

Стратегії пакетної обробкиХтось чекає на результат?так, блокує людину чи мерджСинхронний APIні, нічна чи щотижневароботаMessage Batches APIна 50% дешевше, до 24 годкілька ходів зінструментамиСинхронний цикл абодані в промптіу запиті пакета немає циклуінструментівЗіставляйте за custom_id; перевідправляйте лише невдалі, виправивши їх

Головне

  1. 1Message Batches API на 50% дешевший за синхронні виклики, але обробка пакета може тривати до 24 годин, і гарантій щодо затримки немає. Більшість пакетів готові раніше, проте закладатися на «зазвичай» не можна.
  2. 2Пакетна обробка підходить для роботи, на результат якої ніхто не чекає: нічні звіти, щотижневі аудити, нічна генерація тестів. Перевірка перед мерджем, без якої розробник не може рухатися далі, лишається на синхронному API.
  3. 3Один запит у пакеті — це один виклик Messages, тож багатоходового виклику інструментів усередині нього не буде. Якщо Claude відповість tool_use, інструмент ніхто не запустить. Покладіть потрібні дані прямо в промпт або залиште цикл з інструментами синхронним.
  4. 4Результати можуть прийти в будь-якому порядку, тому зіставляйте їх за custom_id (стабільним id документа), а не за позицією. Повторно надсилайте лише ті custom_id, що завершилися помилкою, і спершу виправте їх (задовгі документи розбийте на частини). Прострочені надсилайте як є.
  5. 5Частоту відправки виводьте з SLA: 30 год SLA − 24 год на пакет у найгіршому разі − 2 год постобробки = відправляти кожні 4 год. Перед великим пакетом доведіть промпт на репрезентативній вибірці, щоб якомога більше запитів пройшло з першого разу.
Що перевіряє іспит із цієї теми

Формулювання з програми іспиту (англійською).

  • 4.5.K1Message Batches API: 50% cheaper, up to 24 h, no latency SLA
  • 4.5.K2Batch for latency-tolerant work, not blocking pre-merge checks
  • 4.5.K3Batch does not support multi-turn tool calling inside one request
  • 4.5.K4custom_id correlates requests and responses
  • 4.5.S1Synchronous API for blocking checks, batch for overnight/weekly
  • 4.5.S2Compute submission frequency from SLA (4 h windows for 30 h SLA with 24 h batch)
  • 4.5.S3Resubmit only failed items by custom_id, with fixes (chunk oversized documents)
  • 4.5.S4Refine prompts on a sample before large batches

Закріпіть тему

Дайте відповідь на запитання за сценаріями з цієї теми. До кожного варіанта є розбір.

Тренування 4.5 · 21 запитання