CCA Prep
CCAR-FEN

Урок 4.1Урок 19 з 30

Чіткі критерії рев'ю

Design prompts with explicit criteria to improve precision and reduce false positives

Чіткі критерії рев'юРозмитий промпт«Check that comments are accurate»«Be conservative, onlyhigh-confidence»Одна «шумна» категорія в кожному PRЧіткі критеріїБаги й безпека — так · стиль — ніРівні серйозності з прикладами коду«Шумна» категорія вимкнена, доки невиправлять її промптТочність дає визначення того, що враховувати, а не заклик до обережності

Головне

  1. 1Чіткі критерії працюють краще за розмиті інструкції. Формулювання «Flag a comment only when its claimed behaviour contradicts what the code actually does» працює, а «check that comments are accurate» — ні.
  2. 2«Be conservative» чи «only report high-confidence findings» майже не підвищують точність. Модель так і не знає, яку проблему варто включати у звіт, тож просто повідомляє менше — зокрема й про справжні баги.
  3. 3Пропишіть, про що повідомляти (баги, вразливості безпеки, втрата даних), а що пропускати (дрібниці стилю, іменування, патерни, які відповідають сусідньому коду).
  4. 4Одна «шумна» категорія підриває довіру розробників і до точних. Тимчасово вимкніть її, поки переписуєте її промпт і заново міряєте результат, а точні категорії хай працюють далі.
  5. 5Опишіть кожен рівень серйозності чіткою умовою й конкретним прикладом коду — тоді та сама проблема в кожному запуску отримає той самий рівень.
Що перевіряє іспит із цієї теми

Формулювання з програми іспиту (англійською).

  • 4.1.K1Explicit criteria beat vague instructions
  • 4.1.K2"Be conservative" / "only high-confidence" do not improve precision like categorical criteria
  • 4.1.K3High false-positive categories erode trust in accurate categories
  • 4.1.S1Define what to report (bugs, security) vs skip (style, local patterns) instead of confidence filtering
  • 4.1.S2Temporarily disable high false-positive categories while improving their prompts
  • 4.1.S3Define severity levels with concrete code examples

Закріпіть тему

Дайте відповідь на запитання за сценаріями з цієї теми. До кожного варіанта є розбір.

Тренування 4.1 · 16 запитань