Rīks: Claude (pievienota oficiālā vērtēšanas skala PDF)  |  Kurss: NAF Intensive Language Course  |  Grupa: pieaugušie, NBS karavīri un civilie darbinieki, STANAG 6001 L1+/L3


Risināmā problēma

SR: „Izglītojamais var uzrakstīt formālu vēstuli vai e-pastu, kas atbilst STANAG 6001 2. līmenim.”

Rakstu darbus vērtējam pēc oficiālās STANAG vadlīnijās dotās skalas formālai vēstulei („Formal letter rating scale, Plus levels, draft 7”). Ikdienā to lietot ir grūti. Apraksti ir gari un vispārīgi („generally”, „some”, „sometimes”), blakus līmeņi bieži izklausās gandrīz vienādi, un procentiem (80%, 50%) nav pateikts, no kā tie jāskaita. Tāpēc viena darba novērtēšana aizņem daudz laika, un divi skolotāji vienu un to pašu tekstu var novērtēt atšķirīgi. Visgrūtāk ir izšķirties starp 1+ un 2.

Mans mērķis bija iegūt skalu, kas saskan ar oficiālo, bet ar kuru skolotājs darbu var novērtēt ātri un precīzi. Oficiālo skalu nemainu, bet to izskaidroju un saīsinu.

Izmantotais MI rīks

Claude, kam pievienoju oficiālo skalu PDF formātā. Kursa laikā daudzus izglītojamo darbus vērtēju gan pati, gan ar savu MI tērzētāju STANAGbot (15. uzdevums), kas strādā pēc tās pašas skalas. Šī pieredze rādīja, kur skala rada šaubas. Ar Claude palīdzību šīs vietas atradu, pārbaudīju uz īstiem darbiem un izveidoju praktisku ātrās vērtēšanas skalu.

Sākotnējā uzvedne

Skatīt uzvedni

You are an experienced STANAG 6001 writing rater and test developer. Attached is my rating scale for formal letters/emails (“Plus levels Formal letter rating scale draft 7”): levels 1, 1+, 2, 2+, 3 (and 0), four criteria: (1) Task, content and length, tone and register; (2) Organization, cohesion and coherence; (3) Vocabulary range and control, spelling; (4) Grammatical range and accuracy, punctuation.

CONTEXT
– Learners: adult military and civilian staff of the Latvian National Armed Forces, first language Latvian (some Russian), intensive 8-week course; target Level 2, some 2+.
– Typical task: “Request to Change an Appointment. Write an email to your supervisor (at least 170 words): explain why you cannot attend the meeting; apologise for the inconvenience; suggest a new date and time.”
– The scale is used by teachers and by an AI chatbot that rates learners’ texts. The goal is consistent rating: two teachers and the chatbot should give the same level to the same text.

TASK
1. Audit the scale. For each criterion, check that the levels form a clear progression (each level is clearly higher than the one below, no overlaps, no descriptor that sounds weaker than the level below). List every problem: the cell, the quoted wording, why it is a problem, and a suggested rewording. Do not rewrite cells that are fine.
2. Check the measurable markers (80%, 50%, 30%, “Passive Voice controlled”, “Present perfect controlled”). Say what each percentage should be counted from, so that a rater can apply it, and whether the grammar markers are in a logical order for STANAG levels. If you are not sure, say so; do not present guesses as official STANAG requirements.
3. Add anchor examples: for each criterion at levels 1+, 2 and 2+, write one short example (1–3 sentences) from an email for the task above that shows exactly that level. The examples must sound like real Latvian-speaking learners (typical errors such as articles, prepositions, “must to”, word order), not like textbook English.
4. Write a learner version for the target Level 2: 8–10 “I can…” statements in simple English (B1) that a learner can check before submitting.

OUTPUT FORMAT
– Part 1: table “Cell | Current wording | Problem | Suggested wording”.
– Part 2: short list for the markers.
– Part 3: table with rows = criteria, columns = 1+ / 2 / 2+ example excerpts.
– Part 4: the checklist.
– British English. No introduction or closing remarks.

QUALITY CHECK (before answering)
– Every suggested wording is observable in a written text.
– Anchor examples really differ between levels and match the descriptors of their cell.
– No invented quotes from official STANAG documents.


Sākotnējais rezultāts

Claude izlasīja skalu un atrada desmit vietas, kur apraksti ir neskaidri vai blakus līmeņi izklausās gandrīz vienādi, tāpēc vērtētājam ir grūti izšķirties. Pie katras vietas MI paskaidroja, kas nav skaidrs, un ieteica skaidrāku formulējumu. MI arī uzrakstīja īsus piemērus no izdomātām vēstulēm, kas parāda, kā izskatās teksts 1+, 2 un 2+ līmenī, un sagatavoja „I can…” sarakstu, ar kuru izglītojamais pirms iesniegšanas pārbauda savu darbu. Pilns rezultāts ir pielikumā.


Nākamajā sadaļā: pārbaude ar īstu vēstuli, trīs vērtējumu salīdzinājums un uzvednes uzlabošana.

Materiālu faili
FormalletterratingscalePluslevelsdraft7 (pdf)
177,07 KB
9-1-Sakotnejais-rezultats (pdf)
77,08 KB