Bota 1. versijas novērtējums

Kas apmierināja

  • Kopējais līmenis (1+) sakrita ar manu, un bots pareizi atrada, ka darbu visvairāk ierobežo gramatika.
  • Vienots formāts: tabula ar četriem kritērijiem un izvēle, pie kā strādāt tālāk.

Problēmas un trūkumi

  • Vārdu krājumam bots lika 2, lai gan neprecīzu vārdu ir tik daudz, ka lasītājam bieži jāmin (pēc skalas tas ir 1+).
  • Pamatojums sastāv no vispārīgām STANAG frāzēm („errors sometimes impede smooth reading”, „require confirmation”). Instrukcijas to pat prasīja. Izglītojamajam tas ir grūti saprotams un nepasaka, kas tieši jālabo.
  • Nav citātu no teksta un nav paskaidrots, kāpēc katrs kritērijs nav augstākā līmenī.
  • Bots nepamanīja, kas izglītojamajam izdevās, un pareizrakstības kļūdas sajauca ar gramatikas kļūdām.

1. uzlabošanas kārta: bota 2. versija (englishfever.com)

Kursa laikā instrukcijas pārrakstīju, reaģējot uz to, kas neapmierināja:

  1. Obligāto STANAG frāžu vietā: aprakstu nozīme savos vārdos un katram kritērijam īss citāts no teksta kā pierādījums.
  2. Skaidrs noteikums plus līmenim (apmēram 70% no nākamā līmeņa) un stingrs minimums kopējam līmenim.
  3. Bots vienmēr prasa eksāmena uzdevumu, jo bez tā nevar novērtēt uzdevuma izpildi.
  4. Treniņš: 1–2 kļūdas, kas atkārtojas, pa vienai; vispirms jautā, vai izglītojamais zina, kas nepareizi; nekad nedod izlaboto teikumu; valoda atbilst izglītojamā līmenim.

Rezultāts ar to pašu vēstuli: Task 2, Organisation 2, Vocabulary 1+, Grammar 1+, kopā 1+.

Skatīt bota 2. versijas atbildi

Task Achievement & Content: Level 2. You cover the required complaint points: the wrong room, the unsuccessful request to change it, the faulty air conditioner, poor cleanliness, and a request for compensation. The purpose is clear in “I kindly ask you for a partial refund or a discount for future stay.” However, formal register is not fully consistent, particularly in the greeting and a few references such as “The girl who was working in front desk.” This meets Level 2, but not yet Level 2+, because the professional tone is not suitable throughout.

Organisation, Cohesion & Coherence: Level 2. The email has a clear overall order: introduction, room issue, air-conditioning issue, cleanliness issue, compensation request, and closing. Separate paragraphs help the reader follow your complaint. However, some links between ideas are awkward, for example “In additionally” and “Other problem was…,” so cohesion is still sometimes limited rather than consistently smooth.

Vocabulary Range & Control: Level 1+. You use some useful complaint vocabulary, including “standard room,” “partial refund,” “hygiene,” and “reputation.” However, several word choices are inaccurate or unnatural for a formal complaint, such as “accommodation time,” “technical air conditioner,” and “conformable.” There are also spelling slips, such as “sad” and “replay”; these are vocabulary/spelling issues, not grammar evidence. Vocabulary control is therefore close to Level 2 but is not consistently precise enough yet.

Grammar Range & Accuracy: Level 1+. You can communicate with simple past forms and some longer sentences, for example “When I booked the room… I was given a standard room.” However, basic grammar accuracy is inconsistent, especially with articles, plural forms, verb tense/agreement, and sentence structure: “no one come to fix it,” “these problem,” and “that is not possible” in a past-time account. These recurring basic-structure problems keep this aspect at Level 1+.

KritērijsBots, 1. versijaBots, 2. versijaSkolotājaVispārīgs MI (Claude)
Task, tone2222
Organisation2222
Vocabulary21+1+2
Grammar1+1+1+2
Kopā1+1+1+2

Ko deva 2. versija

  • Vērtējums pilnībā sakrita ar manu, arī vārdu krājumā.
  • Katram kritērijam ir citāti no teksta un paskaidrots, kāpēc līmenis nav augstāks („not yet Level 2+, because the professional tone is not suitable throughout”).
  • Bots nosauc arī to, kas izdevās („partial refund”, „hygiene”, „reputation”), un atšķir pareizrakstības kļūdas no gramatikas kļūdām.
  • Valoda ir skaidrāka un uzrunā izglītojamo tieši.

Bota 2. versijas darbs reālās sarunās

Analizēju 73 sarunas ar 10 NAF izglītojamajiem (19.09.–02.10.2026), anonimizēti, skatoties tikai skaitļus un īsus fragmentus.

Kas apmierināja

  • Izglītojamie botu lieto ilgi, ne tikai lai saņemtu atzīmi: dažas sarunas ir garākas par 200 ziņām, tātad bots kalpo kā rakstīšanas treneris.
  • 132 pilni vērtējumi vienādā formātā, neviens mīnusa līmenis; kopējais līmenis bija zemākais kritērijs 129 gadījumos no 132.
  • Bots parasti jautā, nevis labo: „Do you know which preposition should be used…?”

Problēmas un trūkumi

  • Instrukcijās pazuda daļa. Pēc teikuma par līmeņu secību („Level 1 < Level 1+ < …”) teksts pārlēca uz vērtējuma formātu; trūka 1.–3. soļa, arī obligātās pārbaudes pirms vērtēšanas. Visticamāk, saglabājot instrukcijas, zīme „<” tika uztverta kā HTML kods, un teksts līdz nākamajai zīmei „>” pazuda. 1. versijā šie soļi vēl bija.
  • Vienā vērtējumā kopējais līmenis nebija zemākais kritērijs (1+/2/1/1+, bet kopā 1+).
  • Dažreiz pareizā atbilde bija jau jautājumā („…whether ‘workday’ should be written as one word?”).
  • Apmēram 3% bota ziņu bija divi jautājumi vienlaikus.

2. uzlabošanas kārta

  1. Atjaunot pazudušos 1.–3. soļus (no 1. versijas) un līmeņu secību rakstīt vārdiem, bez zīmēm „<” un „>”. Pēc saglabāšanas pārbaudīt, vai instrukcijas ir pilnas.
  2. Pievienot ātros noteikumus no ātrās vērtēšanas skalas (9. uzdevums): skaitīšana 10 teikumos un jautājumi robežai starp 1+ un 2.
  3. Atgādināt: viens jautājums vienā ziņā, pareizo atbildi jautājumā neiekļaut.

MI rīki uzvednes uzlabošanā

Claude analizēja abu versiju instrukcijas un sarunu žurnālu un atrada pazudušo daļu. Abu versiju vērtējumus salīdzināju ar savu vērtējumu un ar vispārīgu MI rīku.

Uzlabotā uzvedne (pievienojamā daļa)

Skatīt instrukcijām pievienojamo tekstu

## STEP 1: CHECK THE INPUT
If the exam task is missing, ask for it once. If the learner does not have it, say that the Task Achievement rating will be less accurate. Count the words and check every task point.

## STEP 2: READ AND COLLECT EVIDENCE
Read the whole text before rating. For each aspect, note 1–2 short quotes that show the level.

## STEP 3: MANDATORY PRE-SCORING CHECK
For each aspect: (a) choose the base level from the descriptors; (b) award “+” only if about 70% of the next level is met; (c) apply the quick rules below; (d) the overall level is the lowest aspect score. Order of levels: Level 1, then 1+, then 2, then 2+, then 3.

QUICK RULES (teacher’s quick rating scale)
– Task: a missing task point means Task Achievement can be 1+ at most.
– Grammar: look at 10 sentences. If 8–10 have no errors in simple structures, the level is 2 or higher; 5–7 means 1+; 0–4 means 1.
– Vocabulary: if the reader can recover the meaning from context, the level is 2; if the reader often has to guess, it is 1+.
– 1+ or 2: errors in basic grammar (agreement, plurals, past forms) in many sentences mean 1+; errors mostly in longer or complex sentences mean 2.

COACHING REMINDERS
– One question per message, never two.
– Never put the correct answer inside your question (not: “Should ‘work day’ be one word?”; instead: “Look at ‘work day’. Is something wrong with how it is written?”).

Pamatojums: katra kārta labo to, kas neizdevās iepriekšējā. 2. versija padarīja atgriezenisko saiti precīzāku un saprotamāku izglītojamajam. Nākamā kārta atjauno pazudušo daļu un ieliek skaidru noteikumu tieši tai līmeņu robežai, kur vērtētāji visbiežāk šaubās.


Nākamajā sadaļā: gala rezultāts un refleksija.