Iegūtā rezultāta novērtējums

Rezultātu pārbaudīju ar īstu izglītojamā vēstuli: sūdzību viesnīcas vadītājam, 234 vārdi, anonimizēta. Vēstuli novērtēja Claude, mans STANAGbot un es.

KritērijsClaude (1. kārta)STANAGbotSkolotāja
Task, tone222
Organisation222
Vocabulary21+1+
Grammar21+1+
Kopā21+1+

Kas apmierināja

  • Skalas analīze bija konkrēta: pie katras problēmas citāts no skalas, paskaidrojums un ieteikums. Formulējumus, kas ir skaidri, MI neaiztika.
  • MI atrada tieši tās vietas, kur vērtētāji visbiežāk šaubās, piemēram, robežu starp 1+ un 2.
  • MI neizdomāja „oficiālas” STANAG prasības un godīgi atzīmēja, kur tas ir tikai ieteikums.
  • Piemēri izklausījās pēc mūsu izglītojamajiem, ar tipiskām kļūdām („must to”, „I not can come”).
  • STANAGbot un mans vērtējums sakrita pilnībā.

Problēmas un trūkumi

  • Claude vēstuli novērtēja par saudzīgu: vārdu krājumu un gramatiku ar 2, nevis 1+. Pēc skalas gramatikā 2. līmenim vienkāršām struktūrām jābūt pareizām apmēram 80% gadījumu, bet šajā vēstulē bez kļūdām bija tikai puse teikumu, un kļūdas bija pavisam vienkāršās vietās („these problem”, „no one come”, „an extra money”).
  • Claude pats apgalvoja, ka ar viņa skaidrojumiem vērtējums kļūst viennozīmīgs, bet to bija pārbaudījis tikai pats. Secinājums bija pārsteidzīgs.
  • Pie piemēriem nebija paskaidrots, kāpēc tie atbilst tieši šim līmenim.
  • Visi piemēri bija par vienu uzdevumu (sanāksmes pārcelšanu), bet īstā vēstule bija sūdzība.
  • Savas piezīmes par skalu Claude uzrakstīja jau pirms uzvednes izpildes, tāpēc pārbaude nebija pilnīgi neatkarīga.

Uzlabošanas soļi

Uzvedni uzlaboju tikai tur, kur rezultāts neizdevās:

  1. Piemēri tieši uz tām līmeņu robežām, kur vērtētāji nevienojās: vārdu krājumam un gramatikai starp 1+ un 2 un starp 2 un 2+.
  2. Piemēri diviem uzdevumu veidiem: sanāksmes pārcelšanai un sūdzībai.
  3. Kā 1+ piemēru izmantot īstās vēstules fragmentus, kurus gan es, gan STANAGbot novērtējām ar 1+.
  4. Pie katra piemēra atzīmēt kļūdas un īsi paskaidrot, kāpēc tas nav augstāks līmenis.

MI rīki uzvednes uzlabošanā

Mans STANAGbot kalpoja kā otrs vērtētājs, bet Claude salīdzināja vērtējumus un pārrēķināja 80% noteikumu. Par pareizo vērtējumu ņēmu savu kā skolotājas vērtējumu.

Gala uzvedne

Skatīt uzlaboto uzvedni (turpinājums tajā pašā sarunā)

Improve the anchor examples from your previous answer. Keep Parts 1, 2 and 4 unchanged.

1. Focus on the boundaries where raters disagree: Vocabulary and Grammar at 1+ / 2 and 2 / 2+.
2. Write anchors for TWO task types: (a) Request to Change an Appointment, (b) Complaint to a hotel manager asking for compensation.
3. For the complaint at Level 1+, use these real excerpts from an anonymised learner letter that an experienced rater and our chatbot both rated Vocabulary 1+ and Grammar 1+ (overall 1+). Do not change them:
– Vocabulary: “some issues during in my accommodation time”, “technical air conditioner in our room was not working properly”, “my stay was not conformable”, “I look forward to your replay.”
– Grammar: “I told the front desk twice, but no one come to fix it.”, “Because of these problem my stay was not conformable.”, “they told me that is not possible to change our room, so all the family rooms with views are occupied.”
4. Under every anchor add: (a) the errors marked in [square brackets]; (b) one line “Why this level and not the one above:” that refers to the wording of the scale and, for Grammar, to the 80% rule (proportion of error-free sentences with simple structures).
5. Note in one sentence why my previous rating (Level 2 for this letter) was too generous.

Output: one table per criterion (Vocabulary, Grammar): rows = task type, columns = 1+ / 2 / 2+. British English, no introduction.

Pamatojums: uzlabotā uzvedne labo tikai to, kas neizdevās. Līmeņu robeža kļūst redzama ar īstu piemēru, ko apstiprinājuši divi vērtētāji, katram piemēram ir paskaidrojums, un piemēri der vairākiem uzdevumu veidiem.

Nākamajā sadaļā: gala rezultāts un refleksija.

IepriekšējaisNākamais