Judging - Bierbewertung und Bias

[chaos-black]

Hallo zusammen,
insbesondere mit der hbcon mit Wettbewerbsverköstigungen vor der Haustür möchte ich dieses Thema ansprechen. Es ist unumstritten, dass Wahrnehmung etwas individuelles und subjektives ist. Folglich hat Bewertung immer auch subjektives (und von dem Thema kann ich als Lehrer ein Liedchen singen).
Wie in der Schule, so auch bei der Bewertung von Bieren gilt es, sich möglicher Vorannahmen (Bias) bewusst zu werden, um diesen Faktor bei Bewertungen möglichst gering zu halten. Und gerade jetzt, wo wir bald wieder in den Wettbewerben Biere evaluieren (ich meine Judge- und Publijumswettbewerb), sollten wir dies thematisieren denke ich.
Gerade in der aktuellen Folge 129 vom brulosophy Podcast wird das Thema auf sehr hohem Niveau von Marshall (der übrigens Psychologe ist) und seinem Co-Host (BJCP-certified judge, Cicerone, professioneller Brauer) diskutiert. Da rein zu hören kann ich jedem wärmstens empfehlen.

Ein kurzes Beispiel daraus: Marshall hatte ein Bier in mehreren bjcp-Kategorien eingereicht. In den Kategorien Wiener Lager und Märzen wurde es am gleichen Tisch von den gleichen Judges bewertet. Ergebnis: das eine hat super Punkte geholt, das andere (gleiches Bier, nur andere Flasche!) wurde relativ schlecht bewertet aufgrund von wahrgenommen Fehlaromen wie Oxidation und Diacetyl. Ohne jetzt zu behaupten, die Flaschen können nicht unterschiedlich geschmeckt haben, regt das ganze doch zum Nachdenken an.

Cheers,
Alex

[Barney Gumble]

Ein wichtiges Thema. Von mir als nicht-Sensoriker aber nur eine kurze Anmerkung zu der Frage: das Wort ,bias' ist für mich für die Abweichung eines ermittelten Wertes von einem echten sog. anerkannten Referenz-Wert (z. B. zugesetzte Stoffe in bekannter Menge) vorbehalten.
Das Wort passt bei immer (also sowohl bei ,ermittelten Wert' wie auch beim ,Referenzwert') subjektiv ermittelter Sensorik m. E. also nicht.

Quelle: http://www.chemgapedia.de/vsengine/vlu/ ... vscml.html

Ungeachtet dieses kleinen Präfixes hole ich mir jetzt Mal Popcorn..


VG
Shlomo

[Till]

Das Wort bias wird zumindest außerhalb der Naturwissenschaften genau für das was oben beschrieben wird verwendet. Neigung, Voreingenommenheit, Befangenheit etc. oder in der Psychologie für eine (kognitive) Verzerrung.

[chaos-black]

Das Wort bias wird zumindest außerhalb der Naturwissenschaften genau für das was oben beschrieben wird verwendet. Neigung, Voreingenommenheit, Befangenheit etc. oder in der Psychologie für eine (kognitive) Verzerrung.

Genau so ist es gemeint.

[schlupf]

Ich finde das durchaus einleuchtend, dass dasselbe Bier bei denselben Testern in unterschiedlichen Kategorien unterschiedlich bewertet wird.

Beim Vienna Lager sind z.B. Karamell-Noten erst ein Fehler, wenn sie "significant" sind, bei Märzen schon, wenn sie nur "notable" sind. Und Oxidation (so es denn welche war) kann schon mal in Richtung karamellig gehen.

Die Judges wissen ja im besten Fall nichts über das Bier vor ihnen und können nicht davon ausgehen, dass sie im der Märzen Kategorie ein, absichtlich auf leichte Karamelligkeit gebrautes, Wiener Lager vorgesetzt bekommen und tippen daher eher auf Oxidation, besonders wenn es noch einen Diacetyl-Einschlag hat.

Warum das Diacetyl bei der anderen Probe nicht erkannt wurde wäre natürlich interessant, aber ich hatte selbst schon den Fall, dass nur einzelne Flaschen Butterbomben waren, also ganz abwegig ist das nicht.

[§11]

Das ist natürlich ein allgemeines Problem einer jeden Verkostung die nicht gegen eine feste Referenz abläuft. Es gibt zwar eine allgemeine Stilbeschreibung, aber diese ist ja absichtlich weit gehalten. Es ist ja weder Sinn noch Wunsch das zum Beispiel alle Münchner Hellen gegen ein Augustiner verkostet werden. Der Brauer soll ja innerhalb dieser Stilparameter kreativ sein.

Je nach System wird damit anders umgegangen. Bei der BJCP, zum Beispiel dadurch das eben nicht nur ein Judge das Bier verkostet.

Ich hab in den Podcast noch nicht reingehört, aber es kommt natürlich auf die Stile an. Das war jetzt hier nicht der Fall, aber ein Böhmisches Pils erlaubt zum Beispiel Diacetyl ein deutsches nicht. Vor diesem Hintergrund wäre es für mich eher seltsam wenn ein Bier das vor dem Hintergrund zweier verschiedenen Stilbeschreibungen genau gleich bewertet werden würde. Das würde nämlich darauf hinweisen das der Judge es nach seinem „bias“ (eine weitere mögliche Bedeutung ist Vorliebe) bewertet und nicht objektiv

Gruß

Jan

[chaos-black]

Es ist natürlich richtig, dass ein Bier in zwei Kategorien unterschiedlich abschneiden sollte. Der Punkt der mich irritierte war, dass es in der einen Kategorie Fehler aufwies, die in der anderen Kategorie nicht geschmeckt wurden. Übrigens hat das Bier als Wiener Lager etwas über 40 Punkte (BJCP) erhalten, als Märzen etwas über 20. Und es war dem Kommentar nach quasi bis zur Unkenntlichkeit oxidiert. Von der Reihenfolge her lag nur ein anderes Bier in der Verkostung zwischen diesen beiden.
Bei diesen Bedingungen und diesem Ergebnis kann man durchaus stutzig werden, finde ich, und stärker über den Einfluss von Bias aufs eigene Verköstigungsverhalten nachdenken.

[schlupf]

Das bestätigt doch meine Vermutung:
Wiener Lager -> Karamelligkeit im Rahmen -> alles i.O
Märzen -> Karamell: Fehler -> Vermutung: Oxidation