Der Blindverkostungs-Thread

[Micha Ale]

Guude!

Im "Krombacher" Thread von Wedebier wurde ich zu einer Blindverkostung animiert.
Das Ergebnis war interessant, und die Angelegenheit ist mir einen eigenen Thread wert,
in dem ich jeden einlade, seine eigenen Blindtest-Ergebnisse zu präsentieren,
das könnte aufschlussreich werden... traut euch

Bei mIr in der Blindverkostung waren die Pilsener von Jever, Krombacher, Warsteiner, Rothaus, Holsten und das Schwabenbräu Märzen.
Meine erwartungen waren: Jever gut (trinke ich eher öfter mal), Krombacher schlecht (trinke ich fast nie), Warsteiner schlecht (trinke ich fast nie),
Rothaus gut (trinke ich ab und an), Holsten schlecht (seit gefühlt 10 Jahren nicht getrunken) und Schwabenbräu Märzen,
als gewollter Aussreisser, gut (trinke ich ab und an).

Ergebnis:
Beim ersten Bier vermutete ich Jever, ich fand es etwas schwachbrüstig, aber gute, nordische Hopfennote.
Tasächlich war es Holsten

Beim zweiten vermutete ich Rothaus, da süffig, volllmundig, wenig bitter..
Tatsächlich war es auch Rothaus.

Beim dritten vermutete ich Warsteiner, da absolut nichtssagend und Hopfenfrei, wenn auch mit mehr Körper als erwartet.
Tatsächlich war es Krombacher.

Bier nummer vier war mein Waterloo... ich fand es furchtbar, mit grausamem Nachgeschmack, und vermutete Krombacher oder Holsten.
Es war Schwabenbräu... in diesem Punkt KANN ich kaum glauben, das mein Sekundant die servierten Biere in korrekter Reihenfolge aufgezeichnet hat...
weil unterschiedlicher können Blindverkostung und normale Verkostung nicht ausfallen... das S. Märzen war (vor längerer Zeit)... für mich eines der besten Biere der Welt...

Das fünfte erwies sich als einziges für alle drei Tester als untrinkbar, und wurde nach wenigen Schlucken entsorgt.
Ich vermutete abermals Holsten oder Krombacher, eher Krombacher.
Tatsächlich war es Warsteiner.

Beim sechsten erwartete ich abermals Jever, und diesmal war es auch Jever.

Ich bin insgesamt eher zufrieden mit dem Blindtest, da meine gut/schlecht/tendenzen weitestgehend hingehauen haben.
Holsten erwiess sich als besser als gedacht, und das Schwabenbräu... weiss der Kuckuck.
Mit dem Rest kann ich sehr gut leben, Norddeutsche lediglich untereinander verwechselt, und ansonsten tendenziell nicht ganz daneben.
Interessant war es allemal!
Ich möchte noch anmerken, das ich meine eigene Biertestpage verwalte,
so einen Blindtest aber tatsächlich zum ersten mal veranstaltet habe.
Aber sicher nicht zum letzten mal, wie gesagt!
LG,
Micha

[Brian]

Liest sich wie "Wie gut ist unser Bier" was vor einiger Zeit im Fernsehen lief.
Vermutlich würde ich auch dramatisch daneben liegen bei einer Blindverkostung.
Bei Flaschenbier aus dem Getränkemarkt würde ich zumindest versuchen die frischesten Flaschen zu bekommen (MHD, Staubcheck, keine Auslage in der Sonne), um einen fairen Vergleich zu machen.

[Johnny H]

Prima Idee! Hier ein kleiner Bericht zur letzten Blindverkostung bei uns zuhause, den ich so ähnlich schon anderer Stelle gepostet habe:

=============================================================================================

Wir haben vor etwa drei Wochen zu zweit mal wieder eine Pilsner-Blindverkostung zuhause gemacht. Es ist echt schwierig, und wir werden uns auch was zu unserer Testprozedur zuhause überlegen müssen. Wir schenken nämlich erst alle Biere in identische Gläser ein (mit gefaltetem Zettel drunter) und vertauschen dann separat die Reihenfolge der Gläser, so dass keiner weiß, was in welchem Glas ist. So wird man allerdings zu schnell fertig bzw. die Gläser werden zusehends wärmer und stehen ab.

Eine andere Testprozedur, die z.B. bei Hopfen&Malz (Berlin) regelmäßig praktiziert wird, ist sehr viel besser: die Biere einzeln bzw. nach und nach von einem Mundschenk reichen lassen und sich Zeit lassen bei der Verkostung.

Ich hatte diesmal eine Trefferquote von 2/6. Besser als beim ersten Mal vor etwa einem Jahr!

Wir benutzen ein Verkostungsformular, das ich vor einiger Zeit entworfen habe, und wir bewerten verschiedene Eindrücke (Aussehen, Geruch, Mundgefühl/Rezens, Geschmack, Nachtrunk und Gesamteindruck). Zwischen uns beiden war das Gesamtresultat wie folgt (max. Punktzahl 20 Punkte pro Bier und pro Verkoster):

1) Flensburger 34,5 (15,5/19)
2) Krug Pils 34 (18/16)
3) Spalter Pils 31,5 (17,5/14)
4) Gampert Pils 31 (14,5/16,5)
5) Saalfelder 27,5 (13,5/14)
6) Sternburger 23,5 (11,5/12), (stand schon lange rum und hatte eindeutige Oxidationsnoten)

Krrug und Spalter waren meine Favoriten, meine Partnerin hat das Flens und das Gampert am höchsten bewertet, und somit hat das Flens knapp gewonnen! Erstaunlich schlecht hat das Saalfelder abgeschnitten - das wurde zwar mit der Zeit (Temperatur!) besser, war aber irgendwie schal, dabei hatte mir das erst eine Woche davor noch sehr gut geschmeckt....

Das Spalter Pils habe ich erkannt (tolle Hopfenblume, kräftige, lang anhaltende Bittere) und das überalterte Sterni natürlich auch, bei den anderen war ich mir nicht sicher bzw. lag ich falsch. Das Flens hatten wir schon mal in der Blindverkostung, und beide Male hatte ich "leicht metallische Note" notiert.

[Johnny H]

In diesem Zusammenhang auch sehr interessant zu lesen: die Berichte von Rory Lawton zu drei separaten Pilsner-Blindverkostungen in etwas größerem Rahmen (ca. 10 TN) bei Hopfen & Malz, Berlin. An der dritten Veranstaltung habe ich teilgenommen. Man beachte hier das oft gute Abschneiden von Industriepilsnern - z.B. hat Oettinger bei der ersten Blindverkostung den 2. Platz geholt, und bei der letzten Blindverkostung kam Veltins auf Platz 2!

The German Industrial Pils Reputation – only half-true?

Blind German Pils Tasting #2 – Even Blinder

Blind German Pils Tasting #3 – In the Land of the Blind…

Edit: mein Bericht bzw. Eindrücke als Teilnehmer an der dritten Blindverkostung (in einem anderen Forum so ähnlich schon mal gepostet):

Ich war übrigens neulich bei Hopfen&Malz für eine Pilsner-Blindverkostung. War hochinteressant! Es wurden neun Sorten innerhalb eines Zeitraum von etwa zwei Stunden verkostet. Nach den ersten vier Bieren gab es eine kurze Pause, und es wurde auch Brot gereicht. Wir waren etwa zehn Teilnehmer, davon zwei professionelle Brauer, zwei Hobbybrauer und sechs mehr oder weniger erfahrene Biertrinker, z.T. mit Brauambitionen.

Zur Durchführung: jeder Teilnehmer hat ein individuelles Glas ausgewählt, was dann in einem Nebenraum von einer an der Verkostung nicht teilnehmenden Person immer wieder gespült und neu befüllt wurde mit Bieren von Nr. 1 bis 9. Nur diese Person wusste die Reihenfolge und welche Biere verkostet wurden. Jeder Teilnehmer hatte ein Verkostungsformular vor sich, konnte darauf Notizen machen und war dann angehalten, jedem Bier eine Schulnote von 1 bis 6 zu geben. Diskussionen zu den einzelnen Bieren während der Verkostung waren nicht erwünscht (um Meinungsführer in ihrem Einfluss auf andere zu begrenzen), ließen sich aber aufgrund der z.T. deutlichen Fehlnoten in einzelnen Bieren auch nicht ganz vermeiden. Die Auflösung bzw. Zuordnung der Nummern zu den verkosteten Bieren erfolgte erst zum Schluss nach der Auswertung. Das fand ich insgesamt ganz gut so.

Interessant war gestern, dass
1) zwei "Craft"-Pilsner nicht zuletzt aufgrund offensichtlicher Infektionen glatt durchgefallen sind (eines davon von einem Berliner Craftbrauer mit ansonsten sehr gutem Ruf!)!!
2) ich persönlich "Industrie"pilsner meist recht gut bewerte (nicht super aber mindestens gut, weil eben meist ohne auffällige Fehlnoten)
3) mir an anderen Pilsnern manchmal irgendwas "auffiel", was dann in meiner Bewertung zu Abzügen geführt hat (z.B. mag ich Schönramer Pils ganz einfach und reproduzierbar überhaupt nicht, viel zu trocken und zu bitter!, und auch am eindeutigen Gewinner gestern hat mich trotz eines leckeren Hopfenaromas beim Abgang irgendwas gestört))
4) ich Diacetyl entweder nicht schmecke oder unbewusst als positiv bzw. charaktervoll bewerte (warum auch nicht im Pils? ich liebe ja böhmische Pilsner)

Ich bin ganz froh, dass ich mich im Vergleich zu meiner ersten Pilsner-Blindverkostung zuhause nicht mehr total verhauen habe und mittlerweile besser darin werde, meine Geschmackseindrücke reproduzierbar einzuordnen und zu beschreiben. Ich denke aber trotzdem, dass ich als Verkoster noch einen weiten Weg vor mir habe.

[tauroplu]

Zitat:" kam Veltins auf Platz 2!". Das wundert mich nicht, denn es gehört in meinen Augen zu den guten Industriebieren, die noch komplett mit Hopfen brauen und wo man den Hopfen im Bier auch noch erkennen kann.

Ich werde aber demnächst auch mal so eine Blindverkostung starten und hier berichten.

[surfmase]

Hallo Zusammen,

Gibt es in EU/DE/CH ein Standardisiertes Verkostungsformel? Ich kenne nur die BJCP Scoresheet: http://www.bjcp.org/docs/Beer_checklist.pdf

Ist das gleiche Formel International üblich?

Gruss,

[§11]

Ein kleiner Tipp um euren Geschmack etwas zu trainieren. So zu sagen Workout fuer die Sinne:

Macht mal einen Dreieckstest. Holt euch zwei aehnliche Biere, also z.B. zwei Fernseh Pils, die ja hier verufen sind das sie eh alle gleich schmecken. Lasst euch davn eins in zwei Glaeser und eins in ein drittes Glas fuellen. Nun versucht, ohne natuerlich zu wissen was in welchem Glas ist, das Glas zu erkennen das sich unterscheidet.

DIe Steigerung ist es dann in alle drei Glaeser das selbe Bier, wobei eins "veraendert" wird, also z.B. mit 10% Wasser verduennt wird, eine Prise Salz/ Malzextrakt/ Zucker/ Alkohol zugegeben. In der "Profiliga" macht die 'Veraenderung' eine andere Person, die euch nicht sagt was veraendert wurde. Jetzt muesst Ihr den Unterschied erkennen und sagen was der Unterschied ist. So trainiert man uebrigens auch im "echten Leben" Mitglieder von Sensorik Panels, nicht nur bei Bier.

Wenn Ihr eine unabhaengige Person habt, dann gibt es noch ein interesanntes Spiel. Die Person kauft 5 verschiedene Biere einer Art ein (also z.B. Pils). Die Biere werden in neutral, gleiche Glaeser (wir haben dafuer mal bei IKEA 100 Weinglaeser fuer 0,50Euro das Stueck gekauft) geschenkt und nund von den Probanden einfach in die Reihenfolge der Beliebtheit gebracht. Vom Besten zum Schlechtesten.

Gruss

Jan

[Micha Ale]

Guude,
da muss ich mich auch nochmal zu wort melden.
Allzu ernst ist dieser Thread bitte nicht zu nehmen, von wegen Verkostungsformeln o.ä...
es geht in erster Linie darum, die eigenen Meinungen/Erwartungen auszutesten.

Nehmt Bier das ihr KENNT, und von dem ihr zu wissen glaubt, wie es euch schmeckt.
Idealerweise "gute" und "schlechte" gemischt, und alles ein Stil.
Davon so 3-6 Sorten. Lasst euch Zeit, trinkt zwischen jedem Bier etwas Wasser, esst evtl ein bisschen Brot.
In Gruppen testen ist immer schöner.
Idealerweise habt ihr einen Sekundanten, der euch die Biere serviert, ihr solltet jedenfalls natürlich nicht wissen, WAS ihr gerade trinkt.

Und dann schreibt hier rein, wie die Wirklichkeit euch eingeholt hat...

So wie ich entsetzt feststellen musste, das ich Holsten bis auf weiteres wohl nicht mehr hasse

LG,
Micha

[tauroplu]

Als weiteren Tipp möchte ich einwerfen, dass man darauf achten sollte, dass die Temperatur der getesteten Biere möglichst gleich bleiben sollte. Am besten irgendwie die Gläser isolieren, denn wenn die Temperatur ansteigt, verhalten sich die Biere zum Teil erheblich anders und man ist völlig verloren, wenn es darum geht, mindestens sein Lieblingsbier zu identifizieren…

EDIT: Wer keine Lust hat, zu isolieren, kann ja sowas hier nehmen.

[liuto]

Wir haben das mal im Studentenheim gemacht, vor vielen Jahren. Es wurde blind Pils und Kölsch serviert und man sollte herausfinden, was welches war. Die Trefferquote war zwar signifikant über der Zufallsgrenze, aber nicht besonders hoch. Erstaunlich.

[Johnny H]

An dieser Stelle ein kurzer Bericht zu einer am 25.08.2016 durchgeführten Blindverkostung der Braufreunde Berlin e.V.:

Teilnehmer:
11 insgesamt, wobei drei davon zeitweise über Videolink von der "Vereinsaußenstelle" in Ruhlsdorf über Videolink zugeschaltet waren (ja, ich weiß, Gruppenverkostung mit Videolink klingt ein wenig durchgeknallt, aber Berlin und Umfeld sind einfach verdammt groß, und außerdem hat's Spaß gemacht)

Durchführung:
Es wurden insgesamt neun verschiedene Biere vom Organisator der Verkostung ausgesucht. Die Flaschen wurden vollständig mit Alufolie umwickelt und nummeriert. Eine zweite, ebenfalls an der Verkostung beteiligte Person hat dann die Biere in einer nur dieser Person bekannten Reihenfolge am Tisch ausgeschenkt. Somit kannte also nur der Organisator der Gruppe die ausgesuchten Biere in Summe, wusste aber nicht über die Reihenfolge der Verkostung Bescheid. Die anderen Verkoster wussten im Vorfeld nichts über die Biere und konnten allenfalls während der Verkostung die Flaschenform sowie die Flaschen- und Bierfarbe erkennen. Ein Dosenbier wurde ebenfalls mit ins Programm aufgenommen, wobei es sich hier nicht vermeiden ließ, dass alle Verkoster die Gebindeform erkennen konnten (aber nicht wussten, um welches Bier es sich handelt).
Bei der "Außenstelle" wusste einer der Verkoster ebenfalls Bescheid über die Biersorten, aber ebenfalls nicht über die Reihenfolge der Verkostung (wobei die Verkostungsreihenfolge bei der "Außenstelle" ebenfalls eine andere war). Weiterhin wurde die Dose aus dem Sortiment entfernt und durch eine Flasche gleichen Inhalts ersetzt (bei einem Vereinsmitglied und zwei Gästen schien es nicht sinnvoll, dass das Vereinsmitglied Bescheid weiß).

Jeder Teilnehmer hatte einen Verkostungsbogen vor sich liegen und war angehalten, die nach und nach eingeschenkten Biere nach sechs verschiedenen Aspekten (Aussehen, Geruch, Geschmack etc.) zu bewerten, wobei insgesamt 20 Punkte pro Bier vergeben werden konnten. Diskussion über die Biere war während der Verkostung unerwünscht, um den gegenseitigen Einfluss der Verkoster aufeinander zu minimieren. Ganz unterdrücken ließen sich Gespräche und Kommentare zwar nicht, aber im Großen und Ganzen hat die Stille ganz gut funktioniert. Eingeschenkt und verkostet wurde in bzw. aus Teku- und Weingläser(n).

Nach der Verkostung wurden die Punkte der einzelnen Teilnehmer aufaddiert und auch statistisch ausgewertet.

Ergebnisse (aus den Gesamtpunktzahlen):
1. Waldhaus Pils 149
2. Oettinger 138,5
3. Veltins 134,5
4. Warsteiner 130,5
5. Flessa Pils 123
6. Pilsner Urquell 119,5
7. Alpirsbacher 117
8. Störtebeker 116
9. Jever (8x Dose, 3x Flasche) 99,5

Edit:
Diskussion
(kopiert aus dem Forum der Braufreunde Berlin, deswegen mit Namen, die vermutlich den wenigsten hier was sagen)->

Damit gibt es einen eindeutigen Gewinner, und das Waldhaus Pils gewinnt auch mit relativ komfortablem Vorsprung. Drei von elf Verkostern (was bereits eine Aussage ist über die breite Verteilung der Bewertungen) haben das Waldhaus Pils als persönlichen Favoriten genannt, und bei immerhin vier der insgesamt elf Verkoster war es eines der beiden persönlichen Gewinnerbiere. Das ist insgesamt vielleicht wenig, aber nur ein weiteres Bier wurde ähnlich häufig genannt. Höchstpunktzahl waren 19 Punkte, schlechteste Punktzahl fürs Waldhaus waren 9/20 Punkten, wobei hier möglich ist, dass von Schloemi et al. eine alte Flasche erwischt wurde (es wurden Oxidationsnoten bemängelt).

Platz 2 geht (und das dürfte die erste Überraschung sein) an Oettinger! Nicht das erste Mal schneidet somit das als schlechtes Billigbier verrufene Pilsner aus Süddeutschland bei einer Blindverkostung erstaunlich gut ab. Insgesamt wurde das Oettinger von zwei Verkostern als persönlicher Favorit genannt (einmal davon gleichauf mit Platz 2), und ebenfalls zweimal war es eines der beiden persönlichen Favoriten.

Bronze geht an Veltins. Dieses wurde wie der Gesamtsieger Waldhaus von den Verkostern dreimal als persönlicher Gewinner genannt, und kam ebenfalls viermal in die individuellen Top 2. Auch bei der letzten Blindverkostung bei Hopfen & Malz hat das Veltins mit Platz 2 sehr gut abschnitten. Ich kann hier nur ein wenig mutmaßen, da mir die Bögen nicht vorliegen, aber der m.E. neutrale und trotzdem angenehm-herbe Geschmack des Veltins kommt durchaus an.

================================================================

Zu den anderen Bieren:

Deutliches Schlusslicht war Jever, wobei mit Sicherheit die für alle Verkoster in Berlin sichtbare Gebindeform (Dose) hier eine Rolle gespielt hat. Trotzdem gab es auch hier einen Verkoster, der bzw. die das Jever in die persönliche Top 2 eingestuft hat. Kein Verkoster hat Jever als persönlichen Gewinner genannt.

Nur ein einziges weiteres Bier (Warsteiner) wurde von niemandem als persönlicher Favorit genannt, wobei das Warsteiner trotzdem mit Platz 4 recht gut abgeschnitten hat und vor allem die niedrigste Schwankungsbreite (Standardabweichung) aller Bewertungen aufwies. Weil es besonders gefällig ist und den wenigsten weh tut? Oder einfach nur, weil es bei der großen Runde in Berlin am Anfang der Verkostung stand und alle froh waren, endlich was zu trinken zu bekommen?

Flessa kam insgesamt auf Platz 5, wurde aber trotzdem von zwei Verkostern als persönlicher Gewinner genannt und sogar dreimal als einer der Top 2. Ich persönlich fand die deutlichen Fruchtnoten (ich habe "Ananas? Mandarine?" notiert) unpassend für ein Pils, habe das Bier aber insgesamt noch gut bewertet, und vielleicht haben die zweifellos vorhandenen Ester dem einen oder anderen Verkoster bewusst oder unbewusst doch zugesagt.

Etwas erstaunlich auch das schlechte Abschneiden des vielfach ausgezeichneten Alpirsbacher Pilsners. Nur Platz 7! Vielleicht war die Flasche zu kalt oder auch zu alt, vielleicht ist das Alpirsbacher Pils als sehr milder und eher süßlicher süddeutscher Vertreter seiner Art auch etwas untergegangen? Immerhin haben mindestens zwei Verkoster (mehr Bögen habe ich nicht gesehen) das zweifellos sehr weiche und samtige Mundgefühl festgestellt.

==============================================================================

Zu den Einzelergebnissen der Verkoster:

Ich habe die individuellen Absolutabweichungen der einzelnen Verkoster vom jeweiligen Durchschnitt berechnet und diese Abweichungen aufaddiert. Bin halt manchmal ein Zahlenfetischist

Daraus ergibt sich, dass Hagen H. und Christian mit jeweils insgesamt 15,9 und 15,7 Punkten Gesamtabweichung die geringste Abweichung vom Durchschnitt aufweisen und uns als Gesamtgruppe somit am besten repräsentieren. Keiner von Euch beiden fand allerdings den Gesamtgewinner Waldhaus Pils besonders schmackhaft, und ihr beiden habt dem Waldhaus fast die schlechteste Bewertung von uns allen gegeben (jeweils nur 9,5 Punkte).

Die größten Abweichler sind Harry mit 52,9 Punkten (er hat allerdings fast jedes Bier mit 18+ Punkten bewertet), Oliver mit 41,9 Punkten und meine Wenigkeit schon deutlich dahinter mit 28,0 Punkten (ich habe oft sehr wohlwollend bewertet, s.u.). Interessant ist wiederum, dass Oliver uns als Gesamtgruppe in puncto persönlicher Favoriten (Waldhaus und Oettinger!) trotz der großen individuellen Abweichungen vom Durchschnitt am besten repräsentiert.

==============================================================================

Zum Abschluss meine persönlichen Eindrücke:

1) Insgesamt waren die Biere teilweise recht kalt. Das mag die Bewertung beeinflusst haben.

2) Ich hatte zwischendrin einen Durchhänger, so etwa zwischen Bier 5 und 7/8.

3) Das Waldhaus war auch mein persönlicher Gewinner und, was mich betrifft, dabei auch recht komfortabel. Das einzige Bier, bei dem für mich im Geruch ein deutlicher nobler Aromahopfen durchkam, und auch insgesamt sehr rund und angenehm!

4) Das Alpirsbacher kenne ich eigentlich recht gut (wurde mir während sieben Jahre Schulzeit im Nordschwarzwald quasi in die Wiege gelegt), und ich trinke es auch heute noch relativ häufig und gerne, wenn ich im Süden bin. Manchmal ist es mir dann auch zu mild, aber meist trinke ich es gern. Natürlich habe ich es gestern nicht erkannt, aber immerhin habe ich einen "angenehmen süß-malzigen Geruch" und "sehr weiches und glattes" Mundgefühl festgestellt. An dem Werbespruch "mit dem berühmten Brauwasser aus dem Schwarzwald" ist also m.E. was dran. Zum Wasser gab es mal vor einiger Zeit eine Diskussion im Hobbybrauerforum. Es (das Alpirsbacher, nicht das Wasser!) war gestern sogar (ganz knapp vor Oetti !!) meine persönliche Nummer 2.

5) Das Flessa schwankt m.E. qualitativ extrem und hat für mich somit keinerlei Wiedererkennungswert. Ich hatte einmal eine Flasche mit einem extremen Fehlgeschmack (DMS?), ein weiteres Mal im Hopfenreich vom Fass fand ich es super, und gestern hatte es die bereits erwähnten Fruchtnoten. Ich fand es gestern insgesamt noch gut.

6) Seit dem ersten Fehlgeschmackseminar und auch zahlreichen Besuchen im Böhmischen Dorf in letzter Zeit schmecken mir diacetyllastige böhmische Pilsner plötzlich nicht mehr!

7) Ich habe insgesamt wohlwollender als die meisten anderen bewertet, wobei ich dennoch ein klares Ranking hatte. Vielleicht sollte ich mich aber trotzdem, wenn ich schon ein Formular entwerfe und einreiche, in Zukunft auch an die darin vorgegebenen Richtlinien halten?

8) Insgesamt hat's großen Spaß gemacht! Da ich das ja relativ häufig mache, weiß ich inzwischen auch, wie ich meine eigenen Ergebnisse einzuschätzen habe und bin auch nicht mehr geschockt, wenn ich im Einzelfall total daneben liege bzw. einzelne Geschmackseindrücke fehlinterpretiere oder sogar gar nicht wahrnehme. In meiner ersten Blindverkostung zuhause habe ich die beiden von mir bewusst ausgesuchten "bösen Industriepilsner" auf Platz 1 und 2 gewählt, und ich hatte insgesamt eine Trefferquote von 0/6 (wohlbemerkt: bei Bieren, die ich dachte zu kennen)!! Das möchte ich übrigens auch jedem mitgeben: auch wenn ihr im Einzelfall überrascht oder vielleicht sogar schockiert seid von Euren eigenen Ergebnissen - probiert das ruhig häufiger mal zuhause! Man wird mit der Zeit besser, aber die Ergebnisse lehren einen auch immer ein wenig Demut vor den eigenen Möglichkeiten!

========================================================================================

Nochmal explizit zu den Unschärfen bzw. Ungenauigkeiten:

a) Zwei Verkoster hatten einen kleinen Vorteil, weil sie die Biere kannten (nicht aber die Reihenfolge)

b) Die anderen Verkoster konnten Flaschenform und -farbe, sowie die Bierfarbe erkennen. Die Dose stach natürlich raus, aber auch das Urquell war allein von der Farbe her sofort als böhmisches Pils zu erkennen.

c) Auf die Temperatur wurde nicht geachtet. Könnte im Einzelfall eine Rolle gespielt haben. Insgesamt waren die Biere m.E. eher zu kalt.

d) Auf Flaschenalter wurde nicht geachtet - es wurde gekauft, was verfügbar war.

e) Die "Außenstelle" hatte andere Flaschen. Das ließ sich durch den getrennten Einkauf nicht vermeiden, mag aber im Einzelfall eine Rolle gespielt haben (Bewertung Störtebeker, Waldhaus)

======================================================================

Ich habe noch mehr Daten ermittelt. Für den Moment reicht das aber erstmal. Das Endergebnis mit drei Industriepilsnern auf den Plätzen 2, 3 und 4 ist deutlich!

[respect]

Hier ein witziges Video bzgl. Blindverkostung.
Wer schmeckt den Unterschied zwischen Flaschen- / Dosenbier.
https://youtu.be/IoZp_lIRI7U

[Johnny H]

An dieser Stelle ein kurzer Bericht zu einer am 25.08.2016 durchgeführten Blindverkostung der Braufreunde Berlin e.V.:

Teilnehmer:
11 insgesamt, wobei drei davon zeitweise über Videolink von der "Vereinsaußenstelle" in Ruhlsdorf über Videolink zugeschaltet waren (ja, ich weiß, Gruppenverkostung mit Videolink klingt ein wenig durchgeknallt, aber Berlin und Umfeld sind einfach verdammt groß, und außerdem hat's Spaß gemacht)

Durchführung:
Es wurden insgesamt neun verschiedene Biere vom Organisator der Verkostung ausgesucht. Die Flaschen wurden vollständig mit Alufolie umwickelt und nummeriert. Eine zweite, ebenfalls an der Verkostung beteiligte Person hat dann die Biere in einer nur dieser Person bekannten Reihenfolge am Tisch ausgeschenkt. Somit kannte also nur der Organisator der Gruppe die ausgesuchten Biere in Summe, wusste aber nicht über die Reihenfolge der Verkostung Bescheid. Die anderen Verkoster wussten im Vorfeld nichts über die Biere und konnten allenfalls während der Verkostung die Flaschengröße (irrelevant da nur 0,5l) sowie die Flaschen- und Bierfarbe erkennen. Ein Dosenbier wurde ebenfalls mit ins Programm aufgenommen, wobei es sich hier nicht vermeiden ließ, dass alle Verkoster die Gebindeform erkennen konnten (aber nicht wussten, um welches Bier es sich handelt).
Bei der "Außenstelle" wusste einer der Verkoster ebenfalls Bescheid über die Biersorten, aber ebenfalls nicht über die Reihenfolge der Verkostung (wobei die Verkostungsreihenfolge bei der "Außenstelle" ebenfalls eine andere war). Weiterhin wurde die Dose aus dem Sortiment entfernt und durch eine Flasche gleichen Inhalts ersetzt (bei einem Vereinsmitglied und zwei Gästen schien es nicht sinnvoll, dass das Vereinsmitglied Bescheid weiß).

Jeder Teilnehmer hatte einen Verkostungsbogen vor sich liegen und war angehalten, die nach und nach eingeschenkten Biere nach sechs verschiedenen Aspekten (Aussehen, Geruch, Geschmack etc.) zu bewerten, wobei insgesamt 20 Punkte pro Bier vergeben werden konnten. Diskussion über die Biere war während der Verkostung unerwünscht, um den gegenseitigen Einfluss der Verkoster aufeinander zu minimieren. Ganz unterdrücken ließen sich Gespräche und Kommentare zwar nicht, aber im Großen und Ganzen hat die Stille ganz gut funktioniert. Eingeschenkt und verkostet wurde in bzw. aus Teku- und Weingläser(n).

Nach der Verkostung wurden die Punkte der einzelnen Teilnehmer aufaddiert und auch statistisch ausgewertet.

Ergebnisse (aus den Gesamtpunktzahlen):
1. Waldhaus Pils 149
2. Oettinger 138,5
3. Veltins 134,5
4. Warsteiner 130,5
5. Flessa Pils 123
6. Pilsner Urquell 119,5
7. Alpirsbacher 117
8. Störtebeker 116
9. Jever (8x Dose, 3x Flasche) 99,5

Hier eine Exkursion in die Statistik in Bezug auf die obige Blindverkostung:
(nb. ich habe mir das folgende teilweise erlesen müssen, da ich Statistik nicht besonders gut beherrsche und auch bei Kursen bisher meist recht schnell an meine Grenzen gekommen bin - wenn sich also jemand von Euch gut damit auskennt, dann darf man mich gerne korrigieren. Für mich war das jetzt sowohl Interesse an unseren Daten als auch Spielerei als auch evtl. noch für berufliche Dinge wichtig.)

Ich habe mit unseren Verkostungsbewertungen sogenannte t-tests gemacht. T-tests wendet man immer dann an, wenn man die Ergebnisse zweier Versuchsreihen vergleicht und entscheiden muss, ob beobachtete Unterschiede statistisch von Bedeutung sind. Also z.B. dann, wenn die Wirksamkeit eines Medikaments überprüft werden soll und z.B. vorher/nachher der Blutdruck gemessen wird.

Oder eben dann, wenn zwei verschiedene Biere von mehreren Preisrichtern verkostet werden und von diesen jeweils eine durchschnittliche Bewertung erhalten, die um einen gewissen Mittelwert schwankt. Kann ja sein, dass ein Bier im Schnitt 15 Punkte erhält, das andere aber nur 14,5 Punkte, und man möchte nun wissen, ob die durchschnittlichen Bewertungen statistisch signifikant unterschiedlich sind. Wir haben ja bereits bei der Verkostung gesehen, dass wir alle recht unterschiedlich gerankt, bewertet und oft sehr unterschiedliche Einzelnoten vergeben haben. Selbst das Siegerbier Waldhaus hatte schwankende Punktzahlen zwischen 9/20 und 19/20, sieben von neun Bieren insgesamt wurden mindestens einmal als Siegerbier genannt und jedes der neun Biere war mindestens einmal in einer persönlichen Top2.

Zurück zum t-test. Bei diesem gibt man ein sogenanntes Vertrauensintervall vor (i.d. Regel 95% - d.h. mit 95%iger Wahrscheinlichkeit ist ein beobachteter Unterschied in den Mittelwerten real und nicht Folge von Zufall und Streuung), und man erhält aus den erhobenen Werten einen t-Wert und einen p-Wert. Damit die Vorgabe des Vertrauensintervalls erfüllt ist, muss p<0,05 sein (sog. Widerlegung der Nullhypothese).

In der angehängten Tabelle sind die ermittelten p-Werte für die jeweils verglichenen Paarungen aufgetragen. Ich habe das t-Test-Modell für gepaarte Tests (es war ja bei jedem Vergleich zweier Biere der gleiche Preisrichter) und eine einseitige Hypothese genommen, da ja ermittelt werden soll, ob ein beobachteter größerer oder kleinerer Mittelwert real ist. Bei letzterem bin ich mir nicht mal sicher, ob das formal korrekt ist, aber bei zweiseitiger Hypothese wären die Ergebnisse noch krasser ausgefallen.

Das Ergebnis ist echt bitter (sic!)! Nur bei 8/36 bewerteten Bierpaarungen waren die Unterschiede in unseren Einzelbewertungen statistisch gesehen signifikant groß (p<0,05, Werte in Grün)! Vier davon betrafen das Jever, und da darf man natürlich auch fragen, inwieweit die von allen zu sehende Gebindeform (Dose!) für die Bewertung eine Rolle gespielt hat.

Das Ergebnis heißt für mich übrigens nicht, dass die Biere nicht unterschiedlich geschmeckt haben (sie waren ja zweifellos alle anders). Es war nur mit der gegebenen Methodik und den unterschiedlichen Geschmäckern der Verkoster in der großen Mehrzahl der Fälle (28/36 Bierpaare) kein statistisch signifikant unterschiedliches Bewertungsniveau (95% Vertrauensintervall) zu erkennen. Zum Beispiel wurde unser "Sieger" Waldhaus statistisch signifikant (95%) nur besser bewertet als das Flessa, das Urquell und als das Jever. Der Rest ist Rauschen, Tagesform, subjektives Empfinden (auch als Geschmacksache bezeichnet) und Schwierigkeiten mit der Methodik.

Das einzige, was man jetzt noch fragen kann: muss es ein 95%iges Vertrauensintervall sein? Ich kann dazu nur sagen, dass das in der Statistik eine oft verwendete Größe ist. Oft werden sogar noch höhere Vertrauensintervalle gewählt. Selbst bei 90% wäre das Waldhaus aber immer noch nicht statistisch signifikant besser bewertet worden als Oetti, Veltins und Warsteiner.

Kommentare, Anregungen etc. sind durchaus erwünscht.

[Ladeberger]

Pfff, typisch Naturwissenschaftler: Macht erst die Studie und bastelt dann die Statistik außenherum

Selbst methodische Unsauberkeiten außer Betracht gelassen (z.B. pauschale Annahme einer Normalverteilung und ausreichender Stichprobengröße), ist der paired t-Test hier meines Erachtens ungeeignet, weil das experimentelle Design nicht darauf abgestimmt wurde. Du hast schließlich nicht paarweise die Proben auf Unterschiede (im Gesamten) testen lassen, sondern hast die Teilnehmer einen ganzen Block anhand verschiedener Attribute bewerten lassen und die Einzelbewertungen aufsummiert. Für paarweise Vergleiche hättest du alle möglichen Paarungen servieren müssen. Nicht sehr praxistauglich.

Um signifikante Unterschiede zu finden ist das aber auch daher ungeeignet, weil aus gleicher Bewertung einzelner Aspekte, z.B. der Farbe, keine Gleichheit des ganzen Produktes abgeleitet werden kann. Ebenso gibt die Summe keine Aussage über die Unterschiedlichkeit der Biere, sondern nur über eine subjektives Scoring der Biere, das im übrigen in deinem Versuchsaufbau aufgrund fehlender Randomisierung der Reihenfolge, der zeitversetzten Präsentation der Proben und einer anzunehmenden Korrelation zwischen den Attributen zusätzlich verzerrt ist.

Ich denke das beste was du hier an Gütekriterien rausholen kannst ist zu testen, ist ob die Varianz der Bewertungen innerhalb einer Bierprobe größer ist als die Varianzen zwischen den Bierproben. Ist das der Fall, dann lassen sich die Mittelwertunterschiede eher auf die unabhängige Variable (Biermarke) zurückführen, als auf die abhängige Variable (Bewertung durch Verkoster). Bei Erreichen des Signifikanzniveaus hast du dann eine Differenz zwischen den Biermarken aufgedeckt, die statistisch signifikant nicht durch Zufallsfehler bedingt ist. Wenn wir uns bzgl. der Annahmen etwas aus dem Fenster lehnen und insbesondere auch die Bewertungen für ratioskaliert halten, wäre ein passendes Verfahren hierzu die one-way ANOVA.

Findest du keine signifikante Differenz, ist das Ergebnis der Blindverkostung nicht aussagekräftig. Findest du die signifikante Differenz, dann musst du noch schauen, wo sie herkommt. D.h. zwischen welchen Produkten eine Differenz besteht und wie hoch die ist. Hierfür kommen Post-hoc Tests zum Einsatz: https://de.wikipedia.org/wiki/Post-hoc-Test. Das machst du am besten alles in einem Statistik-Programm (SPSS, R), da ist es nur ein Klick. Ich glaube nicht dass man hier händisch weit kommt.

Vielleicht daher erstmal nur die ANOVA, dazu gibt es selbsterklärende Online Tools. Je nach Ergebnis sieht man dann weiter.

Gruß
Andy

[Ursus007]

Echt jetzt? So wissenschaftlich? Ich dachte, wir machen hier irgendwas mit "Hobby"?

Aber gern doch, wer es so richtig tiefschürfend will ...

Für mich sind aus dem Test auch die Zahlen recht uninteressant, selbst der Test ist für mich schon zu "abgespaced" ausgewertet. Ich werde nur sehen, wenn sich mir die besprochenen Biere zur Auswahl anbieten, dass ich zu einem greife, das tendenziell besser abgeschnitten hat. Ob das auch mein Geschmack trifft, ist dann eh die nächste Frage.

Ach ja: Und ich werd mal wieder ein Öttinger probieren ...

Ursus

[Dekonstruktivist]

Ich habe nach der Verkostung (ich gebe zu, ich habe die Biere zusammengestellt und eingekauft) mit einem Bierladen-Besitzer gesprochen. Der meinte auch, wenn seine ganzen Kunden wüssten wie gut die Oettinger-Biere ohne Etikett schmecken, dann hätten sie zumindest bei den Standard-Sorten echte Probleme...

[Johnny H]

Sehr fundiert geschrieben, Andy. Vielen Dank für die Rückmeldung! Da wird mir ja gehörig der Kopf gewaschen ;)

Selbst methodische Unsauberkeiten außer Betracht gelassen (z.B. pauschale Annahme einer Normalverteilung und ausreichender Stichprobengröße), ist der paired t-Test hier meines Erachtens ungeeignet, weil das experimentelle Design nicht darauf abgestimmt wurde. Du hast schließlich nicht paarweise die Proben auf Unterschiede (im Gesamten) testen lassen, sondern hast die Teilnehmer einen ganzen Block anhand verschiedener Attribute bewerten lassen und die Einzelbewertungen aufsummiert. Für paarweise Vergleiche hättest du alle möglichen Paarungen servieren müssen. Nicht sehr praxistauglich.

Point taken, wobei ich den t-Test sogar noch mit anderen Voraussetzungen (u.a. 2-Stichproben t-Test mit unterschiedlichen Varianzen, d.h. in meinem Verständnis ohne Paarung) durchgespielt habe (das geht mit einem Excel-Add-In relativ komfortabel)! Da waren die Ergebnisse sogar noch weniger differenziert, d.h. noch weniger p-Werte <0,05.

Um signifikante Unterschiede zu finden ist das aber auch daher ungeeignet, weil aus gleicher Bewertung einzelner Aspekte, z.B. der Farbe, keine Gleichheit des ganzen Produktes abgeleitet werden kann. Ebenso gibt die Summe keine Aussage über die Unterschiedlichkeit der Biere, sondern nur über eine subjektives Scoring der Biere, das im übrigen in deinem Versuchsaufbau aufgrund fehlender Randomisierung der Reihenfolge, der zeitversetzten Präsentation der Proben und einer anzunehmenden Korrelation zwischen den Attributen zusätzlich verzerrt ist.

Auch hier: Point taken! Ich habe mich allerdings bereits oben um die Aussage bemüht, dass die Ergebnisse i.m.V. nicht heißen, dass die Biere größtenteils nicht unterschiedlich sind, sondern nur, dass sie größtenteils nicht statistisch signifikant unterschiedlich zueinander bewertet wurden aufgrund Subjektivität, methodischer Schwächen, Tagesform etc.

Farbe bzw. Aussehen als eigene Bewertungskategorie z.B. war übrigens auch weniger (max. 2P) gewichtet als Geschmack (max. 5P) (der Verkostungsbogen war übrigens dem, den wir bei Doemens vor ca. 1 1/2 Jahren in dem Münchner-Helles-Wettbewerb verwendet haben, nicht unähnlich bzw. fast identisch). Die restlichen Bemerkungen über zusätzliche Verzerrungen stimmen aber natürlich.

Ich denke das beste was du hier an Gütekriterien rausholen kannst ist zu testen, ist ob die Varianz der Bewertungen innerhalb einer Bierprobe größer ist als die Varianzen zwischen den Bierproben. Ist das der Fall, dann lassen sich die Mittelwertunterschiede eher auf die unabhängige Variable (Biermarke) zurückführen, als auf die abhängige Variable (Bewertung durch Verkoster). Bei Erreichen des Signifikanzniveaus hast du dann eine Differenz zwischen den Biermarken aufgedeckt, die statistisch signifikant nicht durch Zufallsfehler bedingt ist. Wenn wir uns bzgl. der Annahmen etwas aus dem Fenster lehnen und insbesondere auch die Bewertungen für ratioskaliert halten, wäre ein passendes Verfahren hierzu die one-way ANOVA.

Die Varianzen kann ich ja ganz einfach berechnen als z.B. Summe der Abweichungsquadrate (Individualscore n - Mittelwert Bier n) geteilt durch (n-1) bzw. direkt über Excel. Wobei ich jetzt nicht ganz verstehe: was meinst Du mit den "Varianzen zwischen den Bierproben"? Die Varianzen in den Bewertungen der einzelnen Verkoster?

ANOVA muss ich mir dann mal anschauen. Das Verfahren habe ich noch nie verwendet.

Gruß, Tilo, der hier definitiv an seine Grenzen kommt...

Echt jetzt? So wissenschaftlich? Ich dachte, wir machen hier irgendwas mit "Hobby"?
[...]

Ursus, ich habe mich hier aus mehreren Gründen versucht, mich an den Daten wissenschaftlich auszutoben:
1) wissenschaftliches Interesse (bin halt einer ;) )
2) Interesse an Statistik (beherrschen ich und meine wissenschaftlichen Kollegen viel weniger gut als wir m.E. sollten, s. Andys Anmerkungen oben, aber meist ist es ja noch schlimmer, und wir berechnen nicht mal grundsätzliche Dinge wie SD oder Vertrauensintervalle)
3) Es wird viel geschrieben über Studienergebnisse und Schlussfolgerungen daraus, von daher hat es auch einen erzieherischen Wert, sich statistischen Methoden und Modellen zu nähern. Dann kann man vielleicht besser beurteilen, ob hinter den Ergebnissen und Interpretationen von veröffentlichten Studien tatsächlich was Wahres steckt, oder ob die Ergebnisse nur aufgrund von Zufall und Rauschen oder aufgrund methodischer Schwächen zustande gekommen sind.

[Ladeberger]

Die Varianzen kann ich ja ganz einfach berechnen als z.B. Summe der Abweichungsquadrate (Individualscore n - Mittelwert Bier n) geteilt durch (n-1) bzw. direkt über Excel. Wobei ich jetzt nicht ganz verstehe: was meinst Du mit den "Varianzen zwischen den Bierproben"? Die Varianzen in den Bewertungen der einzelnen Verkoster?

Genau, die Varianz innerhalb der Biermarke ist Σ(Individualscore - Mittelwert)² / (n-1). Für die Varianz zwischen den Biermarken gilt analog Σ(Mittelwert Score einer Biermarke - Mittelwert Score aller Biermarken[)² / (m-1). [m=Anzahl Biermarken]

Gruß
Andy

[Ursus007]

Echt jetzt? So wissenschaftlich? Ich dachte, wir machen hier irgendwas mit "Hobby"?
[...]

Ursus, ich habe mich hier aus mehreren Gründen versucht, mich an den Daten wissenschaftlich auszutoben:
1) wissenschaftliches Interesse (bin halt einer ;) )
2) Interesse an Statistik (beherrschen ich und meine wissenschaftlichen Kollegen viel weniger gut als wir m.E. sollten, s. Andys Anmerkungen oben, aber meist ist es ja noch schlimmer, und wir berechnen nicht mal grundsätzliche Dinge wie SD oder Vertrauensintervalle)
3) Es wird viel geschrieben über Studienergebnisse und Schlussfolgerungen daraus, von daher hat es auch einen erzieherischen Wert, sich statistischen Methoden und Modellen zu nähern. Dann kann man vielleicht besser beurteilen, ob hinter den Ergebnissen und Interpretationen von veröffentlichten Studien tatsächlich was Wahres steckt, oder ob die Ergebnisse nur aufgrund von Zufall und Rauschen oder aufgrund methodischer Schwächen zustande gekommen sind.

Nein, bitte nicht falsch verstehen, sollte keine Kritik an der Statistik an sich oder der Besprechung der Statistik sein. Ich habe höchsten Respekt, wenn jemand sein Hobby auch fundiert und grundlagenbasiert bis in die Haarwurzeln betreibt. Ist ja auch beim Haupthobby bei einigen hier der Fall (und da schließe ich mich mit ein), man bedenke nur die Berechnungen, feinen Unterschiede der Gär- oder Rasttemperaturen auf das Endergebnis, die Beiträge zur Kalthopfung usw. Aber bei den meisten Punkten Deiner statistischen Auswertung (und ich mache auch regelmäßig eine mit über 3500 Teilnehmern, aber wesentlich primitiver) bin ich fachlich ausgestiegen.

Trotzdem Respekt und danke für die umfassende Ausarbeitung!! Für andere sicher wertvoller als für mich.

Ursus

[§11]

Mal die ganze Statistik bei Seite.

Verkosten und Kriterien bewerten ist m.M. nach in solch einem Rahmen nicht moeglich. Ich war und bin in verschiednenen Verkostungs Panels und wir muessen uns auch immer wieder kalibrieren. Es muss klar definierte in- und out Kriterien geben. Wenn ich sage der Schaum ist grobporig und leicht cremefarben, dann muss er schliesslich auch fuer meine Kollegen so sein. Das ist umso schwieriger wenn es um Aromen und Geruch geht. Was fuer mich "Frisch" schmeckt mag fuer jemanden anders hopfig und fuer einen Dritten "leicht" schmecken. Selbst wenn man Atribute vorgibt und diese zum Beispiel nach Intensitaet bewerten laesst, also z.B. Bittere: schwach - herb, ist es sehr unwahrscheinlich das alle Verkoster, wenn sie nicht ueber Standards kalibriert sind, beim selben Bier die selbe Intensitaet waehlen.

Ich rate deshalb immer nach einer reinen Praeferenzverkostung:

Man stellt jedem Verkoster gleichzeitig alle Bier hin. Jeder Verkoster verkostet sie still und alleine und bringt sie in die individuelle Reihenfolge "mag ich am liebsten" bis "mag ich am wenigsten".

Man kann dazu noch eine Bweschreibung zu lassen wenn man will, die man natuerlich aber nicht auswerten kann.

Hat man z.B. 5 Biere, dann bekommt das Bier das ich am liebsten mag 5 Punkte, das zweite 4 usw. diese Punkte werden dann in der kompletten Gruppe addiert und damit die Rangfolge festgestellt. Will man jetzt noch die Statistik reinbringen, schaut man die Streung an, bzw. wie fuer jedes Bier die Rangfolgen verteilt sind.

Gruss

Jan

[Johnny H]

Jan, das stimmt natürlich alles.

Genaugenommen haben wir es schon zu Beginn gemerkt, als die Verkoster die Bögen vor sich hatten und sich gefragt haben, wie sie denn nun ihre Punkte in den einzelnen Kategorien vergeben sollen. Iin der Tat: was ist denn z.B. nun der Unterschied zwischen 4/5 und 5/5 Punkten in der Kategorie Geschmack, wenn man
gehalt-/charaktervoll, aromatisch, vielschichtig: 4,
überragend: 5
vorgibt?

Wenn wir zuhause verkosten (meist vier bis sechs Biere), dann trinken wir die Biere auch nach und nach und haben irgendwann alle vor uns stehen. In so einem Fall kann man seine Gesamtnote auch nochmal anpassen und ggf. fürs Ranking nochmal direkt vergleichen.

Mit neun Bieren in einer Runde von acht Verkostern (plus drei weiteren etwa 20km entfernt) war das allerdings etwas schwierig. Also hat jeder so gut er/sie konnte seine Verkostungsformulare ausgefüllt und seine persönlichen Eindrücke notiert, und zum Schluss haben wir die Gesamtpunktzahlen für jeden Verkoster und jedes Bier zusammengezählt, verglichen und aufgelöst. Dann in der Diskussion ermittelt, wer welche Favoriten hatte und warum. Dann natürlich schnell gemerkt: hohe Streuung der Einzelbenoten, aber auch hohe Streuungen im Ranking (fast jeder hatte andere Favoriten, wie bereits oben beschreiben, und quasi jedes Bier war bei irgendeinem Verkoster weit oben).

Ganz wichtig war uns eigentlich auch, dass jeder seine persönliche Eindrücke notiert, und es war im Nachhinein auch interessant, sich darüber auszutauschen. Es ist ja bei Verkostungen auch immer extrem lehrreich, dass man auch lernt, seine geschmacklichen Eindrücke zu verbalisieren. Zum Beispiel hatte eines der Biere ziemlich starke Zitrusnoten, die aber viele unterschiedlich wahrgenommen und bewertet haben im Hinblick auf möglichen Ursprung, aber auch auf angenehm/unangenehm/sortentypisch oder nicht etc. Das war schon lehrreich.
U.a . deswegen war auch auf jedem Bogen für persönliche Eindrücke ein Feld vorgesehen. Das ganze sah dann übrigens so aus:
Verkostungsformular

Die ganze statistische Arbeit hatte eigentlich niemand vor, aber nachdem wir das Gefühl hatten, dass die Werte und Rankings extrem streuen, habe ich mich bemüht, der Sache ein wenig mehr auf den Grund zu gehen, vor allem mit der Fragestellung: sind die Zahlen und Rankings, die wir da als Resultat ermittelt haben, eigentlich statistisch signifikant, oder sind unsere Resultate eigentlich mehr oder weniger subjektives Kuddelmuddel? Mal ganz davon abgesehen, dass ich mich sowieso immer mal wieder mehr mit Statistik beschäftigen wollte.

Ich glaube auch, dass die meisten Teilnehmer Spaß an der Verkostung hatten und am Austausch, und das ist ja auch wichtig.

Jetzt ist es vllt. auch ein wenig ausgeufert mit der Statistik und diese dazu auch noch mit Fehlern, aber ok. Irgendwie ist die Essenz der Übung aber schon: Blindverkostung ist schwierig, auch für erfahrene Biertrinker und Brauer, und das erst recht bei Pils! Eine Lektion ist sicher: lieber immer mal wieder eine Blindverkostung machen! Eine weitere: immer wieder den eigenen Geschmack trainieren!

[§11]

Absolute Zustimmung. Ich wollte auch nicht sagen das Verkostung nicht für jeden was ist. Ganz I'm Gegenteil. Es wird nur schwierig wenn man die Verkostung wirklich als "Messinstrument" nutzen will.

Blindverkostung öffnet oft die Augen ( welch brillantes Wortspiel). Ich bin mir sicher blind kein Bier benennen zu können. Wenn ich weiß welche Biere in der Verkostung sind und es sind meine Standardbiere dabei, schaffe ich wahrscheinlich auch nicht signifikant mehr als der Zufall will

Aber wenigstens ist es Bier, ich hab die letzten 3,5 Jahre unter anderem Babynahrung verkostet

[Johnny H]

Blindverkostung öffnet oft die Augen ( welch brillantes Wortspiel). [...]

Da fällt mir auch noch ein :
Die Ergebnisse von Pilsner-Blindverkostungen bergen meist bittere Erkenntnise! :D

Die von Andy oben vorgeschlagene Varianzanalyse mache ich auf jeden Fall auch noch. Mal schauen, was man daraus erkennen kann. Dann soll es aber auch gut sein damit.

[philipp]

Wir benutzen ein Verkostungsformular, das ich vor einiger Zeit entworfen habe, und wir bewerten verschiedene Eindrücke (Aussehen, Geruch, Mundgefühl/Rezens, Geschmack, Nachtrunk und Gesamteindruck). Zwischen uns beiden war das Gesamtresultat wie folgt (max. Punktzahl 20 Punkte pro Bier und pro Verkoster):

Zuerst einmal: Krass wieviel Arbeit ihr euch gemacht habt, Respekt!

Damit ist allerdings nicht gesagt, dass ein Oetti besser als ein Jever schmeckt oder ist... (Ich schreibe das präventiv, weil der Thread sonst wieder als Beispiel verlinkt wird.) Es kommt schließlich bei deiner Methodik unmittelbar auf den Verkostungsbogen an. Wenn Aussehen, Geruch, Rezenz, Geschmack, Nachtrunk und Gesamteindruck einzelne Punkte sind, hast du ja gerade so 3-4 Punkte pro Kapitel. Bei Geschmack hieße das: 0 = untrinkbar, 1=bevor ichs wegkippen muss, 2=joa, 3=noch eines - da werden dann doch alle Biere 2-3 bekommen haben, oder? (Das, was §11 sagt: Kalibrierung.)

So eine Blindverkostung eignet sich prima, um sich selber vorzuführen, wie subjektiv der Geschmack ist. Schade, dass ihr kein Spiel gemacht habt: Zwei Oetties - eines zu Beginn und eines zum Ende. Ich wette, die hätten ziemlich verschieden abgeschnitten.

BTW, ohne das Vertiefen zu wollen: Veltins ist nicht neutral, sondern eine Fruchtbombe verglichen mit anderen Fernsehpilsen. Wenn ihr natürlich vorher eine andere Fruchtbombe im Test hattet, mag das Veltins "neutral" geschmeckt haben.


Aber, wie schon geschrieben: Respekt vor der Arbeit! Sie zeigt mal wieder, dass man die Geschichte hinter einem Bier mitschmeckt - und unbewusst auch mitbewertet!

[Johnny H]

So eine Blindverkostung eignet sich prima, um sich selber vorzuführen, wie subjektiv der Geschmack ist. Schade, dass ihr kein Spiel gemacht habt: Zwei Oetties - eines zu Beginn und eines zum Ende. Ich wette, die hätten ziemlich verschieden abgeschnitten.

100% Zustimmung! Um es mit den obigen Wortspielen zu beantworten:

Blindverkostung öffnet oft die Augen!
Die Ergebnisse von Pilsner-Blindverkostungen bergen meist bittere Erkenntnisse!

:)

[Johnny H]

Ich denke das beste was du hier an Gütekriterien rausholen kannst ist zu testen, ist ob die Varianz der Bewertungen innerhalb einer Bierprobe größer ist als die Varianzen zwischen den Bierproben. Ist das der Fall, dann lassen sich die Mittelwertunterschiede eher auf die unabhängige Variable (Biermarke) zurückführen, als auf die abhängige Variable (Bewertung durch Verkoster). Bei Erreichen des Signifikanzniveaus hast du dann eine Differenz zwischen den Biermarken aufgedeckt, die statistisch signifikant nicht durch Zufallsfehler bedingt ist. Wenn wir uns bzgl. der Annahmen etwas aus dem Fenster lehnen und insbesondere auch die Bewertungen für ratioskaliert halten, wäre ein passendes Verfahren hierzu die one-way ANOVA.

Findest du keine signifikante Differenz, ist das Ergebnis der Blindverkostung nicht aussagekräftig. Findest du die signifikante Differenz, dann musst du noch schauen, wo sie herkommt. D.h. zwischen welchen Produkten eine Differenz besteht und wie hoch die ist. Hierfür kommen Post-hoc Tests zum Einsatz: https://de.wikipedia.org/wiki/Post-hoc-Test. Das machst du am besten alles in einem Statistik-Programm (SPSS, R), da ist es nur ein Klick. Ich glaube nicht dass man hier händisch weit kommt.

Vielleicht daher erstmal nur die ANOVA, dazu gibt es selbsterklärende Online Tools. Je nach Ergebnis sieht man dann weiter.

Gruß
Andy

Um das hier nochmals aufzugreifen: hier die One-Way ANOVA (Einfaktorielle Varianzanalyse) zu den ermittelten Werten. Diese kann man übrigens auch ganz einfach über das passende Excel-Add-In (in englisch, der deutsche Link funktioniert leider nicht) machen. In meiner Excel-Version (2007) kommt man (falls nicht über den Tab Daten -> Analyse bereits verfügbar) über eine Aktivierung über die Excel-Optionen ganz leicht ran (die t-Test-Analyse habe ich mithilfe des gleichen Tools gemacht).

Jetzt gibt es noch ein paar Voraussetzungen, die erfüllt sein müssen:
1) Unabhängigkeit der Stichproben (kann man sicher drüber streiten: es gab keine Randomisierung der Reihenfolge etc.)
2) Normalverteilung der Werte liegt vor (das übergehe ich jetzt mal)
3) Die Varianz Sigma^2 ist in allen Stichproben gleich (das wissen wir i.m.V. nicht, denn wir haben ja nur die berechneten Stichprobenvarianzen s^2, s.u.)
--> also schon mal alles recht schwierig...

Die ANOVA-Analyse selbst ist dann quasi nur noch ein Knopfdruck:

Man sieht hier, dass der entscheidende p-Wert bei p = 0,228 liegt, also das Signifikanzniveau von p = 0,05 nicht erreicht wurde. Das sagt mir, dass die Nullhypothese nicht verworfen wird, und dass die Bewertungen der Biere (nochmal: das ist keine Aussage über die Biere selbst!) sich nicht signifikant unterscheiden. Also eigentlich das, was wir nach der Verkostung intuitiv sowieso befürchtet haben.

Immerhin, den Versuch und die Lernerfahrung war's wert :-)