A/B-Tests

Seite 1 von 2
Verfasst am:

A/B-Tests

Hallo zusammen,

ich zweifle mehr und mehr an der Sinnfälligkeit von A/B-Tests.
Angefangen bei mp3:
Ich könnte nicht beschwören, dass ich zwischen CD-Qualität und 256k-mp3 im A/B-Test sicher unterscheiden könnte.

Ich nehme aber in meinem Konsumverhalten einen klaren Unterschied wahr, je nachdem wie hochauflösend das Medium ist.
In mp3 tauche ich nicht so ab.
Höherauflösenden Medien kann ich länger konzentriert zuhören.
Zuverlässig und reproduzierbar.

Was sagt mir dann der A/B-Test?
Das ich Unterschiede wahrnehme, die ich nicht wahrnehmen kann?
Na danke.

Ebenso mit Gitarrenkrams.
Es gibt Clones von diesem und jenem, und ich habe Pedale, von denen Leute behaupten würden, ich könne sie im A/B-Test nicht unterscheiden und deswegen sei der billige Klon die richtige Wahl.
Wiederum stelle ich aber fest, dass ich zwar Einstellungen kopieren kann, so dass ich im direkten (A/B-) Vergleich Mühe haben würde, reliabel zu nennen, über welches Pedal ich z.B. gerade spiele.
Wenn ich aber anfange, Knöppe zu drehen und zu gucken, welches Pedal mich mehr inspiriert und anmacht,
dann unterscheiden sich die Pedale oft plötzlich gewaltig.

Ich finde A/B-Tests in Zusammenhang mit Musik und Musikequipment zunehmend belanglos und nichtssagend.

Wie seht Ihr das?

Viele Grüße,
woody
 
The truth is rarely pure and never simple.
Oscar Wilde
Rent a bench! Gitarrenbaukurs unter fachlicher Anleitung
Verfasst am:

RE: A/B-Tests

Unterschiedlich ... kommt darauf sn, was ich will.
Wenn es darum geht sich inspirieren zu lassen, ist ein A/B Vergleich natürlich nur mit diesem Parameter sinnvoll, da gibt es nix zu messen außer eben der Inspiration.
Wenn es um Sound beim Publikum abliefern geht, dann muss man sich nach dem Publikum richten. Was will es sehen um fette Gitarren zu hören, was muss ed tatsächlich hören.
Wenn es ums aufnehmen geht, finde ich technische A/B Vergleiche tatsächlich spannend. Ich muss hier eh mit Kompromissen arbeiten, da suche ich im Einzelnen gerne den mit dem besten Preis/Leistungs Verhältnis.
 
Gruesze Ralf
Verfasst am:

RE: A/B-Tests

bei Amps/Pedalen kommt es viel mehr auf das Feeling an als auf den reinen Ton, also die Ansprache und Interaktion. Ganz krass ging mir das mal bei einem Delay Vergleich. Ich habe verschiede analoge Delays miteinander vergleichen und bei einem immer wieder festgestellt das es die ganze Art der Tonformung und Interaktion mit dem Amp verändert, das war der Memory Man, es ist nicht so sehr das Delay selbst sondern da war einfach insgesamt mehr Ton im Raum, warum auch immer......

Das Gleiche mit meinem uralten TS 808, ich habe Dutzende "bessere" Tubescreamer hier (oder auch gehabt), mit True Bypass und hör mir auf, aber den alten Frosch in einen Fenderamp und der Ton ist einach rund, passt wie A auf E. Wahrscheinlich einfach ein glücklicher Zufall, nicht gewollt aber passiert - und offensichtlich nicht reproduzierbar...nicht mit dem gleichen Chip oder sonst was, selbst mein nur 2 Jahre älterer TS-9 kriegt das nicht hin....
Verfasst am:

Re: A/B-Tests

Woody schrieb:
Es gibt Clones von diesem und jenem, und ich habe Pedale, von denen Leute behaupten würden, ich könne sie im A/B-Test nicht unterscheiden und deswegen sei der billige Klon die richtige Wahl.


Genau die gleiche Erfahrung mach ich gerade:
Spiel seit Jahren ein OCD und hab mir jetzt aus Neugierde 2 Klons davon (ein Harley Benton Ultimate drive und ein Mooer Hustle Drive) besorgt.
Im A/B kein Unterschied, usw. usf.

Mag sein, wenn man gewisse Settings aufnimmt und dann abhört, aber beim Spielen ist der Unterschied für mich eindeutig und eigentlich immens...
 
Es ist zwar schon alles gesagt, aber noch nicht von jedem...
Verfasst am:

Re: A/B-Tests

Woody schrieb:
Ich finde A/B-Tests in Zusammenhang mit Musik und Musikequipment zunehmend belanglos und nichtssagend.

Wie seht Ihr das?

Viele Grüße,
woody


Ich bin da in weiten Teilen bei Dir!

Für unsere Frauen ist meist kein Unterschied zwischen A und B hörbar. Na klar - sind auch Frauen denkt mancher da vielleicht. Die interessiert das auch nicht.
Aber hinter dem berühmten Vorhang wird es auch für die Interessierten oft verdammt schwer, Unterschiede allein beim Hören auszumachen. Warum? Weil da jemand anderes spielt!
Das Dingen ist: Das Hören nur ein kleiner Teil des Erlebnisses. Der Spaß entsteht bei etwas, was ich RESPONSE nennen würde. Die Interaktion von dem, was ich rein gebe und dem, was ich als Antwort bekomme, macht mich an!
Diese Erlebnisse sind selbst für erfahrene, sensible Menschen nur schwer zu verbalisieren und sie sind, wie Zuneigung oder Liebe, absolut nicht übertragbar.
 
Gruß

Walter


http://www.facebook.com/der-gitarrenbauer

Kunst ist schön - macht aber viel Arbeit
Karl Valentin
Verfasst am:

RE: A/B-Tests

"Response" gefällt mir. Das ist der Begriff nach dem ich seit langem suche, um das Phänomen zu beschreiben.

Ralf
 
At the end of the day, a guitar is a piece of wood, and you either have good wood or bad wood. Quite often you change your pickups and electronics anyway, so really, having that little transfer on the headstock makes zero difference. (Steve Rothery)
Verfasst am:

RE: A/B-Tests

erniecaster schrieb:
Du zweifelst nicht am A/B Test. Du stellst nur gerade fest, dass die Tests zu oberflächlich sind.


Ich glaube, das Problem ist tatsächlich grundsätzlicher Natur.
In A/B-Tests lässt sich möglicherweise "belegen", dass analoge Master, 16bit Wav und 256k mp3 keinen Unterschied nicht unterscheidbar "sind".
Wenn ich mit den Dingen eine zeitlang "lebe", stelle ich aber einen Unterschied in meinem Umgang mit den Dingen fest, also "mache" ich Unterschiede.

Möglicherweise sind A/B-Tests hier einfach falsch.

Viele Grüße,
woody
 
The truth is rarely pure and never simple.
Oscar Wilde
Verfasst am:

RE: A/B-Tests

Woody schrieb:
erniecaster schrieb:
Du zweifelst nicht am A/B Test. Du stellst nur gerade fest, dass die Tests zu oberflächlich sind.


Ich glaube, das Problem ist tatsächlich grundsätzlicher Natur.
In A/B-Tests lässt sich möglicherweise "belegen", dass analoge Master, 16bit Wav und 256k mp3 keinen Unterschied nicht unterscheidbar "sind".
Wenn ich mit den Dingen eine zeitlang "lebe", stelle ich aber einen Unterschied in meinem Umgang mit den Dingen fest, also "mache" ich Unterschiede.

Möglicherweise sind A/B-Tests hier einfach falsch.

Viele Grüße,
woody


Nachdem ich meine gesamte Diskografie gerippt und auf Festplatte gebracht habe, habe ich nahezu aufgehört, Musik zu hören. Ich kann es nicht erklären.
Ich würde den Unterschied zwischen einer gut gerippten MP3 und einer CD nicht hören können. Dennoch habe ich keine Lust, mir zuhause Musik als MP3 anzuhören.
MP3 ist Musik to go. Geht im Auto - aber nicht im Wohnzimmer.

Ich habe übrigens auch ein schönes Beispiel, bei dem der Höreindruck klasse, aber das Feel blöd ist: Mein Eleven Rack macht im Mix mit anderen Instrumenten für mein Ohr das beste Bild. Spielt sich aber doof.
 
Gruß

Walter


http://www.facebook.com/der-gitarrenbauer

Kunst ist schön - macht aber viel Arbeit
Karl Valentin


Zuletzt bearbeitet von W°° am 21.04.2014, insgesamt einmal bearbeitet
Verfasst am:

RE: A/B-Tests

Bedarf feststellen (wird oft nicht gemacht...), im Netz Vorauswahl treffen, dabei auf die Meinung von Forenexperten pfeifen, dann kaufen, zu Hause rumprobieren, dann in der Band benutzen. Selber mit persoenlichem Restequipment in der angepeilten musikalischen Zielkonstellation benutzen. Was da funktioniert, funktioniert. Alles andere ist nach meiner bescheidenen Erfahrung Bloedsinn.

Was fuer jemand anders mit dessen Restequipment in dessen musikalischer Zielkonstellation funktioniert, ist irrelevant.
Verfasst am:

RE: A/B-Tests

ferdi schrieb:
Bedarf feststellen (wird oft nicht gemacht...), im Netz Vorauswahl treffen, dabei auf die Meinung von Forenexperten pfeifen, dann kaufen, zu Hause rumprobieren, dann in der Band benutzen. Selber mit persoenlichem Restequipment in der angepeilten musikalischen Zielkonstellation benutzen. Was da funktioniert, funktioniert. Alles andere ist nach meiner bescheidenen Erfahrung Bloedsinn.

Was fuer jemand anders mit dessen Restequipment in dessen musikalischer Zielkonstellation funktioniert, ist irrelevant.


Hallo!

Du hast was vergessen: mindestens ein halbes Jahr abwarten, ob sich der Sturm der Begeisterung legt.

Gruß

e.
Verfasst am:

RE: A/B-Tests

Meinem Verständnis nach geht es hier nicht darum, wie man am besten Equipment testet (ich fände es auch anmaßend, gerade woody zu sagen wie er das machen soll).

Sondern es geht darum, dass man Unterschiede wahrnimmt oder wahrzunehmen meint oder sonstwie Unterschiede "macht" die eigentlich angeblich gar nicht "sind" oder sein dürften.

Es gibt für den Menschen keine vom Menschen selbst trennbare Sichtweise der Welt. Das Festhalten an z.B. den Messungen eines Oszilloskops oder sonstigen wissenschaftlichen Methoden, Unterschiede objektiv zu greifen, ist hübsch wenn es um Mathematik geht, also auf einer sich selbst strukturierenden Abstraktionsebene.

Aber das auf die Welt der Wahrnehmungen zu übertragen und zu glauben, man könne oder dürfe nicht wahrnehmen, was mathematisch nicht existiert ist menschen- und realitätsfremd. Denn Mathematik ist nicht Realität sondern nur eine von möglichen Abbildungsversuchen derselben.

Menschen also die einerseits kritisch sind aber andererseits auch auf eigentlich vernachlässigbare Feinheiten reagieren, nehmen also etwas wahr - bewusst oder nicht. Etwas was eigentlich laut Datenblatt oder Klemmbrett, laut Taschenrechner oder Oszilloskop nicht da ist oder irrelevant sein sollte.

Und das finde ich gut und letztlich nicht verwunderlich, denn Mensch und Musik sind hoffentlich nicht dasselbe wie Taschenrechner, Klemmbrett, Datenblatt oder Oszilloskop.

Wer das merkwürdig findet oder diese Art der Wahrnehmung als Einbildung ablehnt, hat einen beschränkten Horizont, weil er darauf angewiesen ist, immer nur das zu glauben was der Stand der Technik gerade zu beweisen hergibt. Morgen erfinden wir vielleicht ein feineres, ganz anderes Messgerät und das wird dann abbilden können, warum diese oder jene Feinheiten vorher nur so wabernd erahnt aber nicht kategoriell benannt und quantifiziert werden konnten.

Ich gebe zurück ins Sendezentrum.
Verfasst am:

RE: A/B-Tests

Woody schrieb:
In A/B-Tests lässt sich möglicherweise "belegen", dass analoge Master, 16bit Wav und 256k mp3 keinen Unterschied nicht unterscheidbar "sind".
Wenn ich mit den Dingen eine zeitlang "lebe", stelle ich aber einen Unterschied in meinem Umgang mit den Dingen fest, also "mache" ich Unterschiede.

Oder Du hast beim Erstkontakt "den Unterschied gemacht" und kehrst zum Ursprung zurück?

Man weiß nicht, wie das menschliche Gehirn Musik verarbeitet.

Wenn die Frau/Freundin am Telefon 'Hallo' sagt, weißt 'Mann' sofort was los ist.
Für den studierten Toningenieur ist das nur ein Schallfeld.
Und für den MP3-Geek ein Algorithmus.


Zum Thema Digitalisierung ist der Artikel interessant:
http://www.newscientist.com/article/dn23143-musical-brains-smash-audio-algorithm-limits.html?full=true&print=true#.U1U6R8cpOg4
In einem Versuch konnten Musiker wesentlich besser Tonhöhen und -längen unterscheiden, als gängige Modelle/Algorithmen es unterstellen.
Heißt: Das Modell arbeitet nicht genauso wie das menschliche Hirn.
Der Faktor Empfinden spielte in diesem Versuch keine Rolle.


@W°°
"Response" gefällt mir auch.

Gruß,
Verfasst am:

Re: A/B-Tests

Hi,

Woody schrieb:
Hallo zusammen,
...Ich nehme aber in meinem Konsumverhalten einen klaren Unterschied wahr, je nachdem wie hochauflösend das Medium ist.
In mp3 tauche ich nicht so ab.
Höherauflösenden Medien kann ich länger konzentriert zuhören.
Zuverlässig und reproduzierbar....
woody



die Psyche spielt eben auch eine große Rolle, deswegen macht man ja auch sinnigerweise (Doppel)verblindete Studien. Wenn Du den Kopfhörer auf hast und nicht weißt ob da eine MP3 oder eine CD abgespielt wird gibt es auch keinen Unterschied im Abtauchen und der Konzentration....


Woody schrieb:
Wenn ich aber anfange, Knöppe zu drehen und zu gucken, welches Pedal mich mehr inspiriert und anmacht,
dann unterscheiden sich die Pedale oft plötzlich gewaltig.
Viele Grüße,
woody


Da geht es dann auch um viel mehr als um den A/B Test "klingt das gleich?" Da spielen viele Faktoren eine Rolle "objektive" wie Unterschiede im Handling, bzw. der Benutzerfreundlichkeit, und "subjektive" wie die Farbe, das Logo, Design, Konnotation....

Wenn es darum z.B. darum geht zu zeigen, dass Röhre X genauso klingt wie Röhre Y (oder doch anders?) dann reicht mir auch ein einfacher A/B Test. Der technische Inhalt meines Amps interessiert mich nämlich nicht. Wenn es aber z.B. um die Frage "welchen Amp kaufen" oder Modeller vs "echter" ginge dann würde mir ein einfacher Soundvergleich auch nicht reichen.

Viele Grüße,
Gerold
Verfasst am:

Re: A/B-Tests

gigi schrieb:
die Psyche spielt eben auch eine große Rolle, deswegen macht man ja auch sinnigerweise (Doppel)verblindete Studien. Wenn Du den Kopfhörer auf hast und nicht weißt ob da eine MP3 oder eine CD abgespielt wird gibt es auch keinen Unterschied im Abtauchen und der Konzentration....


Eben das halte ich für Unsinn.
Mir ging es ähnlich wie Walter.
MP3 täglich benutzt, um irgendwann festzustellen, dass man den Spaß dran verloren hat, wo es mit CDs oder Schallplatten doch noch funktioniert.
Das hat nichts mit Hörerwartungen oder Voreingenommenheit zu tun,
das sind Beobachtungen ex post.
Mir fallen Unterschiede auf, vor allem in Bereichen, in denen ich sie nicht erwartet hätte, nämlich in meinem Konsumverhalten.
Wer mir da Präkonzeptionen oder Expectation-Bias vorwerfen will, redet in meinen Augen dummes Zeug.


gigi schrieb:
Wenn es darum z.B. darum geht zu zeigen, dass Röhre X genauso klingt wie Röhre Y (oder doch anders?) dann reicht mir auch ein einfacher A/B Test. Der technische Inhalt meines Amps interessiert mich nämlich nicht.


Das würde ich auf Grund meiner voherigen Beobachtungen bestreiten.
Wenn sich Röhren unterscheiden, dann sehr wohl auch im optimalem Arbeitspunkt und wie sie sich dort verhalten.
Und das heißt Knöppe drehen, eine Weile damit Leben und gucken, wie sich das Gesamtsystem anfühlt.


Musiker, denen A/B-Tests zum Glaubensbekenntnis gehören sind mir jedenfalls mittlerweile suspekt.
A/B-Tests sagen uns etwas über unsere momentane kognitive Unterscheidungsfähigkeit,
aber nichts über unser emotionales Langzeiterfahren.
Und Musik ist eine emotionale Geschichte, und nicht nur für die Kognition gemacht.

Interessanter Weise bin ich gestern über das hier gestolpert,
das menschliche Gehör funktioniert also nicht wie die Fourier-Analyse, wie bisher wissenschaftlich häufig angenommen.



Viele Grüße,
woody
 
The truth is rarely pure and never simple.
Oscar Wilde
Verfasst am:

RE: A/B-Tests

Das schwierige an der ganzen Sache finde ich die Abhängigkeit von der Tagesverfassung. Was mir heute gefällt bzw. "Besser" klingt ist morgen ganz anders.
Die Beobachtung mit den mp3s hab ich noch nicht machen können. Angeblich ist es für das Gehirn anstrengend die fehlenden Bestandteile eines mp3s zu ergänzen (Obertöne o.ä.??) und daher ermüdender als .wav oder analog horchen.
Das ist allerdings keine überprüfte wissenschaftliche Aussage.

Nun denn.

Ich finde A/B Vergleiche anstrengend und unergiebig.

Lg
Auge
 
...Genau!
Meine Live Projekte:
Auge Music - Qualität zählt!

Reiseblog: http://experience.augustyn.at
Verfasst am:

RE: A/B-Tests

Ich fall bei den meisten A/B Vergleichen durch.

Beim Spielen meine ich subjektiv den Unterschied wahrzunehmen...

Selbsttäuschung - vielleicht.... Da Musik zu 95 % eine emotionale Angelegenheit ist, halte ich Selbsttäuschung für legitim.
Verfasst am:

RE: A/B-Tests

Moin,

niemand geht m.E. ohne eine eigene Zielsetzung an einen A/B Vergleich heran (sonst wäre eine Teilnahme am Selbigen auch unsinnig).
Man will ein Ergebnis, am besten eines, dass seinem eigenen Vorurteil entspricht.
Und hier geht das Elend eigentlich los:
Da ist einmal der Vergleich, der zusätzlich andere Sinne mit einbezieht (meistens optische).
Schon hier ist unbeeinflusstes Hören nicht mehr möglich. Mal ganz plump ausgesprochen: "Das Hübschere muss auch besser klingen"!

Selbst bei Blindtests rastet das Gehör gerne in bestimmte akustische Teilbereiche ein, wobei gleichzeitig bei vielleicht wichtigen Bereichen die Konzentration nachlässt. Das ganze hat auch viel mit der Tagesverfassung und gerade vorherrschenden Vorlieben zu tun.

Mal ein Beispiel aus meiner High End Zeit: Ich experimentierte mit der Aufstellung meiner Lautsprecherboxen. Hierbei versteifte ich mich unmerklich zunehmend auf die Staffelung eines aufgelegten Orchesters und die Basswiedergabe. Zu mehr war ich mental gar nicht in der Lage. Als die ideale Speakerposition gefunden schien, bemerkte meine anwesende Holde, dass die Musik plötzlich irgendwie so schlapp klänge.

Ich "kalibrierte" also meine Ohren neu...und sie hatte Recht!

Das mit dem AB Testen kann nach meinem Empfinden einen wirklich wahnsinnig machen. Je mehr man eintaucht, um so mehr wird man verwirrt bzw. beeinflusst.

Ich versuche inzwischen mir ganz plump etwas anzuhören. Entweder es gefällt oder eben nicht. Dieses "da geht vielleicht noch was" versuche ich auszublenden. Gerade Musik ist ein emotionales Erlebnis. Entweder es berührt einen oder eben nicht. Analyse hat da nichts zu suchen!

Und, wie schon geschrieben stand, nach einem halben Jahr (leicht übertrieben) weiß man dann erst wirklich, ob es einem gefällt.
 
Gruss, tommy
Alle Zeiten sind GMT + 1 Stunde