Forum

Stephen Malinowskis Music Animation Maschine

Mehr
07 Dez 2015 17:07 #467 von Yo El Mismo
Hallo Klaus!

Es gibt zur Zeit keine Software, die befriedigend Audio nach Midi umwandeln kann. Das ist dann Handarbeit. Wer eine solche Software dennoch kennt, die das kann, soll sich sofort bei mir melden.

Diese Lösung muß es geben, ansonsten ist es für mich unerklärlich, wie smalin eine Aufnahme in Echtzeit (siehe oben) mit einem Symphonie-Orchester hinbekommt.

Gruß
Yo

NULL

Bitte Anmelden um der Konversation beizutreten.

Mehr
07 Dez 2015 22:11 - 07 Dez 2015 22:13 #468 von Klaus Schaaff
Hallo Yo,

ich hab' jetzt beim Googeln zwei gefunden. Eine hochgeladen 2005 und die andere 2011. Bei der Version 2011 sind die Arpeggios der Toccata viel unsauberer, viel mir auf.

Zu Deiner zweiten Frage. Welches Beispiel meinst Du mit Orchester?

Aber auch hier, gleiches Verfahren, wie schon erwähnt. Es wird eine Midi-Datei mit Orchester erstellt händisch und nach Ohr. Ah ... ich habe gerade BWV 565 laufen lassen im Hintergrund und dann springt YouTube automatisch auf das nächste Stück Beethoven, "Symphony 9, 2nd movement (complete), Molto vivace, Philharmonia Baroque" Das meinst Du also.




Gut, etwas ähnliches habe mal gemacht. An der schönen Blauen Donau, Strauss. Das original Audio von Karajan habe ich in Cubase (Sequenzersoftware) geladen. Cubase kann gleichzeitig Audio und Midi abspielen. Darauf hin lade ich die komplette Partitur in Midi dazu. Jedes Instrument Geigen, Flöten etc. hat dort einen eigenen Track.





Dann beginnt die Sache mit der Synchronisation. Tempo für jeden Takt einstellen, Midi-Noten verschieben, wenn es nötig ist, um alle Töne von Karajan komplett in Übereinstimmung zu bringen mit den Midi-Noten.





Viel, viel Arbeit ist das. Es lohnt sich aber. Karajan war einer der Besten gewesen, auf seinem Gebiet. Danach hatte ich eine Midi-File, die fast exakt das Original wiedergab. Nun hätte ich weiter machen können. Mit Musik Animation Maschine das Video erzeugen, es mit einer Screen Capture Software aufnehmen, das Video in meine Videobearbeitung laden das Midi-Audio entfernen und das Original Karajan Audio wieder einfügen, auf YouTube hochladen und fertig. Warum habe ich das nicht getan? Das Original Karajan Audio ist geschützt. Ich hätte meine Midi Version nehmen können, die ist aber nicht so gut wie Karajan.

Wie gesagt es gibt Converter Audio nach Midi. Das Ergebnis ist aber so unsauber, dass man sich es spart und lieber ein komplette Midi-Partitur sucht und die bearbeitet. Real Time Converter gibt es gar nicht. Solche Produktionen sind extrem aufwendig, wie eine Hollywood Filmproduktion "Die Chroniken von Narnia" wo an den 3D Animationen 1000 Rechner vielleicht 2 Jahre gearbeitet haben, ich weiß es nicht genau ...

So, jetzt habe ich Dir fast alle Produktionsgeheimnisse verraten. Das ist ähnlich wie bei Coca Cola oder wie bei einer Sacher Torte, die original Rezepte sind geheim.


Grüße
Klaus Schaaff
Anhang:
Letzte Änderung: 07 Dez 2015 22:13 von Klaus Schaaff . Begründung: Korrektur

Bitte Anmelden um der Konversation beizutreten.

Mehr
08 Dez 2015 10:52 - 08 Dez 2015 10:53 #469 von Yo El Mismo
Hallo Klaus!

Beethoven, "Symphony 9, 2nd movement (complete), Molto vivace, Philharmonia Baroque" Das meinst Du also.

NEIN, das meine ich nicht. Wenn du es auf deinem PC nicht sehen kannst, dann machen wir es mit Links. Die erste, alte Version von BWV 565 hat folgenden Link:



Die zweite, 10 Jahre jüngere Version hat folgenden Link:



Letztere wurde im Original von Hans-André Stamm gespielt. So weit zu den 2 Versionen von BWV 565 aus smalins Maschine.

Jetzt zur Echtzeit-Synchronisation:
Am 6.12.15 schrieb ich zum Thema Malinowski im ersten Artikel # 461 folgendes:

Sein Computersystem wurde laufend weiterentwickelt und ab 2012 stellte Malinowski eine Version vor, die in Echtzeit seine Animationen synchronisieren konnte. Die öffentliche Premiere erfolgte mit dem Nürnberger Symphonieorchester am 12. und 13. Oktober 2012.

Im Original hießt das

In 2012, he developed a version of his Music Animation Machine that could synchronize his animations with realtime performances, and premiered it with the Nuremberg Symphony Orchestra conducted by Alexander Shelley on October 12 and 13.

Wir reden also von der Fähigkeit der Music Animation Machine, eine originale (keine Konserve!) Orchesterdarbietung in realtime mit Hilfe des Computerprogramms als graphische Darstellung auf einem Bildschirm zu zeigen. Wie das geht, weiß ich natürlich nicht. Aber ich kann mir durchaus vorstellen, daß dazu eine gewisse Rechenpower vonnöten ist. Da aber lediglich eine graphische Darstellung - wahrscheinlich für jedes Soloinstrument einzeln, für gewisse Instrumentgruppen en bloc - gezeigt werden soll, ist das natürlich kein Vergleich an Computerleistung mit einem Hollywood-Film in HD oder 4K.

Gruß
Yo

NULL
Letzte Änderung: 08 Dez 2015 10:53 von Yo El Mismo.

Bitte Anmelden um der Konversation beizutreten.

Mehr
08 Dez 2015 11:56 - 08 Dez 2015 12:27 #470 von Klaus Schaaff
Hallo Yo,

ich glaube ich weiß jetzt, wo das Verständigungsproblem liegt.

Die Music Animation Maschine kann NUR Midi-Informationen verarbeiten und das in Real Time. Sie kann aber nicht Audio nach Video oder Midi umsetzen. Dazu sind die Zwischenschritte wie beschrieben nötig (weitere Alternativen unten).

Zu Deinem Hauptargument:

In 2012, he developed a version of his Music Animation Machine that could synchronize his animations with realtime performances, and premiered it with the Nuremberg Symphony Orchestra conducted by Alexander Shelley on October 12 and 13.


Leider war ich da nicht dabei und muss Annahmen treffen. Wie schon erwähnt, bitte überzeuge Dich unter Umständen selber mit dem Programm download. Es kann nur Midi-Dateien laden oder über Midi-In Daten empfangen. Es gäbe 2 Möglichkeiten. Erste, der Dirigent hat exakt das Abspieltempo einer bereits vorher erstellten Midi-Datei mit Click dem Orchester vorgegeben. Zweite, es wurden Instrumentengruppen mit Miditonabnehmern versehen, diese gibt es, da monphone (Einzelinstrument) Signale relative gut und zeitnah übersetzt werden können, polyphone (mehrere Instrumente) aber NICHT. Diese Midisignale werden dann über Midi-Merge alle zusammengeführt und nach Musik Animation Maschine gesendet. 2012 gab es schon diese guten Miditonabnehmer, die ein einzelnes Audio (monophon) nach Midi umwandeln. Diese Tonabnehmer gibt es seit ca. 2005. Schon bei einem Klavier oder Orgel versagt solch ein Midi-Tonabnehmer, da die Obertonanteile (Diskant oder Bass) zu verschieden sind. Der Rest sind sind Annahmen von mir. Wie die genaue Realisierung erfolgte könnte man per Mail vielleicht erfahren. Eine Mail Adresse ist im Manual.

Das beste Ergebnis liefert die Synchronisierung einer Midi-Datei, manuell erstellt. Rechenpower ist das nicht aber Manpower, 200 Stunden für eine Blaue Donau. Die Tonabnehmerumsetzung nach Midi ist sehr kritisch bei Orchester.

Zusätzlich bitte mal lesen:

www.musanim.com/mam/mamfaq.html

Hier wird erklärt, wie die MAM arbeitet und wie man mit ihr arbeitet.

PS.: Das Internet ist genauso wie Papier geduldig, je spektakulärer etwas dargestellt wird, um so besser. Die Meldung erweckt den Anschein, es würde Audio in Real Time umgewandelt werden nach Video. Dass dem nicht so ist, beweist das Programm selbst.


Falls ich noch weitere Informationen liefern soll, gerne. Ich weiß nur nicht, wo ich da bei Dir ansetzen darf. Der Unterschied zwischen Audio und Midi oder Fourier Transformation (Hartley, Cos, Wavelets) von Audiosignalen. Autokorrelation von Audiosignalen in Hinsicht auf Polyphonie? Da steckt viel drin. Ich habe versucht meine Beschreibung des Vorgangs auf Minimalbasis zu erstellen.

Also für weitere Fragen, gerne.


Liebe Grüße
Klaus Schaaff
Letzte Änderung: 08 Dez 2015 12:27 von Klaus Schaaff . Begründung: Korrektur

Bitte Anmelden um der Konversation beizutreten.

Mehr
08 Dez 2015 13:19 - 08 Dez 2015 13:25 #471 von Klaus Schaaff
Hallo Yo, hier noch mal Klaus,

ich habe nun ein YouTube Video gefunden, was einiges enthüllt:



Verfolge mal die Geige (obere Stimme in der MAM Graphik). Gleich am Anfang geht die Geige zu 2-stimmig in der Graphik über, der Geiger spielt aber nur 1-stimmig. Das Piano ist ein Midi-Piano. Und da dreht einer (Malinowski?) an einer Kurbel, die scheinbar das Tempo vorgibt und nach Midi umsetzt.

Ich sage mal, die Vorführung enthält kleine Anteile eines Fakes, einer guten Zaubervorstellung. Dennoch möchte ich niemals die Music Animation Maschine missen wollen, weil sie so gut ist.

Grüße
Klaus Schaaff
Letzte Änderung: 08 Dez 2015 13:25 von Klaus Schaaff . Begründung: Korrektur

Bitte Anmelden um der Konversation beizutreten.

Mehr
08 Dez 2015 14:01 #472 von Yo El Mismo
Hallo Klaus!

Ein letzter Beitrag von mir zu diesem Thema, sonst wird es zu speziell und interessiert nur noch Freaks, wie wir beide es sind. Den TEDx-Beitrag aus Zürich kannte ich. Der dazugehörige Textbeitrag erklärt einiges:

Musician and inventor Stephen Malinowski uses a simple visual approach to stimulate our ability to build expectations and thereby enhance our engagement with the music.
In this TEDx performance, Malinowski uses a newly-developed version of his Music Animation Machine software which allows him to synchronize his graphical score in a live performance. Violinist Etienne Abelin who collaborated on the development of this technology and pianist Dorothy Yeung play music of Johann Sebastian Bach.


Ich deute dein letztes Video und den obigen Text so, daß Malinowski die graphische Darstellung des Musikstücks bereits erstellt hat und auf seinem iBook ablaufen läßt. Der Geiger und die Pianistin spielen weitestgehend synchron zu der Grafik, das Feintuning erledigt smalin über ein handkurbelartiges Gerät. Fakes kann ich nicht erkennen, eine kleine Zaubervorstellung schon.

Gruß
Yo

NULL

Bitte Anmelden um der Konversation beizutreten.

Ladezeit der Seite: 0.432 Sekunden

Suchen Sie Beiträge vor Februar 2012?

Diese finden Sie im «alten» Bach-Forum auf der früheren Version unserer Webseite unter www.jsba.ch/joomla15 . Hinweis: das Forum befindet sich im (schreibgeschützten) Lesemodus.

Zum Seitenanfang