Après plusieurs recherches et discussions passionnantes (cc @Zetsuboushitta ), je ne peux résister à l'envie de vous parler du son sur une console dont on n’entend pas beaucoup (et pour cause, on va le voir) parler : la Nintendo 64.
En effet, une question m'a récemment frappée : on parle souvent du son sur NES, SNES, des prouesses de leurs compositeurs, de la fracture avec le support CD et l'arrivée révolutionnaire de la PlayStation. Pourtant, on aborde peu cette première console 3D de la firme de Kyoto.
Une enquête s'est donc imposée, et voici mes résultats actuels. Dans ce petit thread, nous allons parler non seulement de ce qu'était la composition pour ce support, mais aussi des difficultés d'interprétation qu'il présente aujourd'hui.
Donc, reprenons du début. Sortie en 1996, la N64 est la première console à affichage 3D en temps-réel de Nintendo. Appartenant à la génération "64-bits", celle-ci a la particularité de persister à lire des jeux sur cartouche alors que le support CD déferle déjà. 
Déjà, ce choix en fait grogner beaucoup. Le support cartouche, en plus de ne pas être très pratique pour développer, a des désavantages d'espace de stockage criants : une cartouche N64 peut contenir jusqu'à 64MB de données. Un CD standard utilisé sur PlayStation : 650MB. Bon.
Qu'à cela ne tienne, si la console ne marche pas très bien et que de nombreux studios se détournent de Nintendo pour aller vers Sony, on voit tout de même sortir dessus des jeux légendaires : Zelda OOT et MM, GoldenEye, Banjo-Kazooie…
Aujourd'hui, ces jeux sont restés dans l'histoire, ont été émulés, remasterisés, documentés. Des bandes originales ont même parfois été éditées ! Rien à craindre donc, pour la compréhension et la préservation de ce pan de l'histoire ? Que nenni.
Effectivement, si je vous dis qu'il est aujourd'hui très difficile de savoir comment marche le son sur la Nintendo 64, me croyez-vous ? (j'espère que oui quand même) Car cette console était en tous points particulière.
Mais faisons les choses dans l'ordre. La première question que je me suis posée est celle de l'existence de la puce sonore de la N64. Historiquement, les "sound chips" embarquées dans les consoles (ou les cartouches) sont très importantes.
Ces PSG (Programmable Sound Generators), circuits intégrés dans l’infrastructure des consoles, mettaient à disposition différentes sonorités qu'il était possible de programmer : le son légendaire de la SNES ne serait rien sans le SPC700 de Sony, développé par Ken Kutaragi.
De même, la GameBoy et son système sonore intégré au hardware et totalement indépendant du reste des fonctions de la machine, est si marquante grâce au travail de Hirokazu Tanaka (inspiré de ce qu'il avait fait sur la NES). Square waves, baby !
Bien que très limitées, toutes ces consoles se démarquaient donc par leurs productions sonores uniques. La N64 les dépassant de loin, les possibilités devaient être meilleures, et les prises de tête techniques moindre !... N'est-ce pas ?
Et bien pas du tout. En fait, Koji Kondo déclare que s’il a arrêté de faire de la programmation sonore à cette époque pour se concentrer sur la composition, c'est parce que les choses sont devenues si compliquées qu'il a fallu recruter un programmeur dédié à ça.
Il reste également très flou sur les limitations techniques, arrêtant parfois (mais pas toujours) le nombre de voix simultanées à 16. Il en dit peu, également, sur le renouvellement total des sonorités sur cette console. Il y a tant de choses à relever, pourtant.
Premièrement : la N64 n'a pas de puce sonore dédiée. Qu'est-ce que cela veut dire ? Tout simplement qu'aucun module permettant de générer du son n'était présent, de base, dans l'infrastructure de la console.
Cela signifie que les studios devaient développer leur propre moteur sonore et leurs propres sons à chaque nouveau jeu. En découle un gros problème au niveau de la gestion des ressources et de la puissance de calcul :
Sans processeur propre, le son doit partager les capacités de l’un des deux CPU de la N64 (le RSP : "Reality Signal Processor") avec les... graphismes. Pour faire simple : plus il y a de sons, plus ça rame et moins l'image est fluide. Et ça marche aussi dans le sens inverse !
[Ici j’ai un petit doute car j’ai trouvé un autre témoignage qui dit que ce CPU gérait AUSSI l’IA, mais c’est à vérifier] Du coup, si le système permet, en théorie, de jouer 100 sons simultanés, le reste des données à gérer fait généralement tomber la limite à... 16.
D'un côté, c'est une fonction intéressante, car les limites de ce que peut faire la console deviennent plus floues. Chaque studio peut aussi choisir d'intégrer le son comme il le souhaite. C'est ainsi que Rare a développé un algorithme de compression/décompression pour les mp3.
L’algorithme en question a permis d'intégrer du son enregistré dans les cartouches, dont les doublages de Conker's Bad Fur Day. Pour l'époque et le support, c'est très bien joué.
De l'autre côté, les sonorités possibles vont entièrement dépendre des ressources des studios et des musiciens, qui peuvent être très variables. De plus, les méthodes d'intégration différentes multiplient les formats.
On peut donc avoir du son enregistré et streamé, c'est une chose (et une grande première à cette échelle sur une console Nintendo). Mais que se passe-t-il lorsqu'il s'agit de sons programmés en MIDI (typiquement, ceux qui auraient besoin d'une puce) ?
Ici, il faut préciser une chose importante sur le MIDI, dont je vous ai déjà parlé de façon superficielle. Car lorsqu'on parle (souvent) de "sons MIDI", on fait en réalité un gros contresens : si ce protocole sert effectivement à envoyer des instructions concernant le son…
... le MIDI ne peut pas, à proprement parler "faire du son", car il n'est que le porteur du message, la "partition". Cette partition contient un certain nombre d'informations sur la hauteur, vélocité, durée, voix actives, tempo, volume, etc. Mais pas sur le timbre.
Pour produire du son, cette partition doit être lue par des instruments, pour être plus exact, ici, ce sont des instruments qui doivent lui être assignés. Je vous en avais parlé dans l'autre sens dans mon thread sur les VSTi :
Oh, mais je vous vois venir avec vos questions : "S'il faut des VSTi pour changer le MIDI en musique, et que la N64 n'a pas de soundchip avec les ressources dedans, comment on fait ?". Et bien, on importe les VST dans la cartouche de notre jeu, comme le reste.
J'en arrive ici à mon deuxièmement : la N64 n'a pas vraiment de sonorité propre. Comme je l'ai dit précédemment, les studios et compositeurs ne pouvaient compter que sur leurs propres ressources, à savoir : les banques de sons et de samples.
Une partie de leur travail consistait donc à naviguer dans les options de leurs synthétiseurs ou à se procurer des CD de "sound libraries" pour construire leurs morceaux. Un fois sélectionnés, les sons étaient découpés et importés dans un format enregistré (type .wav).
J'ai l'air de rabâcher, mais ce point est fondamental esthétiquement. Dans les années 1990, la musique sortait d'une ère particulièrement riche qui avait vu naître le rock, la pop et... la synthpop. Aussi, les banques de sons étaient déjà pléthoriques à l'époque.
Bien, sûr, certains "sons" étaient déjà devenus des classiques dans leur genre. Par exemple le clavier du légendaire synthé, le Yamaha DX7. Mais si, vous connaissez forcément "Dire Dire to Break" de Chicago :
... Ou bien "Hard Habit Docks" de Koji Kondo, je ne suis plus très sûre du titre :
Cet exemple est particulièrement connu et reconnaissable, mais ce n’est pas le cas de tous. Pour vous donner une idée de la façon dont les librairies de samples ont modelé l’esthétique N64, voici une petit vidéo identifiant quelques sons :
Avec cette information en tête, on voit très clairement pourquoi l'écriture mélodique n'était pas toujours au premier plan dans Zelda OOT (dans les donjons par exemple) : certains morceaux sont avant tout basés sur la répétition de samples prédéfinis !
Et ces quelques exemples peuvent être étendus à tous les sons du jeu (en dehors de certaines sonorités -les voix- ayant été réalisées en interne). Il n'est donc pas rare de croiser des sons ayant plusieurs origines dans les jeux N64 de cette époque.
Voici quelques exemples de synthétiseurs et banques particulièrement utilisés à l'époque : le Roland SC-88 (vous reconnaîtrez forcément : ), le Proteus FX () ou encore certains samples de Spectrasonic ()
Mais si l'on sait tout ça aujourd'hui, c'est grâce à la mémoire de quelques compositeurs, mais surtout à l'analyse de connaisseurs qui se sont amusés à décortiquer et comparer bibliothèques d'origine et samples. Un travail pas évident quand on connaît leur nombre.
Quiconque ouvrirait aujourd'hui un jeu N64 pour en extraire les sons aura un mal fou à en déterminer l'origine. Déjà, les versions émulées des jeux ne prennent pas en compte la différence entre MIDI, mp3 etc. il s'agit d'une partie "encapsulée" dans le code, lue telle quelle.
Pour savoir quels morceaux sont enregistrés et lesquels utilisent un assemblage MIDI/samples, il faut faire du reverse engineering et "casser" l'encapsulage de la ROM pour extraire des équivalents des fichiers originaux.
L'opération en elle-même n'est pas toujours très précise. À titre d'exemple, j'ai actuellement devant moi 1758 fichiers .wav extraits de la ROM de Zelda OOT, avec SFX, percussions, mais aussi samples et instruments virtuels. C'est énorme et beaucoup de fichiers sont des doublons.
La partie technique est une chose, mais parlons esthétique. Tous ces sons ont des origines variées et intéressantes. Mais il est aujourd'hui impossible, à moins de faire une chasse au trésor (déjà entamée par certains), de connaître avec précision les banques employées.
Là où on peut, pour la SNES et la GameBoy, s'appuyer sur des données très fiables et déterminées pour retracer le travail stylistique des compositeurs, il est impossible de faire pareil pour la N64 : chaque studio, chaque jeu, a eu un fonctionnement différent vis-à-vis du son.
Je précise que l'intérêt, pour certains, de trouver l'origine de ces sons, est d'avoir accès à une version de meilleure qualité : un sample prend plus de place qu'une forme d'onde, la plupart étaient donc compressés pour tenir sur les cartouches.
Et encore, je n'ai pas ici parlé des méthodes d'intégration. Car il faut tout de même reconnaître deux points positifs sur le format cartouche de la N64 : 1) l'absence de temps de chargement. 2) MusyX
MusyX était un logiciel développé par Factor 5 en 1999, qui visait à faciliter le travail de composition et d'intégration de sons ayant plusieurs origines différentes, le tout en donnant un aperçu du résultat tel qu'il se présentait sur la console.
C'était à l'époque une grande première, puisque jusqu'à ce moment-là, il était difficile de se faire une idée du rendu final d'une composition sans passer par une cartouche (cela provoquait alors des allers-retours particulièrement fastidieux).
Ici, pas (autant) besoin de se prendre la tête. Toute l'infrastructure musicale est directement créée dans MusyX avant d'être intégrée dans la cartouche. La planification de l'interactivité est même simplifiée grâce à certaines fonctions (de priorisation des voix par exemple).
Mais pour nous, les choses ne sont pas facilitées : comme tout bon software de développement maison, MusyX reste assez mystérieux... De même que les productions qui en sortent, supportant différentes façons de faire.
Parviendrons-nous un jour à analyser à plus grande échelle la musique sur N64 ? Je n'en sais rien. Mais grâce à ces recherches, je me suis retrouvée à comparer Tina Turner et Yoshi's Story à 23h l'autre soir, et les gens ne savent plus trop quoi penser de mes goûts musicaux.
Sur ce, c'est pas tout, mais il faut que je change de coupe de cheveux. La prochaine fois, on parlera (ou pas), du streaming sur Gamecube et de pourquoi ça n'en était pas. Bonne fin de jour férié à tous. :D
La bascule continue ! Le thread a été ajouté aux articles de mon site : cactuceratops.wordpress.com/2020/01/07/le-…
