Comme le suggère le titre, Trois rivières comporte trois mouvements. Le premier présente une gamme assez vaste d'instruments, mais donne la primauté aux timbres et résonances plutôt qu'aux éléments rythmiques. Le deuxième mouvement constitue la partie centrale de l'œuvre, celle qui ajoute l'aspect rythmique aux textures coloristiques. Le troisième mouvement encadre le deuxième de façon symétrique par rapport au premier. Les quatre musiciens récitent au cours de l'œuvre le poème La Nuit de lune sur le fleuve (en traduction française) du poète chinois Li Po (701-762).