Для 3D эффекта достаточно грамотно выстроить панораму, при этом достаточно всего 2-х колонок, САБ как правило только мешает. Почитайте о бинауральном эффекте (в сети есть ряд записей, как тестовых, так и концертных) - эффект лучше любого многоканального звука! Что касается форматов - лучше всего FLAC, т.к.APE - уже умер (его поддержку сворачивают, да и максимум что может дать ape это 96kHz, у FLAC предел 192kHz, к тому же он более распространенный, в силу своей бесплатности (у ape есть какие-то ограничения на коммерческое распространение или что-то типа того)).
Есть еще ряд новых форматов вроде WAvePack ( *.WV) и Tom's lossless Audio Kompressor ( *.TAK ) - но пока что они скорее экзотика. Кроме того никто не отменял обычный WAV. Ну а если хочется именно многоканальную акустику - тогда пожалуй единственное решение это DTS. Записей в этом формате мало, они крайне редкие, но найти можно... Во всяком случае DTS это именно формат многоканальной записи, то есть параллельно на несколько дорожек, обычно 6 ( для системы 5.1) или 8 ( для 7.1 соответственно ). У меня когда-то был альбом Русского Размера в DTS 5.1 - ничего так, но качество самой записи не сильно высокое, а вот размер весьма приличный. Так что советую смотреть в сторону FLAC или WAV.
По поводу плеера (если речь идет о программе под WINDOWS) - тут, если звуковая карта позволяет, лучше всего AP2 (Album player) или CMp2 (он же CPlay) - оба работают с картой напрямую через ASIO, без всяких DirectX-ов и каких-либо обработок, т.е. что было записано - то и услышите. Народ еще хвалит foobar - но по звуку он заметно уступает тому же AP2 (на мой взгляд), да к тому же там надо копаться в настройках чтоб заставить его хоть как-то прилично петь...
( лично я использую плеер AP2 под Windows 7, звуковая карта ESI Juli@, вывод через ресивер SONY STR-DB795QS на колонки Indiana Line Arbour 4.04 либо на наушники GRADO SR80i, музыка вся во FLAC 192kHz/24bit - звучит, скажу, отменно! )