За программное декодирование будет отвечать аудиокодек, идущий вместе с вашим программным видеоплеером (лично я рекомендую MPC-HC в составе K-Lite Codec Pack Mega). За цифро-аналоговое преобразование - HDA кодек Realtek ALC1150.
Подключение по "аналогу" следующее:
Front-out - да, это фронты - кабелем "Jack 3.5 mm - 2 RCA" в усилитель. Вход без разницы, но лучше "CD".
Center/SW - центральный и сабвуферный каналы - таким же кабелем, но задействуете только один RCA, его в ресивер в гнездо CENTER в секции MULTI CH INPUT (попробуйте RCA-выходы кабеля попеременно - выяснить, какой из двух CENTER можно с помощью проверки в панели Realtek кликом мышки на колонку центр.канала).
Rear-out - в панели Realtek называются "Выход на тыловые динамики". Снова таким же кабелем в SURROUND той же секции MULTI CH INPUT в ресивере.
Примечание: когда втыкаете аудиокабель в ПК, Realtek запрашивает, какой выход ему назначить - выбираете соответствующий (ну и в инструкцию к мат.плате смотрите, что как называется). Если ошибётесь с выбором, просто перевоткните кабель - и выберите заново. Выходы обозначены чёрным - красный это, вероятно, совмещённый вход Line-in, Mic-in (он вам не нужен).
(Для стерео, соответственно: оптический S/PDIF-out - и в усилитель).
Получается, понадобится 3 кабеля "Jack 3.5 mm - 2 RCA" (необходимой длины) - необязательно брать какие-то дорогие, тут уж на ваше усмотрение (я для подобных целей брал вот такой - не ахти что, конечно, но сойдёт).