Pra quem não conhece, o fluxbox é gerenciador de janelas, assim como o Gnome ou o KDE, só que muito mais simples e leve.
Para que as teclas de multimedia funcionem no Fluxbox, basta editar o arquivo .fluxbox/keys e adicionar as seguintes linhas:
XF86AudioRaiseVolume :Exec amixer set Master,0 5%+
XF86AudioLowerVolume :Exec amixer set Master,0 5%-