1/ juste pour l'info, au lieu de faire un aliase pour /home/olivier/www tu aurais pu activer la directive
UserDir qui réalise automatiquement un aliase pour chaque utilisateur vers un sous-répertoire de ton choix (public_html par défaut, mais www si tu préfères) :
<IfModule mod_userdir.c>
UserDir www
</IfModule>
C'est vrai que si tu es le seul utilisateur ça ne fait pas beaucoup de différence.
2/ pour ton problème, apache doit pouvoir traverser TOUT les répertoires, notament /home/olivier, ce qui n'est pas le cas par défaut.
Donc
chmod o+x /home/olivier
Le droit 'r' n'est pas nécessaire (sauf si tu veux pouvoir visualiser le contenu de tes dossiers).
A+