A priori, s'il te manque le dossier /usr/src/kernel c'est parce que tu n'as pas les sources d'installees.
Donc si je me trompe pas, un petit :
yum install kernel-devel
devrait resoudre ton probleme.
Par contre c'est bizarre, je me souviens pas en avoir eu besoin pour ma carte wifi...