La gare d'Ayen était située sur un évitement du bourg. Elle est aujourd'hui l'une des rares de cette ligne encore debout. L'actuelle route passe à l'arrière du bâtiment, ce qui rend difficile son identification au premier abord.