První zmínka o zdejší vsi je až z roku 1339, protože zemské desky z předchozích let shořely. Tehdy část příslušela Brandýsu nad Orlicí a část náležela místnímu zemanskému rodu. Hynek z Rájce držel Rájec v letech 1406-1449. Pravděpodobně zde byla v nejvyšší části i tvrz. Od 16. století patřil Rájec k Přestavlkám a vystřídalo se zde několik majitelů; Matěj Hložek z Žampachu, Otík z Bubna, Zdeněk ze Žampachu a Friedrich z Oppestdorfu. Od roku 1627 patřily obě vesnice Janu Otíkovi Bukovskému z Hustířan a po něm jeho synům. Rod tu sídlil celé století. Bukovští prodali svůj majetek roku 1727 Václavu Rousovi z Lipna a jeho manželka prodala přestavlcký statek roku 1762 Elišce Carviani z Kostelce nad Orlicí a tím se obce dostaly k panství kosteleckému.