Obec Krchleby založil asi v roce 1000 rod Krchlebů, kteří zde vystavěli tvrz s dvorcem. Po rodu Krchlebů držel Krchleby až do roku 1227 rod Hrabišiců. Poté přešla tvrz se dvorcem a čtyřmi osadníky do majetku rodu Klimentů. Další zmínka je z roku 1544, kdy Matěj Hložek z Žampachu prodal Krchleby Otíkovi z Bubna, jejichž rod panoval v Krchlebách do roku 1558, kdy byly Krchleby prodány Václavu Hrzánovi z Harasova, který koupil i Potštejn. V té době obec obývalo patnáct osadníků. Roku 1669 patřily Krchleby rytíři Bukovskému z Hustířan; roku 1727 koupil Krchleby Jan Václav Rous z Lipna. Potom se Krchleby staly majetkem rodu Kinských z Kostelce nad Orlicí. Obec Krchleby tvořila později součást obce Chleny, svůj obecní majetek však spravovala samostatně. Roku 1932 byla od Chlen odloučena.