С середины Х века Блуа и его окрестности становятся владением могущественных феодалов - графов де Блуа, вассалов короля Франции, они же - графы Тура и Шартра, затем Шампани, которые много раз переделывали укрепленный замок. От мощной крепости, воздвигнутой в XIII веке, сохранились лишь угловая башня, часть крепостной стены, отдельные башни, включенные в позднейшие постройки, а также большой зал графов де Блуа, предназначавшийся для собраний и празднеств.
В конце XIV века графство Блуа было продано принцу Людовику Орлеанскому, сыну французского короля Карла V. Это событие предопределит блестящее будущее города Сын Людовика, поэт Шарль Орлеанский, после возвращения из многолетнего английского плена прожил в замке 25 лет, собрав вокруг себя небольшое изысканное общество литераторов и поэтов.
Однако история Блуа связана преимущественно с именем внука Людовика Орлеанского, который в 1498 году стал королем Франции под именем Людовика XII. Уроженец Блуа, Людовик XII, решил обосновать здесь свою резиденцию. Небольшой город Блуа стал таким образом королевским городом и был столицей королевства в течение определенного отрезка XVI века. Такой выбор был прекрасно оправдан, так как и город, и его окрестности находились тогда в пышном расцвете, а население их было целиком и полностью предано герцогам Орлеанским, которые способствовали развитию этого района.
Во времена Шарля Орлеанского, и особенно Людовика XII и Франциска I, город Блуа переживает блестящий взлет, но после смерти королевы Клод де Франс (1524 г.) и жестокого поражения при Павии (1525 г.) Франциск I больше никогда не возвращался в Блуа; его преемники останавливались здесь только на короткое время.
В XVII веке в городе наступило некоторое оживление благодаря длительному пребыванию в замке (1634-1660) Гастона Орлеанского, младшего брата Людовика XIII.
В XVIII веке замок Блуа был покинут королями. В нем нашли себе приют старые верные вассалы короля; он был разделен на небольшие жилые помещения и содержался в плачевном состоянии; сады также были раздроблены. В 1788 году Людовик XVI приказал продать замок или, за отсутствием покупателя, разрушить его. Спасло замок только его переоборудование в казарму.
Во время и после Революции некоторые памятники Блуа были повреждены и частично разрушены. Замок также пострадал от вандализма: все эмблемы и изображения, напоминавшие о королевской семье, были уничтожены. Печальная участь замка длилась всю первую половину XIX века. Он претерпел множество переделок во время военной оккупации, и лишь начиная с 1845 года архитектором Дюбаном была предпринята обширная реставрация, осужденная в настоящее время как чрезмерная.