Ce château a gardé le nom de la famille qui habitait la propriété au début du XVIème siècle. Dès la fin du XVIème siècle jusqu’au XXème siècle il appartint à la famille de Fortis. En 1863, Tancrède de Fortis transforma Rossignol en château. Le blason de la famille portait la très belle devise :  « Noble comme le lion, Industrieux comme l’abeille, Juste comme la balance ».