Na místě současného litomyšlského hřbitova se v 17. století rozkládaly zahrady, kde se údajně scházeli nekatolíci z města i okolí. Tehdejší majitelka panství hraběnka Marie Anna Trauttmansdorffová tomu chtěla zabránit a nechala zde proto postavit katolický poutní kostel zasvěcený sv. Anně. Kostel byl postaven v raně barokním stylu na půdorysu kříže v letech 1670-1672, pravděpodobně podle projektu tehdejšího trauttmansdorffského stavitele Antonia Alfieriho. Hlavní oltář s obrazem sv. Anny pochází až z roku 1795, zatímco boční oltáře jsou původní z doby výstavby kostela. Koncem 18. století byl kostel stavebně upravován a opraven byl také r. 1878.
Již od 17. století se kolem kostela příležitostně pohřbívalo, častěji pak od doby Josefa II., který zakázal pohřbívání uvnitř městských hradeb. S konečnou platností sem byl hřbitov přestěhován r. 1831 a kostel sv. Anny se od té doby označuje jako hřbitovní. Na hřbitov se vstupuje z Prokešovy ulice monumentální novorenesanční branou z roku 1897.
