Durante gli scavi compiuti nel 1905 nella cripta della chiesa si rinvennero dei mattoni con una marca di fabbrica che risultò essere quella di re Teodorico (493-526 d.C.). Il luogo in cui sorge la Basilica era anticamente un’area cimiteriale fuori dalle porte della città, lungo la via di Roma: ancora oggi murate sul fianco destro della chiesa vi sono alcune lapidi funerarie, pagane e cristiane, provenienti dalla vecchia necropoli. Della fase romanica S. Calimero conserva, esternamente, l’abside e il fianco destro che presenta un paramento di mattoni a vista inframmezzati da corsi disposti a spina di pesce. Un elemento particolare è il campanile, la cui cella campanaria è frutto di ricostruzione secentesca. Oggi è possibile ammirare la bellezza suggestiva e raccolta dell’ambiente, dall’architettura sobria, con ampia navata, terminante nella dolce linea incurvata dell’abside.