La zona ha varie denominazioni. "Tole" deriva dal fatto che qui c'erano molti magazzini di tavole e assi di legno. Per quanto riguarda Barbaria una prima ipotesi è che si riferisse ad una zona poco sicura e selvaggia, da cui deriverebbe oggi il significato di "barbarie". Altra ipotesi è che qui ci fossero varie botteghe di barbieri, altra ancora è che il commercio delle tavole fosse effettuato da montanari all'epoca considerata gente burbera e barbara. Ultima, e sembra la più realistica, è che molte della tavole che si conservavano nei magazzini qui presenti fossero destinate ai paesi della Barbaria, zona che comprende gli odierni stati del Marocco Algeria e Tunisia.

Lungo la barbaria si possono ammirare degli stemmi e rilievi: