La zona prende la denominazione dalla famiglia Sceriman o Seriman, ricca famiglia di origine spagnola che dovette trasferirsi in Italia per sfuggire alle persecuzioni di cui fu soggetta in patria. Parecchi rappresentanti di tale famiglia entrano  far parte degli ordini ecclesiastici fino ai livelli piu elevati, nonchè nell'esercito austriaco e ungherese. Furono anche utili alla causa della Repubblica Veneziana prestando denaro durante la costosa e faticosa guerra di Candia che Venezia sostenne. La zona in particolare fu sede di una loro abitazione, precedentemente appartenuta alla famiglia Gozzi (da cui invece la denominazione del rio su cui il palazzo si affaccia)

Sulla parete del ponte che da verso il campo dei Gesuiti vi è raffigurata la Madonna indossante una corona e con lo stemma della Scuola della Carità inciso sul petto