A 646 m. sul livello del mare, sorge in cima ad un colle del Subappennino Dauno Meridionale dal quale si ammira un paesaggio assai vario, dalla piana del Tavoliere al promontorio garganico ad est ai monti dell'Appennino Irpino ad ovest. Antichissima città della Daunia, nota un tempo con il nome di Vibinum, fu più volte distrutta a causa della sua posizione strategica che la rendeva una importante postazione militare. Con l'arrivo dei bizantini nell'Alto Medioevo questo sito, come gli altri arroccati sul rilievo subappenninico, fu fortificato e ricostruito perché assolvesse ad una funzione difensiva e di controllo. Dovette però subire, nei secoli successivi, assalti, incendi e devastazioni soprattutto ad opera dei Longobardi. I terremoti del 1851 e del 1930 mutilarono parte del suo patrimonio artistico e architettonico, tuttavia restano tracce del suo passato nella cinta muraria di epoca romana e nell'imponente castello eretto sui ruderi di una fortezza romana e trasformato più tardi in Palazzo Ducale.