Hrad byl postaven přibližně v polovině 13. století na ostrohu nad řekou Bystřicí. Své dnešní jméno získal asi ve 14. století, ale s velkou pravděpodobností byl dobyt a zničen už během markraběcích válek na konci 14. století. Místy až třináct metrů hluboký příkop a obranný val jsou nyní patrnější než dříve. Vedle zbytků věže jsou v místě zřetelné pozůstatky hradního paláce.

Modrá značka od zříceniny vede do osady Pivonice, místní části Bystřice nad Pernštejnem, a to kolem kaple svaté Anny. Kulturní památka pochází patrně z konce 17. století, ale již v 15. století v místě stávala zvonice. Dnešní podoba kaple je z roku 1771. V roce 1996 byly uvnitř pod omítkou objeveny cenné fresky, které byly později zrestaurovány, v pozdějších letech došlo i na další opravy.

Až pod zříceninu hradu Zubštejn

Modrá značka pak stoupá až pod zříceninu hradu Zubštejn, přičemž ruina se řadí mezi nejvýznamnější středověké památky na Bystřicku. V letech 2009 až 2011 došlo na statické zajištění zříceniny - vznikl dřevěný most mezi předmostím a vlastním jádrem hradu.

Panské sídlo v nadmořské výšce 688 metrů bylo vystavěno zřejmě koncem první třetiny 14. století pány z Medlova (předchůdci pánů z Pernštejna), první zpráva o něm pochází z roku 1344. Původně se hrad nazýval Kámen, latinsky Lapis, později Zubří kámen, tedy Zubrštejn, od toho pak vznikl název Zubštejn.

Zubštejn byl postaven jako sídlo rodové větve a měl za úkol střežit řeku Svratku. Nicméně později málo pohodlný, odlehlý a vysoko položený hrad přestal šlechtickému rodu vyhovovat, takže pánové dali přednost nedalekému Pernštejnu. V roce 1596 je Zubštejn uváděn jako pustý.