Počátky hradu souvisejí s rodem Berků z Dubé, který ve středověku ovládal rozsáhlou část severních Čech. Obec pod hradem je v písemných pramenech připomínána už na konci 13. století, samotné sídlo však podle dochovaných poznatků vzniklo pravděpodobně až kolem roku 1400. Stavitelé využili vysoký pískovcový blok, jehož tvar poskytoval přirozenou ochranu a umožnil vytvořit hrad, který byl z velké části přizpůsoben přímo skále.

V první polovině 15. století zasáhly do osudů Jestřebí husitské války. Roku 1426 se hradu zmocnili husité a správu místa svěřili hejtmanovi Jindřichu Hlaváčovi z Dubé. Po skončení válek se majitelé střídali a hrad se dostal také do rukou Jana Smiřického a později Vartenberků. Jeho význam však postupně klesal. Roku 1547 je Jestřebí uváděno jako pusté, takže obytná a správní funkce hradu zanikla už během 16. století.

Stavební podoba hradu byla úzce spojena s pískovcovým masivem. Část prostor byla vytesána přímo do skály a vrcholová plošina nemusela být chráněna běžnou obvodovou hradbou, protože její okraje tvořily strmé skalní stěny. K nejzajímavějším dochovaným prvkům patří skalní prostory a relikty zařízení souvisejícího s rumpálem, kterým se na hrad dopravoval materiál. Dnešní podoba je ovšem jen zlomkem někdejšího areálu. Pískovec postupně podléhal erozi a skalní bloky byly narušovány také lidskou činností a rozebíráním materiálu.

Změny pokračovaly i v novověku. V 18. a 19. století docházelo k odlamování částí skály a některé úseky pod hradem musely být kvůli padajícím kamenům zabezpečovány. Romantický zájem o zříceniny přivedl na Jestřebí návštěvníky už v 19. století; místo navštívil také Karel Hynek Mácha. Rozpad pískovcového podloží však pokračoval i ve 20. a 21. století. Po zřícení další části v roce 2009 byl areál dočasně uzavřen a následně znovu zpřístupněn po provedení bezpečnostních opatření.

Návštěvník dnes přichází především za neobvyklou kombinací skalního útvaru, pozůstatků středověkého hradu a výhledu do Máchova kraje. Přístup vede z obce a zahrnuje výstup po schodech a členitějším terénem. Na místě je nutná zvýšená opatrnost, zejména za mokra, při námraze nebo při pohybu s malými dětmi. Hrad není rozsáhlým prohlídkovým areálem s interiéry a pokladnou; jde o volně navštěvovanou skalní zříceninu, jejíž hlavní hodnotou je autentická historická lokalita a její poloha v krajině.

Podle aktuální informace obce je hrad přístupný od 1. dubna do 31. října kalendářního roku. Před cestou je vhodné zkontrolovat obecní web, protože přístup se může dočasně měnit podle stavu skalního masivu, počasí nebo nezbytných zabezpečovacích prací. Návštěvu lze spojit s výletem do okolí Máchova jezera, Doks, Provodína nebo dalších míst Máchova kraje.