弘長2年（1262年）、実時は鎌倉から六浦荘金沢へ本拠を移した。六浦は鎌倉と房総を結ぶ海上交通の要衝であり、実時はこの地に自邸を構えた。持仏堂の建立は正嘉2年（1258年）に遡るが、文永4年（1267年）に下野薬師寺で修行した審海上人を招請して開山とし、真言律宗の寺院として称名寺は正式に発足した。
審海は奈良・西大寺を本拠に戒律復興運動を推進していた叡尊（興正菩薩）の法流を直接受けた僧侶であり、実時が単なる菩提寺の建立にとどまらず、当代の宗教改革の最前線にいた一流の学僧を招いたことは注目に値する。
実時は北条得宗家の連署を務める幕府中枢の権力者でありながら、公務の傍ら漢籍・仏典・和書の蒐集に精力を注いだ。祖父・北条義時から受け継いだ書物を基礎に、宋から渡来した漢籍や京都の公家から譲り受けた古典を加え、武家としては異例の規模の蔵書を形成した。
その書籍群を収めた私設図書館が金沢文庫である。約2万点に上る蔵書は中世日本最大の知の集積とされ、建治2年（1276年）に実時が53歳で没した後も、子の顕時・孫の貞顕の二代にわたって継承・拡充された。現在の神奈川県立金沢文庫（博物館）はその後継機関として称名寺に隣接し、収蔵資料の研究・公開を今も続けている。