鷗外は明治二十五年一月、千朶山房から北東に約４００ｍ先の本郷駒込千駄木町二十一番地（現在・文京区千駄木１－23－４）に転居した。六月になって、隣地の梅林（十九番地）を買い、敷地を三百二十坪（1,056㎡）に広げた。長男・森於菟の「観潮樓始末記」（『父親としての森鷗外』）によると、「この土地は根津権現の裏門から北に向う狭い道で団子坂上に出る直前の所で、東側は崖になって見晴しがいい。根津に近い方は土地がひくく道の西側は大きい邸の裏手に面し、当時昼なお暗く藪下道といわれていたが、団子坂上に至る前はしばらく上り坂になってその先はとくに景勝の地を占めているのである。父の買い入れた土地には初めから、三間と台所から成っている古びた小さい板葺の平家とその北側に離れて土蔵一棟があった。父の家族は狭いながら一応この家に入り、その後に平屋の後方の長屋二軒と梅林とを買い入れ、ここに二階建の観潮樓を建てた」とある。
鷗外の庭づくりは入居からほどなく開始されたようだ。記録としては、『観潮樓日記殘缺』に記され、九月十八日に「芭蕉二株を樓の前に植ゑたり。庭のさままだ整はねど、これにて一隅のみ片付きぬ。」とある。観潮樓の前に芭蕉が二株植えられたのが記録としての始まりである。当時は、家の側に芭蕉を植えるのは、風流で洒落ていると思われていた。以後、急ピッチで庭づくりが進む。それは三十日に、観潮樓で陸軍衛生部の茶話会が開かれる予定があったからだ。二十八日には、雨にもかかわらず、植木屋や石屋の職人が大勢動員され、工事を進めたがあまり進捗しなかった。それでも、翌二十九日には、「籬を結はせ、戸口の前に石を据ゑさせなどす。」とある。入口付近に垣根が回され、大きな石も配置され、どうやら格好がついたようだ。三十日の日記には、「石黑忠直君以下八名夾り會す。幸に天氣好かりき。」と、無事に会を催している様子が記されている。
鷗外の庭の工事は、敷地の売買の仲介をした団子坂下の植木屋・千樹園が行っている。庭のデザインは、路地風の平庭で、鷗外の父、静男の意向を反映したものと思われる。この工事で力を入れてつくられたのは、玄関から藪下通に面した門までで、その他は、増築した部分に対応して木を植えたり、垣根を巡らしたのではなかろうか。実際、玄関先の右手にあるイチョウは明らかに以前からあったもので、垣根はその木を取り込むように組まれている。
庭の植木を見ると、仕立物の松や手入れの難しい樹木は植えられていない。また、庭の要と目される「滅多にないような丸い滑らかな大きな大きな石」（「三人冗語の石」三人とは森鷗外・幸田露伴・斎藤緑雨）も、庭石としての価値はさほどないと思われる。したがって、当時の流行であった文人趣味のアオギリを植えたりして、一応、庭の体裁を整えたものの、全体としてはあまりお金をかけない庭づくりであった。
写真は、五年後の明治三十年に撮影されたもの。鬱蒼とした森の中にでも居るようだが、この部分の奥行きは７～８ｍ程しかない。鷗外の右奥にある最も太い木がアオギリ、そのさらに奥にハクモクレンがある。緑雨が寄りかかっている木はモミジ、他にツバキやモチノキなどの中高木が植えてある。鷗外の後ろの灌木はアセビ、足元や石のそばに生えているのはクマザサであろう。落ち着いた感じのする庭である。建物の間取りについては、娘茉莉の『父の帽子』に幼い頃の思い出と共に記されている。
「父の部屋の北隣りに花の庭に面した明るい六畳があり、寝る部屋、茶の間などと平行して三畳の小部屋、裏玄関、台所が続き、裏玄関は茶の間と背中合せになつてゐた。
裏玄関から飛び石伝ひに団子坂通りに向つて開いて、格子戸を嵌めただけの裏門があり、飛石の左側が四つ目垣を距てて花の庭、右は建仁寺垣を境に台所の前の空地で、其処には物置と裏門に並んだ別当（馬丁）の住居、続いて二つの馬小屋があった。家の北側は、海津質店、物集家、生薬屋、八百屋等が左から、洋間、台所、三畳は右からと、左右から切り込んだ凸凹の空地になつてゐて、物集家との境には大きな無花果の木があり、見上げると青い葉が空を蔽つてゐた。
茶の間と洋室とで鉤になつた一角に、母屋から離れて小さな湯殿があり、洋室に向いた側には細い板を並べた窓があつて冬でも簾が、下つてゐた。
南の茶庭は長く続いた垣根を距てて殆ど家の半面を巡つてゐる酒井（子爵）家と隣り合ひ、西は花畑とこれも垣根を距てて野村酒店に隣り合つてゐた。
洋室から表玄関に出る廊下の左側に、二階へ上る階段の真暗な入口があり、二階は十畳の一間で、この部屋を北から西へ廻る廊下の行きどまりの壁には小さな窓があつた。」（『父の帽子』「幼い日々」より）
鷗外一家が住んでいた頃、観潮樓の風格を増すように蔦が覆い繁っていた。この蔦については、於菟が『父親としての森鷗外』「観潮楼始末記」に、
「私の滞欧中の関東大震災で傷んだ家を修理するとき、観潮楼にからむ蔦の根を切った。この蔦は父が初め階下の八畳の洋間、それも木造であるがその窓下に三本植えたのが年々蔓を延ばして、当初は洋室の外側を包ませるだけのつもりが二階の外廓から屋根までおおって、観潮楼に古城のごとき趣を添えた。
しかし蔦は家の保存のためにはあまりよくない影響を与え、根から吸い上げる水分のために、また降りかかる雨がいつまでも乾かぬために、羽目板を腐朽させた。とはいえ楼に見事な外観を与えたこの蔦の枯れたのは、あとから考えれば私がこの由緒ある観潮楼をつぐにふさわしからぬ者であることを告げる凶兆であったといえるかも知れない。」と書き残している。
