В 1583 г. Тоётоми Хидэёси построил на берегу реки Ёдогава крепость - Осакский замок. Тоётоми Хидэёси думал, что страна должна обладать одним главным замком, таким, чтобы он олицетворял могущество и величие новой власти. Для строительства выбрали Осаку. Свой замок Хидэёси решил возвести на месте знаменитого буддийского храма Исияма и прихрамового города. Важным для Хидэёси было и то, что тут располагалась одна из первых и древнейших столиц Японии - Нанива (Кё).

Осенью 1583 года началось строительство замка в Осаке. Уже к лету следующего года сделали основные фортификационные работы. Еще через год сделали главную башню замка. Каждый день в строительстве учавствовали 20-30 тысяч человек. Каждая провинция, которая была под властью Хидэёси, должна была принимать участие в этой огромной стройке.

Впервые в таком объеме в строительстве применяется камень. Замок полностью был сложен из камня. Со всех концов страны от даймё, желавших угодить Хидэёси, доставляли камни больших размеров. Камень брали в горах провинций Кавати и Харима, а также на островах Сэто найкай - Внутреннего Японского моря, а потом по воде поставляли на стройку. В дело шел камень из стен близлежащих буддийских храмов и монастырей, надгробные плиты старых могил.