9月4日清晨，天还没有完亮，松永久秀却已经等待不及，对着二之丸展开猛攻。同时，他还派出了使者，请求三好义贤也出兵进攻——就算三好军还是要划水，至少帮他牵制住雨秋平的部分兵力。
三好义贤明白，如果松永久秀不能在今天中午之前拿下观音寺城，这一次的作战就失败了。因此，他也没有再袖手旁观，而是亲率军队猛攻二之丸的西门。
在这样的局势下，二之丸的城墙坚持到了辰时七刻就宣告沦陷。不过，织田家在雨秋平的指挥下依旧没有任何慌乱，彼此互相掩护，退入了二之丸和本丸之间的阵地。
不过这一次，由于整个二之丸的城墙都已经沦陷，而二之丸和本丸之间的空间又谈不上宽敞，三好军和松永军可以站在城墙上，居高临下地用弓箭压制织田军在凸出部高层建筑内的远程兵。在弓箭的掩护下，三好家和松永家的进展神速，仅用时一个时辰就夺下了二之丸和本丸之间的街区。
此时，雨秋平终于不再退却——再往后就是天守阁了。织田家的上万大军坚守在本丸上，把狭小的本丸守得密不透风。三好家和松永家轮番冲击，却也难以攻克，时间已经接近午时。