寿永3年（1184年）1月20日、鎌倉の源頼朝と義仲の抗争が起き、義仲は滅びた（宇治川の戦い）。その間に平氏は義仲に奪われた失地を回復し、勢力を立て直して摂津国福原まで進出する。しかし、頼朝の弟の範頼・義経に攻められて大敗を喫した（一ノ谷の戦い）。この戦いで平氏は一門の多くを失う大打撃を蒙った。

平氏は屋島に内裏を置いて本拠とし、平知盛を大将に長門国彦島にも拠点を置いた。平氏はこの拠点に有力な水軍を擁して瀬戸内海の制海権を握り、諸国からの貢納を押さえ力を蓄えていた。一方の鎌倉方は水軍を保有していなかったため、どうしても彦島・四国攻めに踏み切れず、休戦が続いた。

元暦元年（1184年）12月、盛綱は平氏追討の為備前国児島に在り、7日には平行盛が率いる五百余騎が篭もる城を攻め落とす。この合戦は藤戸の戦いと呼ばれ、『平家物語』にも描かれており、島に篭もる行盛に対し、漁師から馬でも渡れる浅瀬を聞き出した盛綱が、藤戸の海峡の波を馬で乗り越え先陣を切って攻め入ったとされる。なお地元ではその漁師を口封じの為に殺したと伝わる。それを題材として、謡曲「藤戸」が作られた。

　寿永三年（1184年）九月（『吾妻鏡』によると合戦は十二月）、一ノ谷の合戦に敗れ、屋島に退いた平家を追討するべく、源範頼を大将軍とする源氏軍は西国へ向けて出発します。源氏軍の動きを察知した平家軍は資盛・有盛・忠房を大将軍に、越中次郎兵衛盛次、悪七兵衛景清らを侍大将として備前国小島（児島）に進出、源氏軍も藤戸に陣を取ります。源平両軍は二十五町を隔てて対峙しますが、船のない源氏は平家を攻めることができません。しかし、源氏の武将佐々木三郎盛綱は地元の漁夫から浅瀬の場所を探り、馬で海を渡して先陣に成功。意表をつかれた平家軍は屋島へと後退する。

藤戸寺は天平年間に行基によって創建されたと伝えられる古刹。藤戸の合戦で先陣を飾った佐々木盛綱は、漁夫から浅瀬の場所を聞き出した後、この秘密を独占するために漁夫を刺し殺し、首を斬って海へ捨ててしまう。後年、恩賞として児島郷を給された盛綱は藤戸寺を修築し、合戦の戦没者と殺した漁夫の霊を慰めるため、当寺において大法要を行った。

現在、児島は岡山市、倉敷市、玉野市と灘崎町に分かれています。児島は難波津（大阪）と那ノ津（福岡）のほぼ中間に位置し、本州との間の内海は吉備の穴海（アナノウミ）と呼ばれ、古来より重要な航路でした。

元暦2年（1185年)2月、義経は摂津国の水軍渡辺党と熊野別当湛増の熊野水軍そして河野通信の伊予水軍を味方につけて、摂津国渡邊津に兵を集めた。

佐々木盛綱
佐々木 盛綱（ささき もりつな）は、平安時代末期から鎌倉時代初期の武将。加地 盛綱とも呼ばれる。

近江の宇多源氏佐々木氏棟梁である佐々木秀義の三男として生まれる。幼名（初名）は父の１字を取って秀綱（ひでつな）といった。源頼朝に伊豆の流人時代から仕え、その挙兵に従い治承・寿永の乱で活躍。備前国児島の藤戸の戦いでは、島に篭もる平行盛を破った。

平家滅亡後、源頼朝と弟の源義経との間で対立が深まっており、そうした中の文治元年（1185年）10月24日、頼朝は父である源義朝の供養を行い、盛綱もそれに列している。文治2年（1185年）10月24日、甘縄神社へ参拝した頼朝に随行する。文治4年（1187年）7月10日、源頼家が初めて鎧を着る儀式に加わる。建久元年（1190年）8月15日、頼朝の鶴岡八幡宮参拝に随行する。

戦国時代には塩飽水軍と呼ばれ、勢力を持っていたと考えられている。

織田信長は天正5年（1577年）に堺へと入港する塩飽船に対し他国船は航路を譲る事を命じ、豊臣秀吉は天正14年（1588年）の九州征伐に際して兵を運ぶ船を出させ、天正18年（1590年）には船方650人を御用船方（ごようふなかた）とし、本島、広島、与島、櫃石島、手島、高見島、牛島の塩飽七島1250石を与える。徳川家康も関ヶ原の戦い直後の慶長5年（1600年）9月28日に、大坂城西の丸で秀吉と同様に船方に塩飽七島を安堵し、塩飽諸島は自治領として江戸時代を過ごす事となる。