故人(被相続人)より先に相続人が亡くなっていたり、相続人が相続する資格を失っている場合は、その子供が相続人である親の代わりに相続することができます(代襲相続)。代襲相続できるのは、相続人の直系卑属(子や孫など、自分より後の世代の直通する系統の親族)です。子、孫、ひ孫と、代襲相続は続きます。
既に死亡した相続人が、被相続人(故人)の兄弟姉妹にあたる場合、代襲相続するのは甥、姪までです。甥、姪の子どもは代襲相続することはできません。また、直系尊属(母・祖父母など自分より前の世代で直通する系統の親族)は代襲相続できません。
今回は、被相続人である父親が亡くなる前に、質問者の弟(故人の息子)が亡くなっています。そのため、質問者の弟の子ども(故人の孫)が代襲相続することができます。ただし、質問者の弟の妻(故人の義理の娘)は代襲相続をすることはできません。これに法定相続分を当てはめて考えると、被相続人である父親に、質問者(兄)と、既に亡くなった質問者の弟しか相続人がいない場合は、質問者と質問者の弟の子どもが、それぞれ2分の1ずつ相続します。