Simone e Mino appartenevano alla nobile famiglia senese dei Pannilini originaria di Cana in Maremma e trasferitasi a Siena ove risulta iscritta all'arte dei 'panni lini' all'inizio del xv secolo. Tra i personaggi di spicco della famiglia si distingue Simone di Pietro il quale ebbe anche incarichi pubblici tra cui quello di Capitano del Popolo. L'acquisto della Fratta costituisce il punto di arrivo della cospicua fortuna economica accumulata durante i suoi traffici e derivata anche da prestiti di denaro come sembra dimostrare l'istituzione in feudo della Fratta nel 1469 fatta da Re Ferdinando di Napoli a suo favore e a quello di suo fratello Mino e loro discendenti.
Da una rilevazione del luglio 1988 emerge una lapide sulla facciata della villa della Fratta con inciso: "A Simone e Mino Pannilini / mercanti / l'anno MCCCCLXIX / Ferdinando d'Aragona / Re delle Due Sicilie / istituiva in feudo / la Fratta / così gratificando / il denaro fornitogli / per guerreggiare i francesi".