Современник А.Стахович сказал про него: “Немногие умные и даровитые люди провели так бурно, бесполезно, порой преступно свою жизнь, как провел ее Американец Толстой, бесспорно, один из самых умных современников таких гигантов, как Пушкин и Грибоедов”. Однако раздавались и другие голоса. Так, В.А.Жуковский, узнав о смерти графа, писал А.Я.Булгакову: “В нем было много хороших качеств. Мне были лично известны только хорошие качества. Все остальное было ведомо только по преданию, и у меня к нему лежало сердце, и он был добрым приятелем своих приятелей”.
Пожалуй, наиболее рельефно характер графа Ф.И.Толстого запечатлен в следующих стихах П.А.Вяземского:
Американец и цыган,
На свете нравственном загадка,
Которого, как лихорадка,
Мятежных склонностей дурман
Или страстей кипящих схватка
Всегда из края мечет в край,
Из рая в ад, из ада в рай,
Которого душа есть пламень,
А ум – холодный эгоист,
Под бурей рока – твердый камень,
В волненьи страсти – легкий лист.