Что касается до посторонних людей, то уже в 1829 году, еще не ездивши за границу, он по поводу разнообразных советов, даваемых ему со всех сторон насчет его путешествия, писал своему другу и истинному воспитателю, живописцу Рабусу: «Мнения людей, советчиков, не хочу придерживаться; трудно, не зная дела, слушать их советы, противоречащие между собою». Целых двадцать лет спустя, он пишет в 1848 году своему младшему брату Сергею: «Возьми себе один раз навсегда за правило — действовать согласно с твоим собственным убеждением, а мнения других не иначе принимать, как перебрав их строжайшей критикой со всех сторон». На основании такого правила он и сам поступал в продолжение всей своей жизни. Общество поощрения художников весь свой век (особливо 30–40 лет назад) считало своим долгом не только помогать художникам материальными средствами и давать деньги тем из них, у кого их не было — что действительно было прямою его обязанностью, но еще вмешивалось в их художественную жизнь и деятельность и поминутно спешило умудрять русских художников назиданиями, требованиями и взысканиями. Оно не положило охулки на руку и в отношении к Иванову и поминутно посылало ему разнообразные советы и наставления. Но если Иванов, глубоко и искренно любя свое семейство, все-таки никогда не слушался его в делах житейского и нравственного свойства и постоянно давал каждому из родных по отпору, то точно так он никогда не слушался и Общества поощрения художников, даром что много лет сряду зависел от его благоволения и капризов в материальном отношении. Письма его в это Общество — это ряд мягких фраз и жестких отпоров. Задает оно ему сюжеты — он их не принимает; уговаривает оно его оставлять на время в стороне большие работы и писать маленькие картины для его лотерей, он все это тотчас же отводит от себя решительною рукою — и продолжает делать по-своему. Он пишет однажды, в конце 1832 года, сестре своей из Рима: «Я работаю более для удовлетворения желаний собственных, т. е. чтобы удовлетворить вечно недовольный глаз, нежели для снискания чего». С такого человека взятки гладки — его не доймешь никаким советом, никаким требованием и взысканием. В 1838 году Иванов пишет Обществу: «Изъявляя совершенную благодарность и полное довольство высоким моим покровителям за милостивое их жалованье, я в то же время, следуя откровенности, с которою они дозволяли мне выражаться еще инструкцией, не могу не заметить, что их желание торопить меня моим огромным трудом мне кажется не совсем понятным. У меня не только каждый день, — каждый час на отчете, а дело идет медленно. Беспрестанно сравнивая себя со всем, что Рим и Италия имеют классического и высокого, я всегда остаюсь в каком-то заботливом недовольстве, иногда в отчаянии. Нет черты, которая бы не стоила мне строгой обдуманности. Для окончания такого труда, я смею уверить, что нужно более времени, чем предполагают высокие мои покровители. Где ж я найду способы к его окончанию? Почтеннейшее Общество мне объявляет, что последняя их помощь есть окончательное от них пособие: собственных денег у меня нет, чтобы полупешему дойти до дому. Я с прискорбием вижу 1840 год». Как он смотрел на «своих покровителей», видно из следующих двух писем. В одном, к отцу, 1841 года, он говорит: «Мне недавно случилось прочесть отчет Общества поощрения художников: они имеют 15000 в год — сумма эта в руках одного умного и одаренного чувством изящного могла бы весьма много значить. Но у них она бог знает как расходится. Меня они оставили на половине дороги, сказав, что у них есть другие молодые люди, достойные пенсионерства. Бакуниной они выдавали почти то же, что и мне, в продолжение трех лет — деньги совершенно пропащие. Мелких пенсионеров у них много, из которых ни один не будет что-нибудь значить. Они очень щедры на словесные одобрения: я, например, напечатан там весьма красиво, а в голове у меня беспрестанное недоумение, каким образом продолжать труд мой, весьма нравящийся, всеми славимый?» В другом письме, к Г. П. Галагану, 1842 года, он говорит: «Я получил от Общества бумагу, и вот она, разберите ее: тут как будто два человека — один благонамеренный, а другой — мерзавец. Если бы письмо было все в духе сего последнего, то я бы послал им чертеж с предложением написать для них картину, тот момент, когда распятый Христос, на испрос утолить жажду, получает в свои уста губку, наполненную горчицей. Я страдаю глазами уже целый год, не знаю, когда это кончится. Но если богу будет угодно высвободить меня из этого положения, то уже, разумеется, я все силы употреблю, чтобы скорее кончить мою большую картину, оттолкнув в сторону все, к ней не относящееся; а они хотят любовь к ней разорвать другою и называют это убийство отдыхом и легким упражнением моей кисти! Да какое это легкое упражнение? У меня его совсем нет. Я не Вернет и не Подести: всякий труд мой ровен, с разницею, что для малого размера картины меньше нужно времени на ее исполнение. Да потом еще повторяют мне самое обидное, что хотят помочь мне, не отнимая от других художников своего покровительства. Возможно ли это дело, чтобы когда-нибудь я позволил себе подумать строить на несчастии других мое благополучие?»