Чтобы проследить историю создания Ki-27, необходимо вернуться в середину 20-х годов прошлого века. В марте 1927 года Коку Хомбу (Штаб армии) предложил фирмам Мицубиси, Накадзима, Кавасаки и Исикавадзима спроектировать истребитель для замены состоящего на вооружении самолета Накадзима Тип Ко 4 (Ko-Shiki Yon-Gata Sentoki по схеме обозначений ВВС Армии: индекс Ко был присвоен самолетам фирмы Ньюпор, а 4 или Yon порядковый номер модели). Ко 4, созданный на основе лицензионного французского Ньюпора 29C1, был первым истребителем, строившимся в больших количествах для японской армии. С декабря 1923 года по январь 1932 года с конвейера Накадзимы сошло 608 самолетов. Ко 4 пришел на смену истребителям Тип Хеи-1 (лицензионный SPAD XIII) и Тип Ко 3 (Ньюпор 24C1 и 27C1). Однако происхождение Ко 4, впрочем как и Тип Хеи-1 и Тип Ко 3, восходило ко времени Первой Мировой войны — их французский прародитель поднялся в небо в июне 1918 года. Поэтому требовалось как можно быстрее создать подходящий истребитель на замену.
Фирма Исикавадзима достаточно быстро отказалась от участия в конкурсе, уже на раннем этапе разработки стало ясно, что её самолет не будет соответствовать требованиям Коку Хомбу. Оставшиеся три конкурента закончили проектирование и построили прототипы, которые затем подверглись сравнительным испытаниям.
Два прототипа истребителя Мицубиси, получившего название "Хаябуса-го" (Тип Хаябуса, заводское обозначение 1MF2), были построены в 1928 году. Первый из них был готов в мае. Новый самолет был разработан командой, которой руководили немецкий профессор Александр Бауман и японец Нобуширо Наката, которым помогали инженеры Дзиро Хорикоши и Дзиро Тана-ки. Первоначально для истребителя была предложена схема моноплана с низкорасположенным крылом, но армия требовала моноплан-парасоль с высокорасположенным крылом на подкосах, причем без единой растяжки. "Хаябуса" имел смешанную конструкцию (металлический каркас фюзеляжа и деревянное крыло) с полотняной обшивкой. В качестве силовой установки был выбран 12-цилиндровый V-образный мотор водяного охлаждения Мицубиси Испано-Сюиза номинальной мощностью 450 л.с. и взлетной мощностью 600 л.с. (в дальнейшем будет указываться следующим образом — 450/600 л.с.)
Истребитель фирмы Кавасаки, который получил обозначение KDA-3 (Kawasaki Dockyard, Army, Модель 3 — многие японские самолеты 20-30-х годов имели обозначения на английском), был спроектирован немцем, доктором Ричардом Фогтом. Это был подкосный моноплан-парасоль, смешанной конструкции с полотняной обшивкой. Фюзеляж был цельнометаллический — такая конструкция была ранее отработана на немецком самолете Дорнье Н "Фальке". В марте 1928 года был готов первый из трех прототипов, на котором установили мотор BMW VI мощностью 450/630 л.с. Вскоре эта машина была потеряна в результате аварии при посадке в Кагамигаха-ра. Следующих два прототипа были построены в мае, на них были установлены такие же моторы Испано-Сюиза, как и на самолет фирмы Мицубиси.
В мае и июне 1928 года завершилась постройка двух прототипов истребителя фирмы Накадзима, имевшего обозначение NC. Этот самолет был создан командой японских инженеров, которой руководили Сигеджиро Овада и Ясуши (Ясуми?) Кояма, при помощи французских инженеров фирмы Девуатин Андрэ Мари и Максима Робина. Это также был подкосный высоко-план-парасоль с металлическим каркасом и полотняной обшивкой. В отличие от конкурентов на нем был установлен 9-цилиндровый звездообразный мотор воздушного охлаждения Бристоль "Юпитер" VI мощностью 450/520 л.с., позднее по лицензии выпускавшийся Накадзима под обозначением Котобуки. Несомненно, на конструкцию самолета значительное влияние оказали французские проектировщики, взявшие за основу самолеты Ньюпор Деляж и Девуатин.