Киленьи стал вторым из двух самых главных учителей Гершвина, хотя были и другие педагоги, занятия с которыми тоже были очень полезны. Но сам Гершвин всегда считал, что именно Хамбитцер и Киленьи сыграли самую главную роль в становлении его музыкального таланта, и до конца своих дней чувствовал себя перед ними в неоплатном долгу. С Киленьи Гершвин занимался в общей сложности пять лет, но и потом, когда занятия прекратились, он время от времени разыскивал своего учителя, чтобы спросить у него совета.
В течение первых восьми месяцев Гершвин занимался два раза в неделю. Киленьи хорошо помнит свое первое впечатление от нового ученика. Это был серьезный, тихий, слегка застенчивый молодой человек, с выражением какой-то грусти на лице. Гершвин почти ничего не знал о теории музыки, и Киленьи начал с самых азов. Потом пошли уроки по полифонии, транспонированию, модуляции и инструментовке. Через три года Киленьи стал приглашать на эти уроки музыкантов из оркестра для того, чтобы они сыграли и продемонстрировали его ученику некоторые основные элементы исполнения партий на наиболее важных инструментах симфонического оркестра. На следующий год Киленьи показал Гершвину, как делается аналитический разбор музыкальных произведений, таких как Восьмая симфония Бетховена или его же "Весенняя соната", для того, чтобы проникнуть в творческую лабораторию композитора, понять, как и почему он применял те или иные приемы, увидеть технику употребления гармоний и т. д. Так Гершвин детально изучил многие известные произведения Гайдна, Дебюсси и Рихарда Штрауса.
До сих пор сохранились тетради Гершвина. Из них прекрасно видно, как точно и грамотно велись записи, в какой безукоризненной чистоте они содержались. Из них также видно, что, узнав какие-то основные правила, Гершвин часто пытался разработать свои собственные идеи, но в направлении прямо противоположном общепринятому. И в этом он всегда находил поддержку своего учителя. Хотя Киленьи и настаивал на том, что сначала необходимо изучить все существующие стили, он очень терпимо и даже снисходительно относился к тому, что его ученик старался нарушать их.
Киленьи также с сочувствием и пониманием относился к карьере Гершвина в Тин-Пэн-Элли. Более поздние учителя Гершвина и другие музыканты относились к этому иначе: они считали, что он должен полностью посвятить себя сочинению серьезной музыки. Более того, Киленьи хорошо понимал (и сказал об этом в 1919 году), что популярная музыка может оказаться кратчайшим путем к пониманию Гершвином своих более серьезных задач. "Ты столкнешься с теми же трудностями, с которыми сталкиваются все американские композиторы, пытаясь добиться того, чтобы их произведения исполнялись, — говорил ему Киленьи, и это тогда, когда американцев вообще исполняли очень редко. — Если ты добьешься успеха как сочинитель популярной музыки, ты станешь известным, это приблизит тебя к твоей цели, потому что тогда дирижеры будут приходить к тебе и заказывать серьезную музыку тоже".
