Окончив училище с отличием, Шолом мечтает о поступлении в Житомирский учительский институт, единственное учебное заведение, доступное в те времена для еврейского юноши из несостоятельной семьи. Но и туда ему не удалось попасть.
Для Шолома настает очень тяжелое время. Он ощущает в себе необыкновенную духовную энергию, но еще не знает, к чему эту энергию приложить. Он скитается по маленьким городкам и местечкам, дает частные уроки и терпит бесконечные унижения. Нередко ему приходится спать на полу, нередко он ловит на себе за столом свирепый взгляд хозяйки, которую раздражает его аппетит. Случалось ему также укачивать по ночам маленьких хозяйских детей.
Шолом попадает домашним учителем к богатому арендатору помещичьих земель Элимелеху Лоеву, где он впервые встречается со своей будущей женой, Ольгой Лоевой. Счастье как будто улыбнулбсь ему. Все в доме хорошо относятся к способному юноше. К его услугам довольно богатая библиотека. Он пополняет свои знания, с увлечением читает произведения русских и европейских классиков; к этому времени относятся и его первые литературные опыты. У Шолома много досуга, и он гуляет по полям, по лесу. Он впервые по-настоящему видит природу, познает ee прелести. Эти впечатления позднее выросли в замечательные картины украинской природы, с которыми мы встречаемся в произведениях Шолом-Алейхема.
В один ясный зимний день на Шолома обрушился неожиданный удар. Когда он вышел утром из своей комнаты, то застал в доме одних слуг. Хозяева внезапно уехали всей семьей. На столе лежал пакет с жалованьем. Ни записки, ни малейшего объяснения. На дворе стояли запряженные сани для учителя, и он со стесненным сердцем, полным жгучей обиды, уехал. Впоследствии выяснилось, что богач Лоев, несмотря на свое благосклонное отношение к Шолому, пришел в страшную ярость, когда узнал, что этот бедняк учитель посмел полюбить его дочь.
В течение нескольких лет Шолом писал письма, полные отчаяния, своей возлюбленной, но Лоев подкупил почтмейстера, и тот передавал все письма ему в руки.
Изгнанный из дома Лоевых, Шолом отправляется в Киев искать работы. Но тщетно. Тогда он становится казенным раввином в Лубнах Полтавской губернии, где он провел два с лишним года, гнушаясь взятой на себя ролью.
В 1883 году Шолом Рабинович и Ольга Лоева снова встретились и против воли ее отца поженились. В этом же году были опубликованы первые произведения Шолом-Алейхема на еврейском языке - "Два камня", "Выборы" и "Перехваченные письма".
