Каждое лето семья Ферсманов проводила в Крыму. Вот где было настоящее раздолье для сбора камешков. Камни разного цвета, величины, обточенные морскими волнами причудливой формы — это богатство бережно хранилось мальчиком в вате в специальных коробочках. Вместе с местными мальчишками Саша охотился за редкими экземплярами в порту, представляя историю их путешествия по морю, может быть, даже от берегов Европы, Америки или Австралии. Семья всячески поддерживала интересы сына. Родители рассказывали Саше о минералах, спускались с ним в причудливые крымские пещеры и помогали собирать коллекцию, пополняя её новыми экспонатами. Интерес к минералам остался у А. Е. Ферсмана на всю жизнь.
Ферсман стал учиться на кафедре минералогии, которую в то время возглавлял выдающийся учёный и мыслитель Н. И. Вернадский (1863—1945). Он, ещё будучи студентом, издал несколько научных статей по минералогии. Особый интерес молодой учёный проявлял к изучению пегматитов — горной породы магматического происхождения, используемой в стекольной и керамической промышленности. После переезда в Петербург по предложению своего учителя В. И. Вернадского он был назначен учёным-хранителем Минералогического музея Академии наук. Из собирателя своей небольшой коллекции Ферсман стал научным хранителем коллекции государственной. Он считался большим знатоком драгоценных и поделочных камней. Свою любовь к камню учёный выразил в серии научно-популярных книг. «Занимательная минералогия», «Воспоминания о камне», «Мои путешествия» и других.
Огромная и богатая природными ресурсами Россия многие виды сырья ввозила из-за границы. Однако во время Первой мировой войны (1914—1917 гг.) эти поставки прекратились, и страна оказалась в тяжелом положении. В этой связи была создана специальная комиссия сырья, которую возглавил Ферсман, чтобы организовать разведку и изучение месторождений полезных ископаемых на территории России. Для её выполнения Ферсман отправляется на Урал и Алтай. Под его руководством на Кольском полуострове в Хибинах были открыты месторождения апатитов, нефелинов, железных руд, а вскоре началась и их промышленная разработка. Особое внимание он уделял беседам с местными искателями минералов — «горщиками».
«Трудно во всём мире назвать другой такой уголок земного шара, где было бы сосредоточено большее количество ценнейших самоцветов, чем в знаменитой Мурзинке — этом заповедном для минералога районе Урала» — так писал А. Е. Ферсман о богатствах Мурзинской слободы на берегу реки Нейвы, где он бывал много раз. В Уральских месторождениях есть почти все известные в мире самоцветы. Некоторые из минералов вошли в историю камня под особыми, «уральскими» названиями: уральские изумруды, мурзинские аметисты, тагильский малахит, шайтанский перевлит, седельниковский орлец и др. Встречаются топазы, аквамарины, турмалины, рубины, сапфиры. В слюдистых жилах встречается александрит — удивительный камень, при искусственном освещении меняющий тёмно-зёленую окраску на красную с фиолетовым оттенком. Вблизи города Асбеста расположено крупнейшее и единственное в России месторождение уральских изумрудов, которые славятся насыщенной зёленой окраской.