Модулярная группа — группа ${\displaystyle \Gamma }$ всех преобразований Мёбиуса вида

${\displaystyle z\mapsto {\frac {az+b}{cz+d}},}$

где ${\displaystyle a,\;b,\;c,\;d}$ — целые числа , причём ${\displaystyle ad-bc=1}$ .

Модулярная группа отождествляется с факторгруппой ${\displaystyle PSL(2,\mathbb {Z} )=SL(2,\;\mathbb {Z} )/\{I,\;-I\}}$ . Здесь ${\displaystyle SL(2,\;\mathbb {Z} )}$ — группа матриц

${\displaystyle {\begin{pmatrix}a&b\\c&d\end{pmatrix}},}$

где ${\displaystyle a,\;b,\;c,\;d}$ — целые числа , ${\displaystyle ad-bc=1}$ .

Модулярная группа является дискретной группой преобразований верхней комплексной полуплоскости ${\displaystyle H=\{z:\mathrm {Im} \,z>0\}}$ ( плоскости Лобачевского ) и допускает представление образующими

${\displaystyle S:z\mapsto -1/z,}$

${\displaystyle T:z\mapsto z+1}$

и соотношениями ${\displaystyle S^{2}=(ST)^{3}=1}$ , то есть является свободным произведением циклической группы порядка 2, порождённой ${\displaystyle S}$ , и циклической группы порядка 3, порождённой ${\displaystyle ST}$ .

Для произвольного преобразования ${\displaystyle g(z)={\frac {az+b}{cz+d}}}$ из модулярной группы справедливо равенство:

${\displaystyle \mathrm {Im} \,g(z)={\frac {\mathrm {Im} \,z}{|cz+d|^{2}}}.\qquad \qquad (1)}$

Поскольку мнимая часть ${\displaystyle z}$ ненулевая, а числа ${\displaystyle c}$ и ${\displaystyle d}$ — целые, не равные нулю одновременно, то величина ${\displaystyle |cz+d|^{2}}$ отделена от нуля (не может быть сколь угодно малой). Это означает, что в орбите любой точки есть такая, на которой мнимая часть достигает своего максимума.

Фундаментальная область (каноническая) модулярной группы — это замкнутая область

${\displaystyle D=\{z\in H:|z|\geqslant 1,\;|\mathrm {Re} \,z|\leqslant 1/2\}.}$

Легко проверить, используя (1), что преобразования модулярной группы не увеличивают мнимую часть точек из ${\displaystyle D}$ . Из этого следует, что для того, чтобы две точки ${\displaystyle z,\;g(z)}$ принадлежали ${\displaystyle D}$ , их мнимая часть должна быть одинакова: ${\displaystyle |cz+d|^{2}=1}$ . Таким условиям отвечают следующие преобразования и точки:

1. ${\displaystyle g(z)=z,\;z}$ — любая точка;
2. ${\displaystyle g(z)=z-1,\;\mathrm {Re} \,z=1/2;}$
3. ${\displaystyle g(z)=z+1,\;\mathrm {Re} \,z=-1/2;}$
4. ${\displaystyle g(z)=-1/z,\;|z|=1.}$

В частности, все точки области ${\displaystyle D}$ имеют тривиальный стабилизатор , кроме трёх:

1. ${\displaystyle \mathrm {St} (i)=\{1,\;S\};}$
2. ${\displaystyle \mathrm {St} (e^{2\pi i/3})=\{1,\;ST,\;(ST)^{2}\};}$
3. ${\displaystyle \mathrm {St} (-e^{-2\pi i/3})=\{1,\;TS,\;(TS)^{2}\}.}$

Кроме того, из этого следует что при факторизации верхней полуплоскости по действию модулярной группы внутренние точки ${\displaystyle D}$ отображаются инъективно, тогда как граничные — склеиваются с точками, «зеркальными» к ним относительно прямой ${\displaystyle \mathrm {Re} \,z=0}$ .

Чтобы показать, что всякая точка из ${\displaystyle H}$ конгруэнтна некоторой точке из ${\displaystyle D}$ , рассмотрим в её орбите, порождённой преобразованиями ${\displaystyle S}$ и ${\displaystyle T}$ , точку с максимальной мнимой частью и с помощью целочисленного сдвига сдвинем так, чтобы вещественная часть её образа стала по модулю не больше, чем 1/2. Тогда образ принадлежит ${\displaystyle D}$ (иначе, если бы его модуль был меньше 1, с помощью преобразования ${\displaystyle S}$ можно было бы строго увеличить мнимую часть).

Легко показать также, что преобразования ${\displaystyle S}$ и ${\displaystyle T}$ порождают всю модулярную группу. Пусть ${\displaystyle g}$ — произвольное модулярное преобразование и ${\displaystyle z}$ — внутренняя точка ${\displaystyle D}$ . Как описано выше, найдём преобразование ${\displaystyle g'}$ переводящее ${\displaystyle g(z)}$ в область ${\displaystyle D}$ . Точки ${\displaystyle z}$ и ${\displaystyle g'g(z)}$ лежат в ${\displaystyle D}$ , причём ${\displaystyle z}$ — внутренняя, следовательно, ${\displaystyle g'g(z)=z}$ . Тогда преобразование ${\displaystyle g'g}$ лежит в стабилизаторе точки ${\displaystyle z}$ , который тривиален. Следовательно, ${\displaystyle g=(g')^{-1}}$ лежит в группе, порождённой преобразованиями ${\displaystyle S}$ и ${\displaystyle T}$ .

Интерес к модулярной группе связан с изучением модулярных функций , римановой поверхностью которых является факторпространство ${\displaystyle H/\,\Gamma }$ , отождествляемое с фундаментальной областью ${\displaystyle G}$ модулярной группы. Фундаментальная область ${\displaystyle G}$ имеет конечную площадь (в смысле геометрии Лобачевского), то есть модулярная группа есть фуксова группа первого рода.