Gazneliler Devleti'ni ilk defa kurmuş olan kimsedir. Doğum tarihi kesin olarak bilinmemektedir. Alp Tegin, Samanoğulları (Sâmânîler) devletinin hassa ordusundan yetişmiş, önce bu orduya komutan olmuştur. Abdülmelik tarafından 955’te Horasan Valisi tayin edilmişti. Bu hükümdarın ölümünden sonra yerine geçen Nuhoğlu Mansur’un hükümdarlığına Alp Tegin taraftar değildi. Bundan dolayı Mansur Alp Tegin’den çekinerek onu Horasan Valiliği'nden azletti.
Alp Tegin, 962 yılında Mansur’a isyan ederek dört bin Türk askeriyle Gazne şehrini almış ve orada egemenliğini sürdürmeye başlamıştır. Mansur tarafından kendisini yok etmek üzere gönderilen orduyu da yenmiş bunun üzerine Mansur Alp Tegin ile bir antlaşma yapmak durumunda kalmıştı Alp Tegin’in yerine geçen oğlu, Sâmânîlerin tâbii olarak kaldı. Gazneliler Devleti'nin ikinci kurucusu sayılan Sebük Tegin de Alp Tegin’in kölelerindendir. Alp Tegin 963 yılında öldü.