성상파괴주의가 언제 역사에 본격적으로 등장했는지는 알 수 없지만 대다수의 연구자들은 이들이 8세기 초부터 본격적으로 모습을 드러낸 것으로 추측한다. 이들이 등장하게 된 연유에 대해서는 과거의 학설과 최근의 연구 결과가 대치되는 상황이다. 먼저, 과거에는 성상파괴주의를 이슬람교의 영향을 받아 형성된 사상으로 해석했다. 성상파괴주의가 처음 등장하고 이들의 중심지가 되었던 지역은 아나톨리아 동부였는데 이 지역은 타우로스 산맥을 경계로 이슬람 세력과 직접적으로 경계를 마주했던 곳이었다. 이슬람교는 전통적으로 신의 모습을 본뜬 이콘을 만드는 것을 극도로 배격했으며 이 외에도 알라의 마지막 예언자인 무함마드의 얼굴 또한 묘사하는 것을 금했을 정도로 우상숭배를 철저히 금하던 종교였다. 따라서 이들과 마주하던 아나톨리아 동부의 제국민들 사이에 자연스레 이콘을 배격하는 움직임이 생겨났고 이것이 성상파괴주의로 발전했다고 보는 것이 바로 과거의 해석이었다.
그러나 현대의 연구자들은 이러한 해석이 아닌 다른 해석을 내놓았다. 이들은 성상파괴주의를 이슬람의 영향을 받아 성립된 사상이 아닌 네스토리우스주의와 단성론을 극단적으로 배격하는 과정에서 등장한 사상으로 해석했다. 이들에 의하면 성상파괴주의자들은 이콘이 예수의 인성과 신성을 모두 담아낼 수 없는 존재로 보았다고 한다. 예수의 인간적인 면을 강조해서 묘사한 이콘은 네스토리우스주의자들의 주장 - 예수의 위격은 신격와 인격으로 나뉘며 신격과 위격에 각각 신성과 인성이 깃들어있다 -, 곧 예수의 인성만을 담아냈을 뿐 신성은 제대로 담아내지 못했을 뿐이며 반대로 예수의 신성함을 강조해서 묘사한 이콘은 단성론자들의 주장 - 예수의 위격은 하나이며 본성은 인성이라는 꿀 한 방울이 신성이라는 바다에 빠져 흡수된 상태로 하나의 본성만을 가지고 있다 - 처럼 예수의 신성만을 담아내고 인성은 제대로 담아내지 못했다고 보았다. 다시말해, 성상파괴주의자들을 일종의 극단적 네스토리우스주의, 단성론 배격주의자들이라고 보는 것이 최근 동로마 연구자들의 해석인 것이다.
그리고 이들은 십계명의 제 2조를 근거로 들며 이콘은 우상숭배나 다를 바 없으며 우상숭배로부터 벗어나기 위해서는 이콘을 파괴하는 것이 중요하다고 여겼다.
우마이야 왕조의 콘스탄티노플 공격을 성공적으로 막아낸 레온 3세는 이 성상파괴주의자들의 본거지인 아나톨리아 동부 출신이었다. 8세기 후~9세기 초에 활동했던 동로마 제국의 수도자이자 역사가였던 성 테오파네스(758/760~817/818)는 레온 3세를 대놓고 '사라센의 마음이 있는 자'라고까지 평했다. 그리고 그러한 영향때문인지 레온 3세는 열렬한 성상파괴주의자였다. 물론 그는 콘스탄티노플 공방전 시기에는 성모 마리아 이콘을 활용해 시민들과 군대의 사기를 올렸지만 그것은 전쟁에서 이기기 위해 활용한 일시적인 행위였을 뿐 그의 본질은 성상파괴주의자였다.
726년, 레온 3세(이하 황제)는 성상파괴운동의 첫 걸음이 될 행보를 개시한다. 그는 콘스탄티노플 황궁 정문을 장식하던 황금 예수 성상을 떼어내고 이를 십자가로 대체하려 했다. 그러나 이 시도는 콘스탄티노플 시민들의 강력한 반대로 인해 무위로 돌아가고 만다. 이미 제국은 6세기부터 사도나 성모 마리아, 예수에 관한 이콘을 본격적으로 만들기 시작했고 이러한 이콘을 활용한 신앙생활이 대중화된 상태였기 때문이다. 또한, 동로마의 해군과 육군에서도 이러한 성상파괴운동에 반대하는 움직임을 보이기 시작했다. 헬라스 테마의 해군은 황제의 성상파괴운동에 반대하는 움직임을 보였고 트라키아 테마의 육군 또한 마찬가지였다. 이듬해인 727년에는 이탈리아인들이 교황 그레고리오 2세(715~731 재위)의 지원을 받아 반란을 일으켰고 이로인해 이탈리아 총독이 죽어버리는 상황이 벌어졌다. 같은 해에는 헬라스 테마의 군사 대대장 아갈리아노스 콘토스켈레스와 카라비시아니의 해군 사령관 스테파노스가 반란을 일으켰지만 제국군에 의해 진압되고 참살되었다. (그리고 황제는 카라비시아니에서 크레타를 따로 떼어내고 아나톨리아 남부를 키비르라이오타이 테마로 재편성한다.) 황제는 최대한 기존의 기독교인들과 융화를 꾀하며 성상파괴주의를 관철하려 했지만 이는 결국 실패로 돌아가고 말았다.
730년, 황제는 다시금 성상파괴주의의 칼을 빼들었다. 이번에는 단순한 무력시위만 사용하는 것이 아닌 정치적인 제스쳐도 병행했다. 먼저, 당시 콘스탄티노플 총대주교였던 게르마노스 1세(715~730 재위)를 총대주교에서 해임시키고 그 자리에 아나스타시오스(730~754 재위)를 임명했다. 이것으로 동방 기독교 세계를 관리, 감독하는 콘스탄티노플 총대주교 자리에 성상파괴주의자를 앉혀 자신의 수족으로 활용할 수 있었다. 또한 이탈리아에서 반란을 일으킨 반역자 티베리오스 페타시오스의 반란을 진압하고 그를 잡아죽였다. 이러한 일련의 행위가 있은 뒤, 황제는 다시금 성상파괴령을 내렸다. 그리고 이 과정 속에서 성상파괴에 반대하는 적지않은 기독교인들이 은둔하거나 이탈리아 등으로 피난을 떠났다.
교황 그레고리오 2세는 황제의 성상파괴령에 다시금 반대의 목소리를 높였다. 비록 그가 이탈리아의 반역자 티베리오스를 처단하는데 황제와 결을 같이했음에도 불구하고 그레고리오에게 황제의 성상파괴령은 도저히 받아들일 수 없는 종교적 이단행위나 마찬가지였기 때문이다. 황제는 이러한 그레고리오의 반대를 접하자마자 즉각적으로 그를 잡아다가 콘스탄티노플로 압송하려 했다. 그러나 황제가 그레고리오 2세를 압송하기 위해 파견한 선단은 아드리아해에서 침몰하고 말았으며 그레고리오 2세 또한 비슷한 시기에 선종했다. 그렇지만 후임 교황 그레고리오 3세(731~741 재위) 또한 선임 교황과 마찬가지로 황제의 성상파괴령에 강경한 반대를 내세웠다. 황제는 이러한 로마 교황들의 반대에 기존에 시도했던 압송 대신 다른 방법으로 보복했다. 먼저 로마 교황의 관할 구역인 시칠리아와 칼라브리아 지역에 위치한 교회의 수입을 몰수해버렸으며 같은 해에는 아예 로마 교황의 관할 구역이었던 일리리아, 다키아, 마케도니아, 그리고 시칠리아와 칼라브리아 지역을 모조리 콘스탄티노플 총대주교의 관할 구역으로 옮겨버렸다. (최종적으로 해당 지역이 콘스탄티노플 총대주교의 관할로 넘어간 시기는 740년이다.) 졸지에 수입도 몰수당하고 자신의 관할 구역 상당수를 콘스탄티노플 총대주교에게 넘겨준 교황은 이제는 공공연히 반 제국노선을 타기 시작했다.
레온 3세가 왜 이렇게 강경하게 성상파괴주의를 고수했는지는 아직도 의문이 남아있다. 누군가는 그가 이슬람과의 접경 지역에서 성장했던 탓에 이슬람교의 영향을 받아 성상파괴주의를 관철하려 했다고 해석하고 다른 누군가는 성상파괴를 통해 기존의 교회와 수도원이 보유하고 있던 재산을 몰수하고 이를 통해 재정을 보충하고 황권을 강화하려 시도한 것이라고도 해석한다. 그러나 몇 가지 사실은 확실했다. 그의 성상파괴령이 제국을 극심한 분열의 시기로 몰아넣기 시작했으며 로마 교황은 본격적으로 반 제국노선을 걸으며 동로마 제국 대신 자신을 보호해줄 새로운 세속 권력자를 찾기 시작했다는 것이었다.