岡寺の創建は寺伝によるとおよそ1300年前、天智天皇の勅願によって義淵僧正が建立されました。
開祖の義淵僧正とは伝説にみちた人で、生年不明(?~728)。ただ出生には伝説が残されています。大和国高市郡に子供に恵まれない夫婦がおり、彼等は日々観音様に子が授かるよう祈りを捧げていました。そんなある日の夜突然子供の泣き声がして、夫婦が表に出てみると柴垣の上に白い布に包まれた赤子がおり、驚き中に連れて入ると馥郁たる香りがたちまちに家の中に満ちました。その後この夫婦に養育されていましたが、その噂を聞いた天智天皇は観音様の申し子だとしてこの子供を引き取られ、岡宮で草壁皇子(662~689)とともに育てられました。
この子供こそ後の義淵僧正その人である。というのが出生の伝説です。
後に義淵僧正は草壁皇子とともに育ったと言われる岡宮の地を与えられ、龍蓋寺を建立されました。義淵僧正はわが国法相宗の祖であり、当時『当代きっての傑僧(学識や修行に特にすぐれた優秀な僧)』であると言われ、文武3年(699)にはその優秀な学行(学識・修行)を賞して稲一万束を賜り、大宝3年(703)には日本で初めて『僧正』の位になり、以後神亀5年(728)の入滅に至るまでの25年にわたり同職に就き、日本仏教界を牽引されました。その門下には東大寺の基を開いた良弁、菩薩と仰がれた行基、その他にもおよそ奈良時代の高僧といわれる人は皆、義淵僧正の教えを受けたといわれています。
岡寺が義淵僧正によって創建せられたという最も古い文献は、醍醐寺本『諸寺縁起集』に収める「龍門寺縁起」(*龍門寺・・吉野郡にあったお寺)に、龍蓋・龍門 両寺は義淵僧正が国家隆泰、藤氏栄昌のために建立するところであると記されています。また「龍蓋寺」という寺名は天平勝宝三年(751)の正倉院文書で初めて出てきますが、これ以前の天平十二年(740)七月八日付けの正倉院文書の中でも龍蓋寺所蔵と書かれた仏典があると記されています。