Semantic Web dicetuskan pertama kali oleh Tim Berners-Lee, James Hendler, dan Ora Lassila, di majalah Scientific American pada tahun 2001. Sejak itu, Tim Berners-Lee yang  juga merupakan direktur dari W3C membentuk tim kerja yang membidangi Semantic Web serta infrastrukturnya pada tahun 2001. Aktivitas dari tim ini bisa dilihat di http://www.w3.org/2001/sw/.

Tim tersebut merumuskan berbagai infrastruktur untuk keperluan Semantic Web, antara lain adalah RDF (Resource Definition Framework), n3, Ontology, dan lain-lain, serta membangun berbagai software yang diperlukan (IsaViz untuk mengedit RDF, cwm –  close world machine, dan lain­-lain). Beberapa infrastruktur memang telah tersedia di W3C, seperti misalnya infrastruktur untuk display berbasis XML (XHTML, SVG, dan lain­lain).

Masalah yang ada pada web saat ini adalah informasi yang berlebihan (information overload). Para pengguna Internet mengetahui bahwa Internet adalah suatu kumpulan sumber daya pengetahuan yang luar biasa besar. Sayangnya, format tampilan HTML pada kebanyakan halaman web saat ini menyebabkan metadata yang diperlukan untuk mencari data serta informasi yang lebih tepat kurang memungkinkan. Beberapa mesin pencari seperti Google, Yahoo, Infoseek, Altavista, dan lain-lain, kebanyakan mencari suatu halaman web berdasarkan definisi kata kunci dari halaman web yang bersangkutan. Definisi kata kunci yang ada pada HTML sama sekali tidak menunjukkan representasi pengetahuan sehingga seringkali terjadi banyak sekali suatu halaman web yang dihasilkan dari suatu mesin pencari tetapi apa yang sebenarnya dicari oleh pemakai tidak berada di tempat tersebut.

Semantic Web memungkinkan adanya representasi pengetahuan serta keterkaitan antar berbagai sumber daya yang ada. Dengan demikian suatu crawler bisa  mencari data serta informasi dengan tingkat kesesuaian yang semakin bagus. Semantic Web juga memungkinkan berkembangnya social network seperti yang telah dibuktikan pada berbagai proyek seperti FOAF (http://www.foaf­project.org) atau "friend of a friend" yang merupakan suatu format XML/RDF untuk representasi identitas diri serta keterkaitan dengan kolega lain. Agar Semantic Web bisa berfungsi sepenuhnya, maka harus terdapat akses ke koleksi terstruktur dari informasi serta sekumpulan aturan inferensi (inference rules) yang memungkinkan suatu mesin melaksanakan automated reasoning.