搜尋引擎爬蟲進入網站後，第一時間看的其實不是網站首頁，而是網頁中的robots.txt 檔案，那robots.txt 是什麼呢？
對網站來說，robots.txt 的角色類似於家門口的告示牌，告訴搜尋引擎爬蟲哪些網頁能看，哪些不能看，對SEO 來說則是像網站寫給搜尋引擎看的使用手冊，可以決定網站中的資源搜尋分配、網站曝光效率。
雖然Robots.txt 只是一個文字檔，但有了他就能夠提升搜尋引擎對網站的理解與爬取效率！想了解更詳細的Robots.txt 的內容嗎？？趕快點擊下方連結獲取更多關於Robots.txt 的資訊吧！
