"การตั้งค่า SEO และการทำงานของ Googlebot"

ฝั่งซ้าย: การกระทำของคุณ (User / Admin Actions)
ส่วนนี้แสดงถึงขั้นตอนการเตรียมการและการแจ้งเตือนที่คุณ (ในฐานะผู้ดูแลระบบ) ต้องทำ:

การเตรียมไฟล์ (Preparation):

เริ่มจากไอคอน You (Admin)

คุณทำการสร้างไฟล์สำคัญ 2 ไฟล์ คือ robots.txt (ไฟล์กฎระเบียบว่าให้บอทเข้าหน้าไหนได้บ้าง) และ sitemap.xml (ไฟล์แผนที่เว็บไซต์ที่รวมลิงก์ทั้งหมด)

จากนั้นนำไฟล์ทั้งสองนี้อัปโหลดขึ้นไปไว้บน Web Server (ซึ่งก็คือ Docker Container ของคุณในภาพแรกนั่นเอง) เพื่อให้พร้อมสำหรับการเข้าถึงจากภายนอก

การแจ้งเตือน (Notification):

หลังจากเตรียมไฟล์บนเซิร์ฟเวอร์แล้ว คุณ (You) จะเข้าไปใช้งานเครื่องมือ Google Search Console

ทำการ "Submit Sitemap" (ส่งแผนที่ไซต์) เพื่อแจ้งไปยังระบบคลาวด์ของ Google โดยตรงว่า "เว็บไซต์ของฉันมีโครงสร้างแบบนี้นะ ช่วยมาเก็บข้อมูลหน่อย"

ฝั่งขวา: การทำงานของ Googlebot (Automated Crawling)
ส่วนนี้แสดงถึงกระบวนการทำงานอัตโนมัติของ Googlebot หลังจากได้รับทราบข้อมูลจากฝั่งซ้ายแล้ว:

Googlebot เริ่มทำงาน: เมื่อระบบของ Google ทราบถึงการมีอยู่ของไซต์และ sitemap ก็จะส่ง Googlebot (หุ่นยนต์เก็บข้อมูล) มาที่เว็บเซิร์ฟเวอร์ของคุณ

ขั้นตอนที่ 1: อ่านกฎ (Read robots.txt):

สิ่งแรกที่ Googlebot ทำเสมอคือการเข้าไปอ่านไฟล์ robots.txt ก่อน เพื่อตรวจสอบสิทธิ์ว่า "ฉันได้รับอนุญาตให้เข้าถึงส่วนไหนของเว็บไซต์ได้บ้าง" และส่วนไหนที่ห้ามเข้า

ขั้นตอนที่ 2: อ่านแผนที่ (Read sitemap.xml):

หลังจากทราบกฎแล้ว บอทจะไปอ่านไฟล์ sitemap.xml ตามที่คุณได้แจ้งไว้ เพื่อดูรายชื่อ URL ของหน้าเว็บทั้งหมดที่มีอยู่ในเว็บไซต์ของคุณ

ขั้นตอนที่ 3: เก็บข้อมูล (Crawl each page):

สุดท้าย Googlebot จะนำรายชื่อ URL ที่ได้จาก sitemap มาทำการ "Crawl" หรือเดินทางเข้าไปเยี่ยมชม Website Pages (หน้าเว็บจริง) แต่ละหน้า เพื่ออ่านเนื้อหา เก็บข้อมูล และนำไปจัดทำดัชนี (Index) เพื่อแสดงในผลการค้นหาต่อไป