Cách tạo và sử dụng file Robots.txt

File Robots.txt được sử dụng để hướng dẫn công cụ tìm kiếm tự động đến những trang nào mà bạn muốn nó tìm kiếm và sau đó thì index trang đó. Hầu hết trang web nào cũng có những thư mục và files không cần đến robot của công cụ tìm kiếm ghé thăm. Do vậy tạo ra file robots.txt có thể giúp bạn trong SEO.

Cách tạo và sử dụng file Robots.txt

File Robots.txt được sử dụng để hướng dẫn công cụ tìm kiếm tự động đến những trang nào mà bạn muốn nó tìm kiếm và sau đó thì index trang đó. Hầu hết trang web nào cũng có những thư mục và files không cần đến robot của công cụ tìm kiếm ghé thăm. Do vậy tạo ra file robots.txt có thể giúp bạn trong SEO.

File robots.txt là một dạng file rất đơn giản có thể được tảo bởi công cụ Notepad. Nếu bạn sử dụng WordPress một file robots.txt sẽ có dạng như sau

User-agent: *

Disallow: /wp-

Disallow: /feed/

Disallow: /trackback/

“User-agent”:* có nghĩa là tất cả những robot tìm kiếm từ Google, Yahoo và MSN nên sử dụng hướng dẫn này của bạn để tìm kiếm trang web.

“Disallow: /wp-“: dòng code này báo cho công cụ tìm kiếm biết nó không nên “lục lọi” ở những filé của WordPress bắt đầu bằng wp-.

Nếu bạn không sử dụng WordPress, bạn chỉ việc thay thế dòng Disallow với files và folders mà bạn không muốn nó “dòm ngó”, ví dụ:

User-agent: *

Disallow: /images/

Disallow: /cgi-bin/

Tự động tạo robots.txt

Nếu bạn có sử dụng Google Webmaster thì họ cũng cho phép bạn tạo robots.txt hoặc bạn có thể sử dụng Robots.txt Generator để tự động tạo file robots.txt cho mình

Sau khi bạn đã tạo xong file robots.txt (đừng quên chữ S), bạn chỉ việc upload lên thư mục gốc là hoàn thành

Tips – Virtual Directory in Apache

Chào mọi người. Hôm nay tanlevis xin giới thiệu 1 mẹo để cấu hình server apache tại localhost có địa chỉ link giống tên miền xịn như http://izwebz.com, http://name.vn thay vì lúc nào cũng http://localhost/thu_muc_lam_viec. Để làm được điều đó, chúng ta phải dựa vào cơ chế thư mục ảo (Virtual Directory) giống như cơ chế thư mục ảo trong IIS của windows là trỏ địa chỉ trang web vô 1 thư mục nào đó trong máy.

Trong bài viết này mình cài WAMP nên mọi người xài XAMP hay bộ nào khác thì có khác biệt đôi chút về thư mục chứa file cài đặt, còn về các file config thì hầu như không khác biệt là mấy.

Cài đặt thư mục

Hãy cài đặt thư mục với cấu trúc tương tự như sau trong thư mục cài đặt WAMP (ở đây tôi cài vào C:\wamp):

Cài đặt file hosts

Dùng notepad mở file hosts của windows ra và thêm tên miền tùy thích vào cuối file theo cấu trúc như sau:

 Cột bên trái hãy để nguyên là: 127.0.0.1, vì đây là địa chỉ dùng để loopback của windows

 Cột bên phải điền tên miền bạn thích vào vd: design.com

 Những phần sau dấu # là chú thích có thể có hoặc không

Tips: vào run(phím window + R) gõ C:\WINDOWS\system32\drivers\etc –> enter

Cấu hình file httpd.conf của apache

 Tạo một file mới có tên là: virtual-hosts, và phần đuôi mở rộng là: conf, tên file đầy đủ là: virtual-hosts.conf

 Dùng notepad mở file httpd.conf trong thư mục “wamp\bin\apache\Apache.version\conf.

 Thêm vào cuối file nội dung như sau: Include conf/virtual-hosts.conf

 Vào Run gõ cmd –> enter: Dùng lệnh cd ten_thu_muc để di chuyển tới thu mục trong

cùng là bin, và gõ lệnh httpd.exe -t để kiểm tra cú pháp, nếu thông báo là Syntax Ok thì

đã thành công ròi đó, còn không thì hãy kiểm tra lại tiến trình làm có gì sai không.

 Mở file virtual-hosts.conf đã tạo trước đó ra và thêm nội dung như sau:

alt=”config_file_virtual_hosts” />

-ServerName: tên miền đã đặt ở trên, vd: design.com.

-DocumentRoot: dùng đường dẫn tuyệt đối tới thư mục chứa các file php hay thư mục

cài đặt wp.

-CustomLog: ghi lại log của trang web trong thư mục cài đặt.

-ErrorLog: ghi lại những lỗi phát sinh khi chạy trang web, chúng ta có thể dựa vào đây

để kiểm tra xem trang web thực sự đã sạch lỗi hay chưa.

Kiểm tra và sửa lỗi

 Chuyển qua của sổ Command Line (cmd)./li>

 Chạy lệnh: httpd.exe -S (chú ý: chữ S viết hoa).

-Nếu thành công thì kết quả sẽ tương tự như sau:

-Ngược lại hãy kiểm tra các bước cài đặt ở trên và dựa theo thông báo lỗi để sửa.

Tiếp theo ta phải restart lại apache để nạp vào những cấu hình ta đã thêm cụ thể như sau:

 Nếu nhận được thông báo như trong hình thì đã cấu hình thành công, còn không thì hãy

kiểm tra kĩ các bước thực hiện

 -Restart apache xong ta vào trình duyệt gõ tên miền đã đặt vào vd: design.com.

-Nếu gặp lỗi “403 Forbidden” thì là chuyện bình thường không có gì phải lo lắng cả. Lỗi

này là do trong thư mục cài đặt web không có file index.html, hãy tạo 1 file index.html

với nội dung tùy ý theo chuẩn HTML. Giả thích lỗi này như sau: mặc định thì apache

không cho liệt kê ra danh sách các file hay các thư mục có trong thư mục web, do vậy

thêm file index.html vào để vượt qua lỗi này