Quest. robots.txt을 공부해봅시다.
웹 크롤러같은 로봇의 접근을 관리하는 것
페이지가 검색엔진에 노출이 되게 혹은 안되게 할 수 있다.
사용법 : 웹사이트의 최상위 디렉토리에 적용
ex) 웹사이트주소/robots.txt
robots.txt
User-agent : 검색봇 이름
Disallow : 검색 금지
Allow : 검색 허용
Crawl-delay : 다음 방문까지의 딜레이
모든 검색봇 차단
User-agent : *
Disallow : /
모든 봇을 허용
User-agent : *
Disallow :
Allow : /
User-agent → 봇의 이름을 적음
*(Asterisk) : 와일드카드로 모든 봇들을 지칭
Disallow : 봇의 접근을 막고자 하는 url을 적음
Allow : 접근을 허용하는 url을 적음
모든 것을 의미할 때 User-agent는 *로, Disallow와 Allow 필드는 공란으로 적는다.
난이도 : low
Quest. admin 정보와 password 정보를 확인해봅시다.
robots.txt 소개와 사용법
robots.txt 소개와 사용법 robots.txt robots.txt란? 인터넷 검색엔진 배제 표준(Robots Exclusion Protocol)이란 보안이 필요한 내용이 검색엔진에 유출되지 못하도록 웹 페이지를 작성하는 방법을 기술한 국제
server-talk.tistory.com
multifrontgarden.tistory.com/209
robots.txt
크롤링 봇들은 항상 웹을 탐색하고다닌다. 전 회사에 재직중인시절 모니터링 시스템에 로그인하지않은 사용자가 자꾸 특정 api를 요청한다는 알림이 와서 봤더니 google bot 이라는 user agent를 담고
multifrontgarden.tistory.com
limelightkr.co.kr/robots-txt-%EA%B7%B8%EA%B2%8C-%EB%AD%90%EC%A3%A0/
Robots.txt 그게 뭐죠? - 라임라이트 블로그
Robots.txt 파일이란 웹 크롤러(Web Crawlers)와 같은 착한 로봇들의 행동을 관리하는 것을 말합니다. 우리가 이 로봇들을…
limelightkr.co.kr
'Web Hacking > BWAPP' 카테고리의 다른 글
| [bWAPP(비박스)] SQL Injection (GET/Select) (0) | 2023.03.08 |
|---|---|
| 비박스(BWAPP) Broken Auth - Insecure Login Forms (0) | 2020.11.16 |
| 비박스(BWAPP) SQL Injection - Login Form/Hero (0) | 2020.11.16 |
| 비박스(BWAPP) SQL Injection - GET/Search (0) | 2020.11.02 |