[HackCTF] Web - / 풀이

처음 들어가는 순간 Hidden Flag와 로봇 사진이 나왔다. 습관적으로 소스보기(F12)를 눌러보자.

소스를 확인해보니 img 태그에 링크를 확인할 수 있었다. 한번 접근해보자.

흠 로봇신문 홈페이지에서 이미지를 가져온듯 하다..

로봇이미지 & 로봇신문 .. 로봇을 공통점으로 생각하다 보니 웹과 관련된 문제여서 robots.txt가 생각이 났다.

robots.txt에 접근해 보자.

http://ctf.j0n9hyun.xyz:2020/robots.txt

접근하니 경로인 /robot_flag/가 나왔다. 저곳에 flag 값이 있을거 같다. 접근해보자.

이렇게 flag 값을 확인할 수 있었다!

---

robots.txt

인터넷 검색엔진에서 보안이 필요한 내용을 검색엔진에 의해 검색등을 통한 노출이 되지 않도록 웹 페이지를 작성하는 방법을 기술한 텍스트파일이다.

(일반적으로 url 뒤에 /robots.txt를 붙이면 확인할 수 있다.)

 

robots.txt를 설정 할때는 신중하게 설정해야 한다 예를들어 검색엔진을 통해서 노출이 되야 하는 사이트를 잘못 설정하게 되면 검색엔진을 통해 들어오게 되는 사용자들이 접근하지 못할 수도 있다.

 

설정방법에 대해 간략하게 설명하자면

1. 전체 웹사이트를 검색엔진이 색인하도로고 허용하고자 할 때에는 아래와 같이 robots.txt.파일을 추가한다.

User-agent:*

Disallow:

 

2. 검색봇이 특정 디렉토리의 모든 페이지를 검색하지 않도록 차단하려면 아래와 같이 사용하면 된다.

User-agent:*

Disallow:/example/

 

예를들어, 문제를 들어 설명해보자면 문제의 robots.txt의 설정 값에 disallow:/robot_flag/라고 나와있는데 일반적으로 검색해 보았을때 사진과 같이 구글 검색엔진을 통해서 노출되게 된다.

 

 

 

하지만, robots.txt 설정 값에 robot_flag 디렉토리의 검색엔진 허용을 하지 않아서 아래 사진과 같은 결과가 나온다.

 

또한 브라우저 별로 User-agent에 Googlebot(구글), Yeti(네이버)등 검색엔진 별로 설정할 수 있으니 참고바란다.

---

참조

https://blog.naver.com/starsunsmile/222076235826

robots.txt에 대해 알아야 할 기본 지식