google/robotstxt
The repository contains Google's robots.txt parser and matcher as a C++ library (compliant to C++11).
Licencia y mantenimiento
Apache-2.0 es una licencia permisiva: uso comercial libre con atribución.
Último cambio de código hace 6 meses.