ロボット対策(robots.txt)

SEO

googlebotが巡回に来たのに何もファイルをあさってくれませんでした。タイムスタンプが悪かったのかもしれません。それとrobots.txtを用意しないのは影響しているかもしれません。
テストとして以下のようなスクリプトを作成してcronで動かすことにしました。

$cat ~/bin/robots.sh
#!/bin/sh

TARGET_DIR=/home/${USER}/public_html
FILE_NAME=robots.txt
TARGET_FILE=${TARGET_DIR}/${FILE_NAME}

echo 'User-Agent: *' > ${TARGET_FILE}
find ${TARGET_DIR} -type d \
| grep -v '/shop/img/.*' \
| sed "s/$/\//g" \
| sed "s/\.//g" \
| sed "s/\/home\/${USER}\/public_html//g" \
| sed "s/\/\//\//g" \
| sed "s/^/Allow: /g" \
>> ${TARGET_FILE}
touch ${TARGET_FILE}

$cat cat ~/bin/renewal.sh
#!/bin/sh

TARGET_DIR=/home/${USER}/public_html

find ${TARGET_DIR} -type f \
| grep '\(html\|php\)$' \
| xargs touch

以下のページを参考にさせていただきました。