スクレイピングでハマる
Twitterアフィリエイトの案件選定用にスクレイピングしようとしたんですが、ムリでした。
最初はGASで出来たらなあって思ってたんだけど、動的サイトだったのでPhantomJsCloudのAPIを使ってみたんですよ。でもムリ。
じゃあ、Pythonでやろうと思ってとりかかったのですが、ヘッドレスで動かすと取得できません。悩んだり調べたりしてると、スクレイピングの判定ってユーザーエージェント以外にも色々あるそうで、そこの部分で弾かれてるようでした。
で、普通にSeleniumでスクレイピングしてみると、動かす度に結果が違う。取得できたり、できなかったり。
ダメだこりゃ。ということで結局手動でやることに。いやーホント疲れた。
スキルつけたいですね。
Twitter API 電話番号いらんやんか
で、昨日気付いたんですが、TwitterのAPIって登録に電話番号が不要になってるんですね。フリープランなら審査もなくなってました。
ということでサクっと登録。
今日GASで頑張ってみます。