Pythonによるスクレイピングでイベント情報を収集できるようにする
以下の本を読みつつ、現在頑張ってプログラミングしています。
スクレイピングについて知識を深めることができる本。Windowsについてはそこまで記述はないものの、基礎的なスクレイピング(CSSセレクター、RSSなど、対象のウェブサイトのHTML構造を見る)から、データをデータベースに保存する方法(MySQL)、PythonからMySQLに接続できるようにする(mysqlclient)など、一通りのことを学べる。
さらに並列処理や定期的な実行・周期的な実行(CRON)、通知機能をつけられることに加え、以下のような実践的な内容も盛り込まれている。
・JavaScriptd描画されるページをスクレイピングする
・ソーシャルブックマークで気になる話題を自動ブックマーク
・公的なオープンデータの利用
・文化施設のイベントを通知
これを軸にアイデアをふくらませ、まずはスクレイピングで思った通りのデータを入手できるように早くしたい。色々とエラーも起こって、難しいが・・・。