Webスクレイピングとは?

Webのスクレイピング

Webスクレイピングとは?

WebスクレイピングはSEOでサイト分析のためによく使われる手法です。

WebスクレイピングはWebページからローカルファイルにインポートします。
ネットからデータを取得をして、別のWebサイトに転送する方法です。

Webスクレイピングの主な用途としてはサイト分析意外では、株価の把握や価格比較サイトが上げられます。

windowsのExcelでスクレイピングをすることもできます。
エクセルだけでなく「Webスクレイピングツール」というのもあります。

Pythonでスクレイピング

プログラミング言語のPythonでは言葉や統計に関する部分が強く、パイソンでスクレイピングを行っている人も多くいます。
ライブラリが揃っているために早く開発ができるからですね。

スクレイピングをPythonで行う場合にはライブラリのBeautiful Soupをインストールします。
タグやCSSのセレクタを正規表現でひっかけて読み込みます。

Scraperでスクレイピング

Chrome拡張「Scraper」は無料で使えます。

ScraperはChromeブラウザの拡張機能でブラウザに読み込まれたWebページからデータを抽出できます。

Scraperで、TwitterやWikipediaなどでCSSなどのタグを使って読み込むことができます。

ネットの技術は試しに操作をすると実感できるので
どんなものが抽出できるかやってみると面白いですね。