JS+Node.jsによるWebクローラー/ネットエージェント開発テクニック

クジラ飛行机

まだ、Webデータを手で集めていますか？
サーバーサイドJavaScriptでクローラーが簡単に作れる！
WebAPI経由でデータをゲット！レポートやPDF/Excel文書を自動作成！
豊富なスクリプトがすべてダウンロード可能！

定価: 3,520円（本体価格 3,200円）

発売日

2015年9月2日
判型／ページ数

B5変型／320ページ、オール2色
ISBN

978-4-88337-993-4

この書籍を購入する

この書籍を問い合わせる

概要
目次
正誤表・ダウンロード

まだ、Webデータを手で集めていますか？

サーバーサイドJavaScriptでクローラーが簡単に作れる！
WebAPI経由でデータをゲット！レポートやPDF/Excel文書を自動作成！
豊富なスクリプトがすべてダウンロード可能！

JavaScriptとNode.jsをベースに、さまざまなモジュールを駆使してWebのデータを集めよう！
そして、集めたデータの解析やレポート化もプログラムで自動化！

本書で紹介している技術
機械学習、画像認識、形態素解析、マルコフ連鎖、ベイジアンフィルタ、
GoogleCharts、各種SNSのWebAPIアクセス、HTML解析、リンク抽出、画像抽出他
本書で使用しているライブラリやモジュール
PhantomJS/CasperJS/CoffeScript/Electron/Node.js/Rhino/Nashorn/JScript

第１章　開発環境の準備

01節　JavaScript実行エンジンいろいろ
02節　エージェントとは何か？
03節　開発環境を構築しよう
04節　Node.jsモジュールのインストール
05節開発効率を高める

第２章　Web データの収集

01節　Webページのダウンロード
02節　HTMLの解析（リンクと画像の抽出）
03節　サイトを丸ごとダウンロード
04節　XML/RSSの解析
05節　定期的にダウンロードする

第３章　ログインの必要なWebサイトをクロールする

01節　PhantomJSとCasperJS
02節　ログイン後のデータをダウンロードする
03節　DOM解析手法とCSSセレクタ
04節　Electronでデスクトップアプリを作る
05節　Electronでスクリーンキャプチャ

第4章　データの整形と保存

01節　データの文字コードと変換について
02節　データの整形と正規表現について
03節　データ形式の基礎知識
04節　CoffeeScriptは必修項目
05節　データベースの使い方
06節　レポートの自動生成

第5章　　形態素解析で日本語を扱う

01節　形態素解析について
02節　文章にフリガナを振ろう
03節　マルコフ連鎖で文章を要約する
04節　簡単な文章校正ツールを作ろう
05節　語句の出現頻度を調べよう

第6章　クローラーのためのデータソース

01節　有益なデータソースの一覧
02節　Twitterからのダウンロード
03節　Facebookからのダウンロード
04節　はてなブックマークからのダウンロード
05節　Amazonからのダウンロード
06節　Flickrから写真のダウンロード
07節　YouTubeから動画のダウンロード
08節　Yahoo!Financeから為替や株のダウンロード
09節　Wikipediaからのダウンロード