現場のプロが伝える前処理技術 基礎から実践まで学ぶテーブルデータ／自然言語／画像データの前処理
石井大輔／著 漆畑充／著 及川大智／著 大下健史／著 オング優也／著
発売日：2020年8月
- ページ数
- ３１７ｐ
- ISBN
- 978-4-8399-7001-7
- 著者情報
- 石井 大輔（イシイ ダイスケ）
株式会社Ｋｉａｒａ（キアラ）代表取締役、Ｔｅａｍ ＡＩ代表。１９７５年岡山県生まれ。京都大学総合人間学部ではフランス史と数学（線形代数）ダブル専攻。伊藤忠商事のミラノとロンドンに駐在後、起業。２０１６年、機械学習の研究会コミュニティＴｅａｍ ＡＩを立ち上げる。現在メンバー８０００人。ＦｉｎＴｅｃｈ、医療などデータ分析ハッカソンなど７００回のイベントを実施。グループチャットのＡＩ自動化ツールＫｉａｒａを自社サービスとして構築
漆畑 充（ウルシバタ ミツル）
株式会社Ｃｒｏｓｓｔａｂ代表取締役。２００５年慶應義塾大学理工学部卒業、２００７年同大学院理工学研究科修士課程修了。２００７年株式会社金融エンジニアリング・グループ入社。金融機関向けデータ分析業務に従事。与信及びカードローンのマーケティングに関する数理モデルを作成。その後大手ネット広告会社デジタル・アドバタイジング・コンソーシアム株式会社にてアドテクノロジーに関するデータ解析を行う。またクライアントに対してデータ分析支援及び提言／コンサルティング業務を行う。統計モデルの作成及び特にビジネスアウトプットを重視した分析が得意領域である。その他開発実績としてデータ解析に関する特許を複数取得。２０１９年に株式会社Ｃｒｏｓｓｔａｂを創業し今に至る
及川 大智（オイカワ ダイチ）
岩手大学工学院デザイン・メディア工学専攻主席卒業。国際会議ＩＣＩＳＩＰ２０１４にて最優秀学生論文賞を受賞するなど国内外で多くの論文を発表。人工知能やデータ分析の分野で開発会社において新人優秀賞を受賞、データサイエンティストとして独立した後、現在は総合コンサルティングファームに勤務。大手企業向けのデータ分析や画像認識等のプロジェクトのコンサルティングや業務デザインなどを担当している
大下 健史（オオシタ タケヒト）
ブレインズコンサルティング株式会社（Ｂｒａｉｎｓ Ｃｏｎｓｕｌｔｉｎｇ，Ｉｎｃ．／略称ＢＣＩ）最高数理責任者（ＣＭＯ）。１９７９年岐阜県飛騨市生まれ。富山大学理学部数学科卒。北陸先端科学技術大学院大学情報科学研究科修了。大学院では、数理論理学領域における一般位相を使った意味論について研究を行う。その後、約１０年間システムエンジニアとして職務に従事。２０１４年ブレインズコンサルティング入社。２年後、最高数理責任者に就任。需要予測システムのエンジン開発、文章生成モデルの検証・プロトタイプ開発など、データによらず各種ＰｏＣ、プロトタイプ開発の推進などＡＩ／データ分析に関する案件に幅広く携わる
オング 優也（オング ユウヤ）
シリコンバレーで機械学習、ディープラーニング、確率的最適化やフェデレーテッドラーニング関連の研究開発を行っているリサーチソフトウェアエンジニア。ペンシルベニア州立大学情報科学部でデータサイエンスを専攻し、２０１９年に卒業。過去には感情認識と感情表現の研究や、画像処理などの開発なども行っていた
セブン-イレブン受取り(送料無料)
発送目安
発売日（発売日以降は当日）～2日で発送
宅配（送料¥550税込）
発送目安
発売日（発売日以降は当日）～2日で発送
交通状況・天候の影響や注文が集中した場合等、お届けにお時間をいただく場合がございます。
商品説明
データ分析、機械学習に携わるすべてエンジニアのための必携書。
昨今、データ分析や機械学習の手法は高度になり、また多くの分野で使われるようになってきています。しかし日常業務で扱っているデータは、複雑かつ不完全で、構造化されていないものも多くあり、そのままでは機械学習モデルに投入したり、適切に分析をすることができません。
本書では、そういった不完全なデータを、データ分析や機械学習で扱えるように整える、「前処理」に焦点を当てています。
「データサイエンティストの時間の90％はデータの前処理に費やされ、残りの時間は実際のモデルのトレーニングと展開に費やされる」とよく言われますが、それにもかかわらず、前処理をどのようにすれば良いかについては後回しにされがちです。
本書は、「テーブルデータ」「自然言語」「画像」の3種類のデータを取り上げ、それぞれについての前処理を詳細に説明しています。データに対してどのようなコードを書いて処理するか、ということだけにとどまらず、「現場ではまず何を行うか」「複数のアプローチがあり得る場合、どれを選ぶべきか」といった、プロならではの知恵も多く詰め込みました。
データ分析をこれから仕事にしたい人、すでに現場にいるけれども迷うことが多い方にとって、心強い助けとなる1冊です。
＜本書の構成＞
Chapter1 本書の概要
Chapter2 テーブルデータの前処理
2-1 テーブルデータの前処理
2-2 テーブルデータの前処理
2-3 データの結合と集約
2-4 テーブルデータの理解
2-5 カテゴリカル変数の処理
2-6 欠損値の処理
2-7 データスケーリング
2-8 データ変換
2-9 次元削減法
2-10 特徴量選択
Chapter3 自然言語の前処理
3-1 自然言語データ処理の基礎
3-2 テキスト読み込み
3-3 クレンジング
3-4 形態素解析
3-5 ベクトル化
3-6 オーグメンテーション
Chapter4 画像データの前処理
4-1 画像認識の流れ
4-2 ディレクトリ構成
4-3 画像の撮影
4-4 アノテーション
4-5 画像の読み込みと表示
4-6 切り抜きとリサイズ
4-7 画像の結合とスケーリング
4-8 データの分割
4-9 「データ拡張」で過学習を防ぐ
Chapter5 業界別データ活用動向
5-1 製造業におけるデータ取得と活用
5-2 金融業界におけるデータ取得と活用
5-3 マーケティングにおけるデータ取得と活用
5-4 小売データの取得と活用
※本書のプログラムは、Google Colaboratoryを使って実際に試しながら学べるようになっています。
目次
Chapter 1 本書について
1-1 本書の内容
1-2 本書の読者対象
1-3 本書の構造
Chapter 2 テーブルデータの前処理
2-1 テーブルデータの前処理
2-1-1 テーブルデータとは
2-1-2 前処理の過程
2-2 テーブルデータの前処理
2-3 データの結合と集約
2-3-1 縦結合
2-3-2 ID単位で値を集約
2-3-3 横結合
2-3-4 まとめ
2-4 テーブルデータの理解
2-4-1 探索的データアナリシス（EDA）
2-4-2 テーブル全体の理解
2-4-3 数値変数の分布
2-4-4 カテゴリカル変数の分布
2-4-5 変数間の相関
2-4-6 まとめ
2-5 カテゴリカル変数の処理
2-5-1 順序ラベルエンコーディング
2-5-2 ワンホットエンコーディング
2-5-3 ターゲットエンコーディング
2-5-4 まとめ
2-6 欠損値の処理
2-6-1 欠損値発生のメカニズム
2-6-2 基本的な欠損処理
2-6-3 欠損を除去する
2-6-4 欠損に値を代入する
2-6-5 欠損カテゴリを新たに作成する
2-7 データスケーリング
2-7-1 Min-Max 法
2-7-2 Zスコア標準化
2-7-3 10進スケールの正規化
2-7-4 スケーリング手法比較
2-8 データ変換
2-8-1 線形変換
2-8-2 二次型変換
2-8-3 変換の非多項式近似
2-8-4 ランク変換
2-8-5 Box-Cox 変換
2-9 次元削減法
2-9-1 次元の呪い
2-9-2 主成分分析（PCA）
2-9-3 因子分析
2-9-4 多次元尺度構成法
2-9-5 局所線形埋め込み
2-9-6 t-SNE
2-10 特徴量選択
2-10-1 特徴量選択の3手法
2-1
商品詳細
- シリーズ名
- Ｃｏｍｐａｓｓ Ｄａｔａ Ｓｃｉｅｎｃｅ
- 出版社名
- マイナビ出版
- サイズ
- ２４ｃｍ
- 対象年齢
- 一般
- フォーマット
- 単行本
注意事項
- 本の帯に関して
- 帯つきでの出荷はお約束しておりません。
商品ページに、帯のみに付与される特典物等の表記がある場合でも、確実に帯つきでの出荷はお約束しておりません。
また、帯は商品の一部ではなく「広告扱い」のため、帯の有無・破損による交換や返品は承っておりません。 - 版・表紙について
- 版・表紙（カバー）のご指定は承っておりません。ご注文いただくタイミングによっては、お届けする商品の版や表紙が商品ページ上のものとは異なる場合がございます。
また、初版にのみにお付けしている特典（初回特典、初回仕様特典）がある商品は、商品ページに特典の表記がされている場合でも、無くなり次第終了となります。
