ビッグデータ（Big Data）

ビッグデータ（Big Data）とは、従来の道具では扱いきれないほど、量が多く、種類が多様で、しかも絶えず増え続けるデータの総称のことです。単に「大量のデータ」という意味ではなく、扱い方まで含めた言葉として使われます。

現実世界に例えると、ビッグデータは毎日届き続ける、山のような手紙の束のようなものです。一通ずつ読むには多すぎます。かといって捨てるには惜しい。まとめて傾向を掴む道具が要る、という状況です。

ビッグデータ図解

よくある誤解を正しておきます。データが大きいだけならビッグデータとは呼びません。表に収まらない形の情報が混ざり、しかも止まらずに増え続ける。この三つが重なったときに、従来のやり方が通用しなくなります。

供給源は身の回りにあふれています。SNSの投稿、店舗の購買記録、機械に付けた計測器、スマートフォンの位置情報、Webサイトの閲覧履歴。人が入力したものより、機械が自動で記録したもののほうが圧倒的に多くなっています。

すでに実用の段階にあります。需要を見越した在庫の調整、機械が壊れる前の予兆の検知、一人ひとりに合わせた商品の提案、交通量に応じた信号の制御。過去の集計ではなく、先を読む使い方が中心になっています。

従来のデータベースだけでは足りません。複数の機械で分担して処理する仕組みや、形の決まっていないデータをそのまま溜めておける保管場所が使われます。クラウド事業者がまとめて提供しており、自前で用意しなくても始められます。

近年の主役はここです。大量のデータは、そのままでは眺めきれません。AIに学ばせて初めて、人が気づけない規則性が引き出せます。逆にいえば、AIの精度を支えているのはデータの量と質のほうです。

現場でよく起きる失敗です。目的を決めないまま溜め続けると、費用だけがかさみ、誰も使わない置き場になります。何を知りたいのかを先に決め、そのために要るものを集める。この順序が守られているかが分かれ目になります。

避けて通れない論点です。単体では個人を特定できない情報でも、複数を組み合わせると特定できてしまうことがあります。法律の定めに従うのはもちろん、利用者にどう説明し、どこまで同意を得るかまで含めて設計する必要があります。技術として可能かどうかと、やってよいかどうかは別の話です。