しかし、ほとんどすべてのデータが動くとはいえ、すべてのデータが同じ速度、同じ頻度、同じような循環システム、サイズ、価値を持って動いているわけではない。
ストリームによる連続データ
クラウドコンピューティング、そこらじゅうにあるモバイルデバイス、そしてIoT(Internet of Things:モノのインターネット)のための地球上におけるインテリジェントな 「エッジ」 マシンの増加が実現させた「常にオンラインになっている世界」には、連続的なデータフローが存在している。これは自然とストリーム(流れ)と呼ばれることになった。
では、データストリーミングとは何か、それをどのように理解し、どのように扱うべきだろうか?
データストリーミングとは、計算と運用システムの現実を体現していて、データの要素(通常は小さいサイズ)が時間順を守りながらITシステム内を移動することを意味する。最終的にストリームを形成する連続的なフローの一部を構成するデータドロップレット(小さなデータ片)があらゆる場所で生成されている。たとえば多くの場合、ITの 各種「イベント」(ユーザーがマウスのボタンやキーボードを押すことから、アプリケーションがコードを実行して作業を実行するときに発生する非同期の変更まで)もデータ要素を生成するし、データストリーミングフローを形成する小さな要素は、ログファイル(アプリケーションやサービスによって行われるすべての行動ステップを追跡する小さなレコード) 、財務トランザクションログ、ウェブブラウザーの活動記録、IoTスマートマシンセンサーからの読み取り、地理情報またはテレメトリ情報、ビデオゲーム内の動きとアクション情報そして最も小さいデバイスからの計測レコードなどで構成されている可能性もある。
データ駆動に基く、データ中心型でデータ派生型のアプローチを採用している組織は、実践的な手順でデータストリーミングパイプラインをリアルタイムに分析し、ビジネスに発生している事態の詳細で正確なビューを得ることができる。データストリーミングプラットフォームを使用して、ストリーム内のすべてのデータレコードを順次処理する分析を実行することによって、組織はデータストリーミングパイプラインをサンプリング、フィルタリング、相関を調べ、集計を行い、ビジネス上の洞察と制御のための新しい層を作り始めることができる。