夢を現実にするAIは誕生するのか。需要予測の歴史を紐解く

様々な要素が複雑に絡み合うビジネスにおいては、顧客の需要を予測する能力が、成功の決定的要因である。

消費者の未来のニーズや嗜好を推定する需要予測は、時間の経過とともに初歩的な手法からテクノロジーとデータ分析の力を活用した高度な手法へと進化してきた。この記事では職人の経験値と勘に頼ってきた需要予測が“アート”と呼ばれてきた時代から、ついにサイエンスになるまで、そして常に動き続ける市場と共に、アカデミアの遥か先まで進化し続ける需要予測のこれからを追ってみたい。

需要予測ホラーストーリー

商業の最初期の頃は、需要予測は主に直感と個人の経験に基づいていた。このアプローチは、比較的単純な運用を行う中小企業には十分だったかもしれないが、現代のビジネス環境の複雑な状況を乗り切るのに必要な精度に欠けていた。需要予測の複雑さは、何十年にもわたって企業を悩ませてきたのである。

1988年に掲載されたハーバードビジネスレビュー“Four Steps to Forecast Total Market Demand” William Barnettによる記事で概説されている、1970〜80 年代の需要予測の失敗例を見てみよう。

記事では冒頭で「最近の歴史には、業界全体の需要予測が不正確だったために重大な戦略的ミスを犯した企業、場合によっては業界全体の話が溢れています」と述べた上で、以下のような事例を挙げている。

・1974年、米国の電力会社は需要が年間7%増加するという予測に基づいて、1980年代半ばまでに発電能力を倍増させる計画を立てた。企業は稼働開始の5～10年前に新しい発電所の建設を開始しなければならないため、このような予測は極めて重要だ。しかし、1975 年から 1985 年の期間では、実際の負荷の増加率はわずか 2% であった。多くのプロジェクトが延期または中止されているにもかかわらず、過剰な発電能力は業界の財務状況に悪影響を及ぼし、顧客料金の上昇につながっている。

・1983 年から 1984 年にかけて、67 種類の新しいビジネス パソコンが米国市場に導入され、ほとんどの企業が爆発的な成長を期待していた。ある業界予測サービスは、1988 年までに設置ベースが 2,700 万台になると予測し、別の研究者は、1987 年までに 2,800 万台になると予測した。実際、1986 年までに出荷されたのはわずか 1,500 万台であった。その時までに、多くのメーカーが PC 市場から撤退するか、完全に廃業していた。

まさに企業の、本当にあったホラーストーリーである。

バーネット氏は記事の中でこう続けている。

「彼らは、過去に需要を推進していた関係は変わらずに続くだろうという、誤った基本的な前提を共有していました。(略)歴史が信頼できない指針になり得ることを誰も理解していませんでした」

数十年が経ち、企業は 80 年代初頭にはほとんど想像もできなかった膨大な量のデータを自由に使えるようになり、理論的には予測はより簡単かつ正確になるはずだった。しかし利益は得られていたが、予測は依然として古い履歴情報と単純化されたビジネスルールに依存する一か八かの推測ゲームの域に留まり、手作業とスプレッドシートの蔓延も問題を複雑にしていた。その結果、予測は絶えず変化する変数に適応できず、1 つの小さな見落としや計算ミスによって数百万ドル規模の影響が及ぶリスクが生じ続けてきた。

このような変化の結果、多くの経営者は伝統的な手法に不信感を持つようになった。
正確な需要予測への渇望、誕生の瞬間である。

夢想を現実に変える魔法

現代の需要予測の状況は、データの爆発的増加と前例のないAI技術の進歩によって特徴づけられている。企業はより深い洞察を引き出す可能性を秘めた豊富な情報にさらされ、機械学習や人工知能を含む高度なデータサイエンス分析技術の融合により、予測精度の新時代が到来した。

最新の需要予測は、過去の販売データのみに依存するものではない。市場動向や経済指標などに至るまで、さまざまな要素を統合する。この包括的なアプローチにより、企業は複雑な関係をモデル化し、これまで見落とされていたニュアンスを把握できるようになった。その結果、高い精度で予測を行い、在庫管理、リソース割り当て、マーケティング戦略などの重要な側面を最適化できるようになっている。

映画「バック・トゥ・ザ・フューチャー2」でビフが未来のスポーツ年鑑を過去で使いスポーツギャンブルで億万長者になるが、百発百中というのはそれくらい夢物語であるということは間違いない。ただし今人類は全力を懸けて、その予測精度を極限まで上げようと切磋琢磨し、将来的には夢物語が現実になる未来も近い？とすら考えられる。

具体例として、需要予測戦略で業界屈指の研究力を誇るAmazonの需要予測進化の変遷を辿ってみよう。

Amazon、鬼の需要予測進化

顧客が Amazonにたどり着く時には、”探している商品の在庫が確実にそこにある”という、本質的な期待がある。そしてオーダーすれば他に類をみない超速で配達される。それはもはや顧客間では当然の期待であり、それがAmazonのシグネチャーでもある。

しかし185 か国以上で 4 億以上の商品を販売しているとなると、製品の量が他産業に比較できないほど多く、すべての製品の余剰在庫を維持するにはコストが膨大になる。そう、Amazonにとって需要予測は死活的生存戦略なのである。

Amazon Scienceの2021年の記事「The history of Amazon’s forecasting algorithm -The story of a decade-plus long journey toward a unified forecasting model.-」
を詳しく見てゆこう。

まずは「タイムシリーズ」から

「Amazon で予測チームを立ち上げたとき、従業員は 10 名で、科学者はいませんでした」と、Amazon のサプライチェーン最適化テクノロジー (SCOT) 組織の予測サイエンスディレクターである Ping Xu 氏は語る。

2008 年、Amazon の予測システムは、標準的な教科書のタイムシリーズ(時系列予測)手法を使用して予測を行っていた。

このシステムは、上記の家庭用需要品など販売パターンが常態化している商品のシナリオで正確な予測を生成するが、これまで実績のない新商品や季節性の高い販売パターンの商品などについては、正確な予測を立てることができなかった。 チームは各シナリオを明確に見通す新しい方法を開発する必要に駆られ、統一予測モデルの開発に取り組みはじめた。

より複雑な「ランダムフォレスト」に入り込む

統一予測モデルの開発に取り組み始めたとき、複数のカテゴリーにわたって同じようなパターンを持つ商品が存在するという一見単純に見える洞察を得た。

たとえば、新製品と確立された歴史のある製品の間には明確な境界線があるが、新しいビデオゲームやPC機器の予測は、部分的には過去に発売された同様の製品のパターンから生成できる。予測チームは、需要、売上、製品カテゴリ、ページ ビューなどの情報から一連の特徴を抽出し、これらを使用してランダムフォレストモデルをトレーニングし始めた。ランダムフォレストは、多数のデシジョンツリーで構成される、一般的な機械学習アルゴリズムである。

Amazonはランダムフォレストアプローチの初期実装を作成し、Sparse Quantile Random Forest (SQRF) と名付けた。この実装により、単一のシステムでそれぞれに異なる機能が存在する可能性があるさまざまな製品ラインの予測を行うことができるようになった。SQRF は数百万の製品に拡張することもでき、Amazon が大規模な予測を行うための大きな変化をもたらした。

ただし、このシステムには重大な欠点があった。チームはモデルを手動で設計する必要があり、可能な限り最高の出力をもたらす入力変数を人間が定義する必要があったのである。
しかしディープラーニングの分野が本格化した 2013 年に、この状況は打開されることになった。

更に新しい「フィードフォワードニューラルネットワーク」へ

2013 年、機械学習コミュニティではディープ ラーニング(深層学習)を中心に大きな盛り上がりが見られ、画像認識の分野で大きな進歩があった。さらに、 THEANO などのテンサーフレームワークにより、開発者はディープ ラーニングモデルをその場で構築できるようになった。 (当時TensorFlowなどはまだ利用できなかった。)

ニューラルネットワークは、Amazon の予測チームにとって魅力的な可能性を秘めていた。理論的には、手動で機能を設計する必要がなくなる可能性がある。ネットワークは生データを取り込み、人間の入力なしで予測を生成するために必要な最も関連性の高い特徴を学習できるようになる。

試行錯誤の結果フィードフォワードネットワークにより、SQRF と比較して予測が大幅に向上することがわかった。これはチームが目指してきた画期的な進歩で、チームはついに大量の古いモデルの廃止を開始し、複数のシナリオ、予測、カテゴリに対して正確な予測を生成する統合予測モデルを利用できるようになった。その結果、予測精度が 15 倍向上し、システム全体が大幅に簡素化された。

「MQトランスフォーマー」でより膨大な数に立ち向かう

その後も更に予測精度が弱い部分の重箱の隅をつつくように、Amazon需要予測は驚異的な進化を遂げ続ける。

2018年には、コンピュータービジョンを使用して製品カタログのエラーを排除するMQ-RNN/CNN として知られる画期的なアプローチを「A Multi-Horizo​​n Quantile Recurrent Forecaster」という論文で発表した。

更にMQ-RNN/CNNに欠点があり、それをナチュラルランゲージプロセッサー(NLP)でカバーすることを研究し始める。世界中に大きな気づきをもたらした論文「Atention Is All You Need」で知られるアテンションメカニズムを用いて、システムが自身の履歴を研究し、予測精度を向上させ、予測の変動性を減らすことができるシステムを開発した。2020 年 12 月に発行された論文「MQTransformer: Multi-Horizo​​n Forecasts with Context dependent and Feedback-Aware Attendant」で概要が説明されている。

MQ Transformer により、Amazon は同社の膨大な商品全体にわたってさらに正確な予測を行える統合予測モデルを手に入れた。

そして「リインフォースメントラーニング」から更に未来へ

2021年の記事ではAmazon予測チームが深層強化学習モデルを開発中であることを公言している。在庫レベルではなく、コスト削減を直接最適化するシステムを設計し、予測精度を更に限界まで向上させるという強い視座で締めくくられている。2024年現在、その更に先へ進み始めていることは間違いない。

「Amazon は、実際に影響を与えることに基づいたイノベーションに重点を置いているため、科学者にとって特別な場所です」とディレクターの Xu 氏は語る。アカデミアでも、ここまでの速度で研究は進んでいない。

彼女の言葉が表すように、実社会への確実な影響と日々ダイナミックに撓み続けるデータの応報が繰り広げられるマーケットの中で、需要予測はこれからも加速度的に精度を上げてゆくだろう。

参考文献

Four Steps to Forecast Total Market Demand
by William Barnett
From the Magazine (July 1988), Harvard business review
https://hbr.org/1988/07/four-steps-to-forecast-total-market-demand

Demand Forecasting – Science or Art?
By Patty McDonald
Supply chain it：https://www.supplychainit.com/demand-forecasting-science-or-art/

The history of Amazon’s forecasting algorithm
The story of a decade-plus long journey toward a unified forecasting model.
2021, Amazon science
https://www.amazon.science/latest-news/the-history-of-amazons-forecasting-algorithm

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin. Attention Is All You Need. arXiv:1706.03762.

Ruofeng Wen, Kari Torkkola, Balakrishnan (Murali) Narayanaswamy, Dhruv Madeka. A multi-horizon quantile recurrent forecaster. NeurIPS 2017.

Carson Eisenach, Yagna Patel, Dhruv Madeka. MQTransformer: Multi-Horizon Forecasts with Context Dependent and Feedback-Aware Attention. arXiv:2009.14799v4 [cs.LG] 27 Jan 2022.