AIに任せる仕事の線引き：Asanaの5年作業を2週間で刷新

Asanaはなぜ5年分の仕事を2週間で終えられたのか

タスク管理ツールを提供するAsanaのエンジニアリングチームは、社内の古いテストシステムを刷新する計画を持っていた。見積もりは5年。それだけ手間のかかる書き換え作業だったということだ。

実際にかかったのは2週間、費用は約1万2,000ドルだった。使ったのはOpenAIのコーディングエージェントCodexである。OpenAIの発表によれば、この置き換え作業は当初の見積もりから大幅に短縮された形で完了している。

なぜここまで縮まったのか。テストシステムの置き換えは、既存のコードを読み、同じ振る舞いをする新しいコードに書き換え、テストを通すという作業の繰り返しだ。正解がある。動くか動かないか、テストが通るか通らないかで検証できる。人間が延々と手を動かしていた反復作業を、AIが高速にこなした形だ。

この事例が示すのは「AIがすごい」ことではなく、検証可能な定型作業とAIの相性の良さだ。次に考えるべきは、どんな業務がこのタイプに当てはまるのかという線引きである。

AIに任せてよい業務の共通点は何か

Asanaのケースを分解すると、AIに向く業務にはいくつかの条件が揃っていたとわかる。

• 正解や合格ラインが明確(テストが通る・通らない)
• 作業の入力と出力が構造化されている(コードという形式知)
• 大量の反復が必要で、人がやると時間だけがかかる
• 途中経過を機械的に検証できる

この条件に当てはまる業務は、経理の突合作業、定型フォーマットの書類作成、既存データの変換や移行など、業種を問わず社内に埋もれている。共通するのは「正しさを機械が判定できる」という一点だ。

逆に言えば、この条件から外れる業務にAIを丸投げすると話が変わってくる。次に見るのは、その典型例である「優先順位付け」だ。

優先順位付けをAIに任せると何が起きるか

大勢や大量の項目を一気に順位づける作業は、人間にとって認知的負荷が高く、判断ミスが起きやすい。だからこそ「AIに任せれば公平に並べてくれるのでは」という期待が生まれやすい。

この期待に対して、LLMの順位付け能力を検証した研究Can LLMs Rank? A Tale of Triads and Triageが興味深い実験結果を示している。研究チームは、社会選択理論に基づき、全体を一度に並べるのではなく、二つずつのペア比較を積み重ねて全体順位を組み立てる手法を採用した。LLMをそのペア比較の判定者として使う場合、順位付けを始める前に判定そのものの一貫性を評価する必要があるという課題を指摘している。

検証の舞台に選ばれたのは、ホームレス支援サービスの配分先を決める課題と、救急部門で患者の優先度を決めるトリアージという、どちらも誤った順位が実害につながる領域だ。研究では3種類の主要なLLMを比較したところ、同じ判定を繰り返した際の一貫性と、実行のたびに順位が揺れる度合いという二つの軸で、モデルごとに異なる性能特性が見られた。研究では、判定に生じる循環的な矛盾の量を一貫性係数ζという指標で数値化し、判定者の信頼性を測っている。

つまりLLMは「もっともらしい順位」を出せても、その順位が毎回同じかどうか、内部で矛盾を抱えていないかどうかは、モデルによってばらつく。支援配分やトリアージのように誤りが人の生活や命に関わる場面では、この揺れは軽視できない。

結局、何をAIに任せ何を人が判断すべきか

Asanaのテストシステム刷新と、優先順位付けの研究を並べると、線引きの基準が見えてくる。

検証可能で正解が明確な作業はAIに任せて速度を取りに行っていい。コードの書き換え、データ変換、定型文書の作成はこちらに属する。人間が確認すべきは最終的なアウトプットが基準を満たしているかどうかであり、途中の作業量は問わない。

一方限られた資源や機会を人に割り振る優先順位付けは話が別だ。ホームレス支援の配分先や医療トリアージのように、誰が先に助けを受けるかを決める判断は、AIの出した順位を鵜呑みにせず、判定の一貫性を確認したうえで人が最終確認する工程を挟む必要がある。研究では、同じモデルに同じ判断を繰り返させても実行ごとに順位が変動する度合いをKendallのτという指標で捉えており、この変動が大きいモデルの出力を無検証で採用するのは危うい。

業務を任せる前に「この作業の正解は機械的に検証できるか」「この判断は人の資源配分や生活に直結するか」の二問を自問するだけで、任せる範囲がかなり絞り込める。

まとめ

「5年分の作業が2週間で終わった」という数字は魅力的だが、それはテストという明確な合格基準があったからこそ成立した話だ。優先順位付けのように正解が一つに定まらず、結果が人の生活に直結する判断は、AIの出力をそのまま採用せず、一貫性を確認したうえで人が最終判断を下す。この線引きを持てるかどうかが、AI活用の実務力を分ける。