※この記事は、AI Powered Businessが法人向けに有料で提供しているNewsletterの2023 week25の記事です。皆様のキャッチアップにお役に立てれば幸いです。

これまでのLLMは計算量、データセットサイズ、パラメーターサイズに比例して精度が高くなる、つまりこれらのサイズが大きければ大きいほど良いというパラダイムが支配的でした。

引用: Scaling Laws for Neural Language Models

上の図は計算量(Compute)、学習データ料(Dataset Size)、パラメーター数(Parameters) が大きくなればなるほど、間違いの率が低下している、つまりモデルの性能が高くなることを表します。

小さくても高精度なモデル phi-1

Microsoft Researchの研究チームが発表したphi-1はわずか13億パラメーターにも拘らず、HumanEvalにおいて1,750億パラメーターのGPT-3.5を上回るスコアを収めました。phi-1は近日中にも Hugging Face で公開される予定です。

引用: Textbooks Are All You Need

💬 Comment  

HumanEvalとは、LLMのパフォーマンスを評価するための一つの方法です。この手法は、人間の回答に対してLLMがどれくらい近い回答ができたかでLLMの性能を評価します。評価は解答能力を中心に行われ、問題はプログラミング、数学、論理的思考、一般的な知識など幅広い領域から選ばれます。

モデルを加速させるドライバー vLLM

vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention

vLLMは、既存のライブリのTransformers (HF)に対して最大で24倍、Text Generation Interface (TGI) に対して最大3.5倍の処理能力を達成しました。

従来型のLLM実行ライブラリではマシンのメモリがLLMのパフォーマンスを下げるボトルネックになっていることに着目したUCバークレーの研究チームは、メモリをより効率的に扱うことのできる実行ライブラリvLLMを開発しました。

研究者らの調査によると、既存のライブラリでは断片化と過剰予約によってメモリの60% ～ 80%が無駄になっていました。そこで研究者らは、コンピュータサイエンスに古くから存在する仮想メモリとページングの技術をLLMに応用したPagedAttendationというアルゴリズムを開発し、メモリ効率を大幅に向上させたライブラリを開発することに成功しました。

💬 Comment
vLLMは未だアカデミックレベルというわけではなく、既に公開されているLLM関連サービスの運用コストを削減することに貢献しており、実用レベルになっています。LMSYS Org. の Chatbot Areana ではGPUの数を50%削減することに成功しました。

あらゆるものにLLMが組み込まれる時代

Qualcomm CEO on the AI Evolution

Qualcommののクリスティアーノ・アモンCEOは22日、スマートフォンで生成系AIモデルを実行可能にする高性能半導体の開発に同社が取り組んでいると明らかにしました。

スマートフォン上でLLMが動作するということはサーバーとのやりとりが不要になるためより、デバイス上で高速に処理することが可能になるほか、セキュリティやプライバシー上の問題で取り扱いが難しいデータ (例えば生体データ) も、LLMのパワーを利用することができるようになります。

💬 Comment
産業用IoT機器の普及には、小型かつ暗号化計算能力の高いチップが安価に提供される必要があり、それには長い時間が必要とされると思われていました。しかしApple Watch等のスマートウォッチが爆発的に普及したおかげで、そのような暗号化アクセラレーター付きチップセットが大量生産され、安価に大量に仕入れられるようになり、産業用IoT機器は一気に普及しました。

今回もスマートフォンのような一般消費者向け製品がヒットすることで、LLMの計算アクセラレーターの研究開発が進み、専用チップが大量生産されることで産業エンタープライズの領域に一気に浸透する展開が予想されます。生産ラインのエッジコンピュータで動くLLMくらいは来年には実用化されるかもしれません。

LLM活用「具体的な活用イメージ湧かず」が37.8％

ChatGPTブームが追い風生成AIを活用・検討している企業、6割超え検討するも「具体的な活用イメージ湧かず」が37.8％、実践に課題

業務で活用

小規模な会社のため、ルールの策定はせずに対応できている。社内のアイデア出しやビジネスチャットにおける雑談相手、教育用途ではそのままの状態で十分実用になる。個人情報や非公開情報を入力しないなど一般的な注意事項を守れば、社内での利用を厳しく制限するのはデメリットの方が大きい（不動産）
ChatGPTや他のAIサービス等は個人で利用し、業務にも活用しているが、まだ個人レベル。会社全体で統一化した活用法については未定（出版・印刷）
アイデアに困ったときのヒントとして利用。社外秘情報や個人情報を含む質問は行わない（機械・器具卸売）
自分が相談する人脈のなかに、新たに有益な人物が加わったという感覚（不動産）
営業文書や品質文書の作成、技術的な課題の解決で利用している。誤った回答が多いので検証は必要だが、将来的にそこはクリアされると考えている（鉄鋼・非鉄・鉱業）

活用を検討中

ChatGPTを試しに利用しているレベル。文書作成やアイデア出しのたたき台としては使えそうな感触を得ている（専門サービス）
1人で事業を行っており、さまざまな質問に端的なアドバイスがもらえるので感心しているが、あくまでもアドバイス程度と捉えている。文献を調べる手間が省けて便利（建設）
まずは社内のFAQ的な部分から活用してみたい（金融）
不動産業における活用方法のイメージが湧かないため、業界で提案、指示、方法等の研修会が開催されるのを待っている（不動産）
生成AIによってエンジニアをはじめとする社員の能力が低下するのではないかという懸念点がる（情報サービス）
将来活用するのは間違いないが、今後の動向を踏まえて重点課題として長期的に取り組む予定（建設）

活用を検討していない

結論を導く一助とはなるであろうが、生成AIで得た情報が正確なものであるか、公序良俗に反してはいないかなど、信頼できるレベルにはないと思っている（建設）
我々の属する業界では、現在でもFAXが主流の通信手段で、AIサービスがシステムに組み込まれる状態にはまだなっていない（鉄鋼・非鉄・鉱業製品卸売）
現時点では活用を検討していない。しかし、業界的には今後調剤の業務自体が自動化され、生成AIも活用されるようになると思う。薬剤師はその最終確認のみ
業務となり、大幅な生産性向上が期待できる（医薬品・日用雑貨品小売）

ユースケース紹介「フィッシングサイト検出」

2023年6月に発表された論文 Detecting Phishing Sites Using ChatGPT で、ChatGPT (GPT-4) によって、フィッシングサイトを98%以上の精度で識別できることが明らかになりました。

URL・表示されるHTML・OCRで読み取ったテキスト情報をLLMが見比べて、ユーザーを騙そうとするサイトを検出させています。従来では大量のルールを作成し、それらのルールに引っかかったものを危険と判定していましたが、LLMを活用した場合は以下のプロンプトテンプレートだけでほぼ全てのフィッシングサイトを判定できることがわかりました。

使用されたPrompt Template

You are a web programmer and security expert tasked with examining a web page to determine if it is a phishing site or a legitimate site. To complete this task, follow these sub-tasks:

1. Analyze the HTML, URL, and OCR-extracted text for any social engineering techniques often used in phishing attacks. Point out any suspicious elements found in the HTML, URL, or text.
2. Identify the brand name. If the HTML appears to resemble a legitimate web page, verify if the URL matches the legitimate domain name associated with the brand, if known.
3. State your conclusion on whether the site is a phishing site or a legitimate one, and explain your reasoning. If there is insufficient evidence to make a determination, answer "unknown".
4. Submit your findings as JSON-formatted output with the following keys:
- phishing_score: int (indicates phishing risk on a scale of 0 to 10)
- brands: str (identified brand name or None if not applicable)
- phishing: boolean (whether the site is a phishing site or a legitimate site)
- suspicious_domain: boolean (whether the domain name is suspected to be not legitimate)

Limitations:
- The HTML may be shortened and simplified.
- The OCR-extracted text may not always be accurate.

Examples of social engineering techniques:
- Alerting the user to a problem with their account
- Offering unexpected rewards
- Informing the user of a missing package or additional payment required
- Displaying fake security warnings.

URL:
{URL}

HTML:
```
{Browser-rendered HTML}
```

Text extracted using OCR:
```
{OCR-extracted text}
```

💬 Comment  

従来なら数千数万件のデータが必要だったであろうAI開発が、たった33行のプロンプトで98%の精度まで出てしまうとは…。改めてLLMのベースの能力の高さに驚かされました。

コラム「on your dataを試してみた」

〜続きは法人プランでご覧になれます。〜

AI Powered Businessでは、法人向けにNewsletterを毎週1本、月4本お届けしています。

技術的なトレンドや市場の流れが変わり得るような大きなニュースについては、

こちらを読んでいただければ1通りキャッチアップできる、というようなものになりますので、

「最新の情報をキャッチアップしたいが、なかなか時間がとれない」

「キャッチアップはしているが、情報が多すぎるので要点のまとまった情報が欲しい」

と言う方にぴったりのNewsletterです。

Newsletterに関するお問い合わせは、下記のフォームよりご連絡ください。

Newsletterの記事一覧