Skip to content

LLM 前端集成方案

LLM 前端集成方案這個話題社區討論了很多次,但隨着版本迭代,很多結論需要更新。本文基於最新版本重新梳理。

入門指南

關鍵在於理解核心邏輯:

javascript
import { openai } from '@ai-sdk/openai'
import { streamText } from 'ai'

export async function POST(req) {
  const { messages } = await req.json()
  const result = await streamText({
    model: openai('gpt-4o'),
    messages,
    system: '你是一個專業的前端開發助手。',
    maxTokens: 2000
  })
  return result.toDataStreamResponse()
}

性能優化需要結合具體場景,不是所有情況都需要過度優化。

源碼分析

我們可以通過以下方式來改進:

javascript
'use client'
import { useChat } from 'ai/react'

export function AIChat() {
  const { messages, input, handleInputChange, handleSubmit, isLoading } = useChat({
    api: '/api/chat'
  })
  return (
    <div className="chat-container">
      {messages.map(m => (
        <div key={m.id} className={`message ${m.role}`}>
          <p>{m.content}</p>
        </div>
      ))}
      <form onSubmit={handleSubmit}>
        <input value={input} onChange={handleInputChange} />
        <button type="submit" disabled={isLoading}>發送</button>
      </form>
    </div>
  )
}

這套方案已經在線上穩定運行了半年以上,經過了實際驗證。

真實場景應用

先來看基本的實現方式:

javascript
import { openai } from '@ai-sdk/openai'
import { streamText } from 'ai'

export async function POST(req) {
  const { messages } = await req.json()
  const result = await streamText({
    model: openai('gpt-4o'),
    messages,
    system: '你是一個專業的前端開發助手。',
    maxTokens: 2000
  })
  return result.toDataStreamResponse()
}

這段代碼展示了基本的使用方式。實際項目中還需要考慮錯誤處理和邊界條件。

優化技巧

在這個基礎上,我們可以進一步優化:

javascript
'use client'
import { useChat } from 'ai/react'

export function AIChat() {
  const { messages, input, handleInputChange, handleSubmit, isLoading } = useChat({
    api: '/api/chat'
  })
  return (
    <div className="chat-container">
      {messages.map(m => (
        <div key={m.id} className={`message ${m.role}`}>
          <p>{m.content}</p>
        </div>
      ))}
      <form onSubmit={handleSubmit}>
        <input value={input} onChange={handleInputChange} />
        <button type="submit" disabled={isLoading}>發送</button>
      </form>
    </div>
  )
}

這種模式在大型項目中非常實用,能顯著降低維護成本。

小結

  • 團隊協作中約定和文檔比技術本身更重要
  • 關注社區動態,技術方案需要持續迭代
  • 不要為了用新技術而用新技術
  • 代碼示例僅供參考,需根據業務場景調整

MIT Licensed