เหตุผลที่ SDK ของ OpenAI ครอบคลุมสิ่งที่คุณต้องการ
เมื่อผู้คนค้นหา qwen api sdk พวกเขามักต้องการไลบรารีไคลเอนต์ที่จัดการการตรวจสอบสิทธิ์ การลองเรียกใหม่ การสตรีมมิง และการตอบกลับที่มีประเภทข้อมูล SDK ของ OpenAI ทำสิ่งเหล่านี้ทั้งหมดอยู่แล้ว และบริการนี้ใช้อินเทอร์เฟซ HTTP เดียวกัน: POST /v1/chat/completions, POST /v1/responses และ GET /v1/models ไคลเอนต์ใด ๆ ที่อนุญาตให้คุณเปลี่ยน base URL ได้สามารถเชื่อมต่อได้
ข้อชี้แจงหนึ่งประการก่อนที่คุณจะเริ่ม บริการนี้ไม่ใช่ API ทางการของ Alibaba หรือผู้ขายโมเดลรายอื่น และไม่ใช่ตัวกลางที่ส่งต่อคำขอของคุณไปยังที่อื่น เป็นโมเดล open-weight model เพียงโมเดลเดียว ที่ดำเนินการโดยผู้ให้บริการอิสระและปรับแต่งให้ตอบโดยไม่มีข้อปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย โมเดล ID เดียวที่คุณส่งคือ uncensored
สิ่งนี้ทำให้การย้ายระบบทำได้ง่าย หากโปรเจกต์ของคุณเรียกใช้โมเดลแชทแบบโฮสต์ผ่าน SDK ของ OpenAI อยู่แล้ว คุณเพียงเปลี่ยนสามค่า: base URL, คีย์ API และชื่อโมเดล ส่วนอื่น ๆ ในโค้ดของคุณไม่ต้องเปลี่ยนแปลง
ติดตั้งและเรียกใช้งานครั้งแรก
ติดตั้งแพ็กเกจทางการสำหรับ Python หรือ Node.js ไม่จำเป็นต้องเพิ่มการกำหนดค่าเฉพาะของบริการ
pip install openai
# Node: npm install openai
สร้างคีย์บนหน้า API key page จากนั้นส่งออกคีย์นั้นเพื่อไม่ให้คีย์ปรากฏในซอร์สโค้ดของคุณ
export API_KEY="paste-your-key-here"
นี่คือสคริปต์ Python ขั้นพื้นฐานที่สุด ไคลเอนต์จะอ่านคีย์จากตัวแปรสภาพแวดล้อมและส่งคำขอไปยังบริการแทนที่จะส่งไปยัง OpenAI
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.uncensoredqwen.com/v1",
api_key=os.environ["API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise technical assistant."},
{"role": "user", "content": "Explain what a context window is in two sentences."},
],
temperature=0.7,
)
print(resp.choices[0].message.content)
print(resp.usage)
หากคุณต้องการใช้ HTTP ดิบ คำขอเดียวกันใน curl มีลักษณะดังนี้:
curl https://api.uncensoredqwen.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Say hello."}]}'การตอบกลับแบบสตรีมมิงด้วย SDK
ตั้งค่า stream=True แล้ววนลูปผ่านชิ้นข้อมูล บริการส่งเหตุการณ์ที่ส่งจากเซิร์ฟเวอร์และรายงานการใช้งานโทเคนที่ท้ายสตรีม ดังนั้นคุณจึงบันทึกต้นทุนได้โดยไม่ต้องเรียกใช้ครั้งที่สอง
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredqwen.com/v1",
api_key=os.environ["API_KEY"])
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a short product description for a desk lamp."}],
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if getattr(chunk, "usage", None):
print("\nTokens:", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)
โปรดจำไว้ว่าคำขอแบบสตรีมมิงจะสงวนช่องการทำงานพร้อมกันไว้จนกว่าสตรีมมิงจะสิ้นสุด หากผู้บริโภคข้อมูลช้าหรือคุณลืมปิดสตรีมมิง คุณจะชนกับขีดจำกัดการทำงานพร้อมกันเร็วกว่าที่คาด
รูปแบบเดียวกันใน Node.js:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredqwen.com/v1",
apiKey: process.env.API_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Name three uses of JSON mode." }],
stream: true,
});
for await (const chunk of stream) {
process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}การเรียกใช้ฟังก์ชันและโหมด JSON
พารามิเตอร์ SDK ที่คุณใช้สำหรับ tools อยู่แล้วจะส่งผ่านตรง ๆ: tools, tool_choice, tool_calls แบบสตรีม และผลลัพธ์ที่ส่งกลับเป็น messages ด้วย role: "tool" การเรียกใช้งานแบบครบวงจรมีลักษณะดังนี้:
import os, json
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredqwen.com/v1",
api_key=os.environ["API_KEY"])
tools = [{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up an order by id",
"parameters": {
"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"],
},
},
}]
messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
call = first.choices[0].message.tool_calls[0]
messages.append(first.choices[0].message)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps({"status": "shipped"}),
})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
สำหรับผลลัพธ์ที่มีโครงสร้าง ให้ส่ง response_format={"type": "json_object"} และระบุ "ตอบกลับเป็น JSON" ในพรอมต์ โหมด JSON สั่งให้โมเดลสร้างผลลัพธ์เป็น JSON แต่โค้ดของคุณควรทำการแยกวิเคราะห์และตรวจสอบชื่อฟิลด์และประเภทข้อมูลก่อนนำไปใช้
การตั้งค่าการสุ่มตัวอย่างเช่น temperature, top_p, stop, seed และค่าปรับจะถูกส่งผ่าน ดังนั้นการปรับแต่งที่มีอยู่จึงสืบทอดมาได้
จัดการข้อผิดพลาด 429 และอ่าน headers
SDK จะยกเว้น rate-limit exception เมื่อ HTTP 429 และส่วน body ของการตอบสนองจะบอกคุณว่าคุณชนกับขีดจำกัดใด คีย์แบบเต็มอนุญาตให้ทำคำขอพร้อมกัน 8 คำขอและ 300 คำขอต่อนาที คีย์แบบทดลองอนุญาตให้ทำคำขอพร้อมกัน 2 คำขอและ 60 คำขอต่อนาที
| รหัสข้อผิดพลาด | ความหมาย | สิ่งที่ควรทำ |
|---|---|---|
rate_limited | คำขอเกินต่อนาที | กระจายการเรียกใช้งานหรือเพิ่มตัวจำกัดฝั่งไคลเอนต์ |
concurrency | คำขอพร้อมกันมากเกินไป | จำกัดขนาด worker pool ไว้ที่ 8 (2 สำหรับคีย์แบบทดลอง) |
429 พร้อม Retry-After: 5 | โอเวอร์โหลดชั่วคราว | รอ 5 วินาทีแล้วลองใหม่ |
ทุกการตอบกลับมี X-Request-Id, X-Balance-USD, X-RateLimit-Limit-Requests และ X-RateLimit-Limit-Concurrency เพื่ออ่านค่าเหล่านี้ด้วย SDK ของ Python ให้ใช้ wrapper response ดิบ:
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredqwen.com/v1",
api_key=os.environ["API_KEY"])
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": "ping"}],
max_tokens=5,
)
print("Balance:", raw.headers.get("X-Balance-USD"))
print("Request id:", raw.headers.get("X-Request-Id"))
completion = raw.parse()
คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกคิดเงิน ดังนั้นการลองเรียกใหม่หลังจากได้รับข้อผิดพลาด 429 จึงไม่ทำให้คุณเสียค่าใช้จ่ายสองเท่า บทความที่มีอยู่เกี่ยวกับ ข้อผิดพลาด Qwen API ที่พบบ่อย ครอบคลุมข้อผิดพลาดในการตั้งค่าอื่น ๆ ที่ผู้คนมักพบ
ต้นทุนของการเรียก
ราคาอยู่ที่ $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens ซึ่งหักจาก prepaid credit ลองคำนวณคำขอที่มี 2,000 prompt tokens และ 500 completion tokens:
- อินพุต: 2,000 x $0.15 / 1,000,000 = $0.0003
- เอาต์พุต: 500 x $0.50 / 1,000,000 = $0.00025
- รวม: $0.00055
เครดิตทดลองใช้ $0.50 ครอบคลุมคำขอประมาณ 900 คำขอขนาดนั้น ($0.50 / $0.00055 มีค่าประมาณ 909) เครดิตทดลองใช้ได้เพียงคลิกที่หน้าคีย์หลังการสมัคร ไม่ต้องใช้บัตร และใช้งานได้ 7 วัน; บทความระดับฟรี อธิบายวิธีการทำงาน การเติมเงินแบบชำระเงินเริ่มต้นที่ $20 และ หน้าราคา แสดงระดับโบนัสและวิธีการชำระเงินที่ยอมรับ
บริบทคือ 100,000 โทเคนสำหรับพรอมต์และการสร้างรวมกัน และ max_tokens เป็นค่าไม่บังคับ การตั้งค่าค่านี้นับเป็นนิสัยที่ดีเมื่อคุณต้องการขอบเขตบนที่คาดการณ์ได้สำหรับต้นทุน
การย้ายโปรเจกต์ที่มีอยู่
ผู้อ่านส่วนใหญ่เข้ามาพร้อมโค้ดที่เรียกใช้โมเดลแชทอยู่แล้ว รายการตรวจสอบสั้นๆ จะช่วยให้การเปลี่ยนไปใช้งานราบรื่น:
- เปลี่ยน
base_url(หรือbaseURLใน Node) เป็นhttps://api.uncensoredqwen.com/v1โดยคงส่วนต่อท้าย/v1ไว้ และอย่าเพิ่ม/chat/completionsเอง เพราะ SDK จะเพิ่มพาธให้ - แทนที่คีย์ด้วยคีย์จากบัญชีของคุณ การตรวจสอบสิทธิ์ใช้หัวข้อความมาตรฐาน
Authorization: Bearerซึ่ง SDK จะสร้างให้เอง - เปลี่ยนชื่อโมเดลเป็น
uncensoredคำขอที่มีชื่อโมเดลที่ไม่รู้จักจะล้มเหลว ดังนั้นให้ค้นหาโค้ดของคุณเพื่อหาชื่อที่เขียนตายตัว - ลบฟิลด์คำขอสำหรับฟีเจอร์ที่บริการนี้ไม่มี เช่น การป้อนภาพหรือการเรียกใช้ embeddings
- เรียกใช้
GET /v1/modelsเพื่อทดสอบการทำงาน หากผลลัพธ์แสดงโมเดล แสดงว่า URL และคีย์ของคุณถูกต้อง
เฟรมเวิร์กที่ห่อหุ้มไคลเอนต์ OpenAI มักจะเปิดเผยการตั้งค่าสองอย่างนี้ภายใต้ชื่อเช่น openai_api_base หรือ OPENAI_BASE_URL หากเครื่องมือของคุณมีตัวแปรสภาพแวดล้อมสำหรับ URL ฐาน คุณสามารถเปลี่ยนแอปพลิเคชันทั้งหมดได้โดยไม่ต้องแก้ไขซอร์สโค้ด ให้ทดสอบด้วยคีย์ทดลองก่อน เนื่องจากขีดจำกัดที่ต่ำกว่าคือ 2 คำขอพร้อมกันและ 60 คำขอต่อนาที จะแสดงให้เห็นอย่างรวดเร็วว่าแอปของคุณเปิดการเชื่อมต่อแบบคำขอพร้อมกันมากกว่าที่คุณวางแผนไว้หรือไม่
การจัดการบริบทก็ควรตรวจสอบอีกครั้งเช่นกัน หน้าต่างบริบทที่นี่คือ 100,000 โทเคนที่ใช้ร่วมกันระหว่างพรอมต์และคำตอบ หากการตั้งค่าเก่าของคุณตัดประวัติออกให้มีขนาดต่างกัน คุณสามารถปรับการตัดนั้นให้ผ่อนคลายหรือเข้มงวดขึ้นเพื่อให้ตรงกัน แต่ให้ระวังต้นทุนในการส่งประวัติที่ยาวนานกลับมาในทุกขั้นตอน
คำแนะนำเชิงปฏิบัติสำหรับโค้ดการผลิต
- เก็บคีย์ไว้นอก repo อ่านคีย์จากตัวแปรสภาพแวดล้อมหรือที่เก็บความลับ ตามตัวอย่างข้างต้น
- ตั้งค่าเวลาหมดอายุ SDK รับอาร์กิวเมนต์
timeoutบนไคลเอนต์ การสร้างข้อความแบบยาวด้วยสตรีมมิงต้องการเวลาอ่านที่เพียงพอ - จำกัดจำนวน worker thread pool หรือ semaphore ที่มีขนาดตามขีดจำกัด concurrency ของคุณจะช่วยหลีกเลี่ยงข้อผิดพลาด 429 ได้ส่วนใหญ่ก่อนที่มันจะเกิดขึ้น
- บันทึก request id หากคุณติดต่อฝ่ายสนับสนุน ค่าจาก
X-Request-Idจะระบุคำขอนั้น - ติดตามยอดเงิน อ่านค่า
X-Balance-USDจาก response หรือเรียกใช้GET /v1/balanceเพื่อให้ batch job หยุดก่อนที่เครดิตจะหมด
โมเดลนี้รองรับเฉพาะข้อความเท่านั้น ไม่มีสร้างภาพ เสียง หรือวิดีโอ ไม่มี embeddings และไม่มี fine-tuning ดังนั้นอย่าวางแผนโดยอ้างอิงวิธีการ SDK เหล่านี้ รายละเอียดพารามิเตอร์ทั้งหมดอยู่ใน เอกสารประกอบ พรอมต์ไม่ถูกใช้ในการฝึกฝน
