Neden OpenAI SDK'sı ihtiyacınız olanı karşılıyor
Bir qwen api sdk aradıklarında, genellikle kimlik doğrulama, yeniden denemeler, akış ve tür güvenli yanıtları yöneten bir istemci kütüphanesi isterler. OpenAI SDK'ları zaten bunun tamamını yapar ve bu hizmet aynı HTTP arayüzünü uygular: POST /v1/chat/completions, POST /v1/responses ve GET /v1/models. Temel URL'yi geçersiz kılmanıza olanak tanıyan herhangi bir istemci ile iletişim kurabilirsiniz.
Başlamadan önce bir açıklama. Bu, Alibaba'nın veya başka bir model satıcısının resmi API'si değil ve isteklerinizi başka yere yönlendiren bir yönlendirici de değil. Yasal yetişkin kullanım için içerik reddi olmadan cevap vermeye ayarlanmış tek bir açık ağırlıklı modeldir. Geçirdiğiniz tek model ID'si uncensored'dir.
Bu, geçişi basitleştirir. Projeniz zaten OpenAI SDK'sı üzerinden barındırılan bir sohbet modelini çağırıyorsa, üç değeri değiştirirsiniz: temel URL, API anahtarı ve model adı. Kodunuzdaki başka hiçbir şeyin taşınması gerekmez.
Kurulum ve ilk çağrı
Python veya Node için resmi paketi kurun. Eklenmesi gereken hizmete özgü bir şey yok.
pip install openai
# Node: npm install openai
API anahtarı sayfasında bir anahtar oluşturun, ardından kaynak kodunuza girmemesi için onu dışa aktarın.
export API_KEY="paste-your-key-here"
Şimdi en küçük kullanışlı Python betiği. İstemci anahtarı ortamdan okur ve OpenAI'ye değil, hizmete istek gönderir.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.uncensoredqwen.com/v1",
api_key=os.environ["API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise technical assistant."},
{"role": "user", "content": "Explain what a context window is in two sentences."},
],
temperature=0.7,
)
print(resp.choices[0].message.content)
print(resp.usage)
Ham HTTP tercih ederseniz, aynı istek curl ile şöyle görünür:
curl https://api.uncensoredqwen.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Say hello."}]}'SDK ile akış yanıtları
stream=True ayarını yapın ve parçalar üzerinden döngü kurun. Servis, sunucu tarafından gönderilen olayları (SSE) gönderir ve akışın sonunda token kullanımını bildirir; böylece ikinci bir istek yapmadan maliyeti loglayabilirsiniz.
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredqwen.com/v1",
api_key=os.environ["API_KEY"])
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a short product description for a desk lamp."}],
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if getattr(chunk, "usage", None):
print("\nTokens:", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)
Bir şeyi aklınızda tutun: akışlı bir istek, akış bitene kadar eşzamanlılık slotunu tutar. Bir tüketici yavaşsa veya akışı kapatmayı unutursanız, beklediğinizden daha erken eşzamanlılık sınırına takılırsınız.
Node'da aynı desen:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredqwen.com/v1",
apiKey: process.env.API_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Name three uses of JSON mode." }],
stream: true,
});
for await (const chunk of stream) {
process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}Araç çağırma ve JSON modu
Zaten araçlar için kullandığınız SDK parametreleri doğrudan geçer: tools, tool_choice, akışlı tool_calls ve sonuçlar role: "tool" ile mesaj olarak gönderilir. Minimal bir gidiş-dönüş işlemi şöyle görünür:
import os, json
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredqwen.com/v1",
api_key=os.environ["API_KEY"])
tools = [{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up an order by id",
"parameters": {
"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"],
},
},
}]
messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
call = first.choices[0].message.tool_calls[0]
messages.append(first.choices[0].message)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps({"status": "shipped"}),
})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
Yapılandırılmış çıktı için response_format={"type": "json_object"} parametresini geçin ve istemde ayrıca "yanıtı JSON olarak ver" deyin. JSON modu modelden JSON çıktısı ister, ancak kodunuz bunları kullanmadan önce alan adlarını ve türleri ayrıştırmalı ve doğrulamalıdır.
temperature, top_p, stop, seed gibi örnekleme ayarları ve cezalar doğrudan iletilir; bu nedenle mevcut ince ayarlar korunur.
429 hatalarını işleyin ve başlıkları okuyun
SDK HTTP 429'da bir hız limiti istisnası fırlatır ve yanıt gövdesi hangi limite takıldığınızı söyler. Tam anahtar 8 eşzamanlı istek ve dakika başına 300 istek izin verir. Deneme anahtarı 2 eşzamanlı istek ve dakika başına 60 izin verir.
| Hata kodu | Anlamı | Ne yapılmalı |
|---|---|---|
rate_limited | Dakika başına çok fazla istek | Çağrıları dağıtın veya bir istemci tarafı sınırlayıcı ekleyin |
concurrency | Aynı anda çok fazla istek | İşçi havuzunuzu 8 ile sınırlayın (deneme anahtarında 2) |
429 ile Retry-After: 5 | Geçici aşırı yüklenme | 5 saniye bekleyin ve yeniden deneyin |
Her yanıt X-Request-Id, X-Balance-USD, X-RateLimit-Limit-Requests ve X-RateLimit-Limit-Concurrency başlıklarını taşır. Python SDK ile okumak için ham yanıt sarmalayıcısını kullanın:
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredqwen.com/v1",
api_key=os.environ["API_KEY"])
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": "ping"}],
max_tokens=5,
)
print("Balance:", raw.headers.get("X-Balance-USD"))
print("Request id:", raw.headers.get("X-Request-Id"))
completion = raw.parse()
Başarısız veya reddedilen istekler için ücret alınmaz; bu nedenle 429 hatasından sonra yapılan bir yeniden deneme sizden iki kez ücret talep etmez. Mevcut makalede yaygın Qwen API hataları hakkında daha fazla kurulum hatası ele alınır.
Bir çağrının maliyeti nedir
Fiyatlandırma 1M girdi token başı $0,15 ve 1M çıktı token başı $0,50'dir, ön ödemeli krediden ödenir. 2.000 istem token ve 500 tamamlama token içeren bir istek alın:
- Girdi: 2.000 x $0,15 / 1.000.000 = $0,0003
- Çıktı: 500 x $0,50 / 1.000.000 = $0,00025
- Toplam: $0,00055
$0,50 deneme kredisi, bu boyuttaki yaklaşık 900 isteği karşılar ($0,50 / $0,00055 yaklaşık 909 eder). Deneme, kayıt sonrası anahtar sayfasında tek tıkla başlar, kart gerektirmez ve 7 gün sürer; ücretsiz katman makalesi nasıl çalıştığını açıklar. Ücretli bakiye yükleme işlemleri $20'dan başlar ve fiyatlandırma sayfası bonus katmanlarını ve kabul edilen ödeme yöntemlerini listeler.
Bağlam penceresi, istem ve tamamlama birlikte 100.000 token içerebilir ve max_tokens isteğe bağlıdır. Maliyet için öngörülebilir bir üst sınır istediğinizde bunu ayarlamak iyi bir alışkanlıktır.
Mevcut projeyi taşıma
Çoğu okuyucu zaten bir sohbet modelini çağıran kodla gelir. Kısa bir kontrol listesi geçişi sorunsuz tutar:
base_url(veya Node'dabaseURL) değerinihttps://api.uncensoredqwen.com/v1olarak değiştirin./v1sonekini koruyun ve SDK yol eklediği için/chat/completions'i kendiniz eklemeyin.- Anahtarı hesabınızdan aldığınız anahtarla değiştirin. Kimlik doğrulama, SDK'nın sizin için oluşturduğu standart bir
Authorization: Bearerbaşlığıdır. - Model adını
uncensoredile değiştirin. Bilinmeyen bir model adıyla yapılan istekler başarısız olur; bu nedenle kod tabanınızda sabit kodlanmış adları arayın. - Hizmetin sunmadığı özellikler için herhangi bir istek alanını kaldırın, örneğin görüntü girdileri veya gömme çağrıları.
- Duman testi olarak
GET /v1/modelsçağrısını çalıştırın. Model listeleniyorsa URL ve anahtarınız doğrudur.
OpenAI istemcisini saran çerçeveler genellikle openai_api_base veya OPENAI_BASE_URL gibi adlar altında aynı iki ayarı sunar. Aracınızın base URL için ortam değişkeni sunması halinde, kaynak koduna dokunmadan tüm uygulamayı değiştirebilirsiniz. Daha düşük hız limitleri olan 2 eşzamanlı istek ve dakikada 60 istek sınırı, uygulamanızın planladığınızdan daha fazla paralel bağlantı açıp açmadığını hızla gösterdiği için önce deneme anahtarıyla test edin.
Bağlam işleme de ikinci bir bakışa değer. Pencere burada istem ve tamamlama tarafından paylaşılan 100.000 token içindir. Eski kurulumunuz geçmişi farklı bir boyuta kısalttıysa, bu kısaltmayı buna göre gevşetebilir veya sıkılaştırabilirsiniz, ancak her adımda uzun bir geçmişi yeniden göndermenin maliyetine dikkat edin.
Üretim kodu için pratik ipuçları
- Anahtarı depoya koymayın. Yukarıdaki örneklerde olduğu gibi bir ortam değişkeninden veya gizli değer deposundan okuyun.
- Zaman aşımı ayarlayın. SDK, istemciye bir
timeoutbağımsız değişkeni kabul eder. Streaming ile uzun üretimler için cömert bir okuma zaman aşımı gereklidir. - İşçilerinizi sınırlandırın. Eşzamanlılık sınırınıza uygun bir iş parçacığı havuzu veya yarımparçak, çoğu 429 hatasını oluşmadan önler.
- İstek kimliğini günlüğe kaydedin. Destek ile iletişime geçtiğinizde,
X-Request-Iddeğerinden elde edilen değer çağrıyı tanımlar. - Bakiyeyi izleyin. Yanıtlardan
X-Balance-USD'i okuyun veyaGET /v1/balanceçağrısı yapın; böylece bir toplu iş, kredi tükenmeden önce durabilir.
Model yalnızca metin içindir. Görüntü, ses veya video oluşturma, gömme ve ince ayar yoktur, bu nedenle bu SDK yöntemlerini planlamayın. Tüm parametre ayrıntıları dokümantasyonda yer alır. İstemler eğitim için kullanılmaz.
