Versuri și jam live

Lângă creațiile audio stau trei unelte: un scriitor de versuri care verifică metrica și rima, alinierea versurilor care sincronizează rândurile cu un clip vocal și un jam live care transmite muzică generată pe care o dirijezi în timp real.

Scrierea versurilorCopiază linkul secțiunii

curl https://ai.codai.ro/v1/studio/lyrics \
  -H "Authorization: Bearer $CODAI_API_KEY" \
  -H "Content-Type: application/json" \
  -H "Idempotency-Key: song-7" \
  -d '{
    "brief": "o noapte de vară la mare, doi prieteni care se regăsesc",
    "language": "ro",
    "genre": "pop",
    "structure": ["verse", "chorus", "verse", "chorus"],
    "syllables_per_line": 8,
    "rhyme_scheme": "AABB",
    "lines_per_section": 4
  }'

Scriitorul rulează o singură tură codai limitată, cu un tool forțat, apoi verifică fiecare vers cu numărătorile proprii codai: silabe (regulile pentru română tratează diftongii, triftongii și hiatul; în engleză se numără grupurile de vocale după eliminarea unui -e / -es / -ed mut) și terminații de rimă (ultimul cuvânt de la vocala accentuată în română, de la ultimul grup de vocale în engleză, fără diacritice). Când peste 30 % din versuri nu se potrivesc — un număr de silabe în afara țintei ±1 sau un vers dintr-o pereche nerimată — o singură tură de reparare numește problemele și se întoarce cel mai bun dintre cele două răspunsuri (repaired: true când a câștigat reparația).

{
  "object": "studio.lyrics",
  "title": "Noapte de vară",
  "language": "ro",
  "rhyme_scheme": "AABB",
  "syllables_per_line": 8,
  "sections": [
    {
      "kind": "verse",
      "lines": [
        { "text": "Marea cântă lin sub lună", "syllables": 8, "rhyme": "una", "letter": "A", "off": false },
        { "text": "Ne-am regăsit iar împreună", "syllables": 8, "rhyme": "una", "letter": "A", "off": false }
      ]
    }
  ],
  "text": "[verse]\nMarea cântă lin sub lună\nNe-am regăsit iar împreună",
  "report": { "lines": 16, "off_lines": 1, "off_ratio": 0.063, "pairs": 8, "rhymed": 7, "repair_ratio": 0.125 },
  "repaired": false,
  "cost_micro_usd": "4210"
}

text este tot cântecul, cu un antet [kind] pe secțiune — îl trimiți ca lyrics_text la aliniere sau ca parametrul lyrics al music.generate_ace.

Facturare. Turele se taxează după tokeni sub modelul public codai (model de utilizare codai::lyrics, prompt caching activ). Mai întâi se rezervă în portofel o sumă mică, 20 000 µUSD (402 insufficient_funds dacă nu încape), decontată apoi cu costul real în tokeni. Când modelul nu reușește deloc să producă versuri răspunsul este 422 no_lyrics și se taxează doar turele care au rulat.

Alinierea versurilor la un clip (karaoke)Copiază linkul secțiunii

Alinierea sincronizează versurile scrise cu un clip dintr-o creație audio (sau video) și le scrie în doc.audio.lyrics printr-o singură editare setLyrics:

curl https://ai.codai.ro/v1/studio/lyrics/align \
  -H "Authorization: Bearer $CODAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "creative_id": "8a1c…",
    "clip_id": "vox1",
    "lyrics_text": "[verse]\nMarea cântă lin sub lună\nNe-am regăsit iar împreună",
    "language": "ro"
  }'

Gateway-ul ia marcajele de timp ale cuvintelor din asset-ul clipului — din cache-ul pe care subtitrările și alinierile anterioare îl lasă pe asset (gratuit, cached: true) sau dintr-o transcriere Whisper nouă a clipului (cel mult 25 MB) —, le mută pe cronologie ținând cont de tăierea, poziția și întinderea clipului și potrivește cuvintele versurilor cu cele transcrise printr-o aliniere tolerantă la diacritice și greșeli de tipar. Rândurile ale căror cuvinte nu s-au auzit se interpolează între vecini. Răspunsul:

{
  "object": "studio.lyrics_alignment",
  "creative_id": "8a1c…",
  "clip_id": "vox1",
  "applied": true,
  "seq": 12,
  "doc_hash": "…",
  "lines": [{ "startMs": 12040, "endMs": 14880, "text": "Marea cântă lin sub lună", "sectionId": "verse1" }],
  "lrc": "[ti:Noapte de vară]\n[00:12.04]Marea cântă lin sub lună\n…",
  "match_ratio": 0.94,
  "cached": false,
  "cost_micro_usd": "18000"
}

match_ratio este proporția cuvintelor din versuri potrivite cu un cuvânt auzit; sub aproximativ 0,6 sincronizarea e mai mult interpolată — verifică clipul și limba. LRC-ul se exportă și la randarea audio (lrc: true).

Facturare. Cuvintele din cache sunt gratuite. O transcriere nouă se taxează codai::lyrics-align la tariful speech-to-text — 6 000 µUSD pe minut început din clip — sub o rezervare în portofel. Alinierea are nevoie de un serviciu de transcriere din afara UE și nu e disponibilă pentru conturile cu rezidența datelor în UE (403 residency_unavailable); când transcrierea nu e configurată, răspunsul este 503 transcription_unavailable.

Jam live (WebSocket)Copiază linkul secțiunii

wss://ai.codai.ro/v1/studio/jam deschide o sesiune muzicală live pe Lyria RealTime: trimiți prompturi text ponderate și câteva controale muzicale, iar gateway-ul transmite înapoi audio generat continuu. OpenAPI nu poate descrie WebSockets, așa că protocolul e documentat aici.

ConectareaCopiază linkul secțiunii

Tokenii efemeri se emit cu POST /v1/tokens (scope realtime sau live). ?session_id= se înregistrează pe rândul de utilizare.

Client → gateway (cadre text JSON)Copiază linkul secțiunii

Mesajele trimise înainte ca upstream-ul să fie gata se pun în coadă. Orice altceva — JSON invalid, un tip necunoscut, un cadru binar — închide sesiunea cu 4400.

Gateway → clientCopiază linkul secțiunii

• Cadre binare: PCM16 little-endian brut, stereo intercalat, 48 000 Hz. Audio-ul se aruncă (nu se pune în buffer) cât timp socket-ul tău rămâne în urmă cu peste 4 MB.
• { "type": "status", "state": "connecting" | "ready" | "playing" | "paused" | "stopped", "remaining_ms", "sample_rate"?, "channels"? } — ready vine cu sample_rate: 48000 și channels: 2.
• { "type": "filtered", "text", "reason" } — filtrul de siguranță al modelului a ignorat un prompt.
• { "type": "error", "code", "message" } — trimis înaintea unui refuz sau a unei închideri din upstream.

Coduri de închidereCopiază linkul secțiunii

PrețuriCopiază linkul secțiunii

0,03 USD pe minut început din sesiunea upstream deschisă (model de utilizare codai::jam, upstream lyria-realtime-exp). Prețul pentru 10 minute (0,30 USD) se rezervă la deschiderea sesiunii și se decontează la închidere cu minutele folosite efectiv; o sesiune care nu ajunge la upstream nu se taxează. Lyria RealTime e un model experimental, așa că prețul se poate schimba. Prompturile și audio-ul nu se jurnalizează niciodată.

SDK-uriCopiază linkul secțiunii

const song = await codai.lyrics.write({ brief: 'o noapte de vară', language: 'ro', rhyme_scheme: 'AABB' });
const aligned = await codai.lyrics.align({ creative_id: id, clip_id: 'vox1', lyrics_text: song.text });

const jam = codai.jam.connect({ token }); // browser: token efemer
jam.on('audio', (ev) => player.push(new Int16Array(ev.data)));
jam.on('close', (ev) => console.log('închis', ev.code));
jam.prompts([{ text: 'pian lo-fi cald', weight: 1 }]);
jam.config({ bpm: 90, density: 0.4 });
jam.play();

song = client.lyrics.write("o noapte de vară", "ro", rhyme_scheme="AABB", syllables_per_line=8)
aligned = client.lyrics.align(creative_id, "vox1", song["text"])

TypeScript: lyrics.write / align, jam.connect (JamSession: prompts, config, play, pause, stop, reset, close, on; JAM_CLOSE_CODES). Python: lyrics.write / align; SDK-ul Python nu are un helper WebSocket — folosește orice client WebSocket cu protocolul de mai sus.