Ray3.2 — видеомодель Luma
Ray3.2 держит четыре режима работы в одной модели и принимает до шестнадцати ключевых кадров внутри клипа — их же в монтажной среде называют кейфреймами. Прежние поколения брали стартовый кадр, иногда ещё финальный, а всё между ними достраивали сами; здесь момент перелома задаёт автор.
Четыре режима
Клип из текста
Описание сцены на входе, на выходе — 5 или 10 секунд видео. Своего звука нет.
Клип из фотографии
Снимок оживает и получает движение камеры. Ключевых кадров тут тоже шестнадцать.
Modify Video
Готовый ролик пересобирается в другой стилистике, а движение, тайминг и игра актёра переходят из оригинала. Мимика снимается сразу с восьми лиц, поза и жест держатся по скелету.
Reframe
Смена соотношения сторон достройкой краёв кадра, а не обрезкой. Звук оригинала остаётся.
Характеристики
- Разрешение
- 360p, 540p, 720p по умолчанию и 1080p
- Длина клипа
- 5 или 10 секунд из текста и из фото
- Modify Video
- до 20 секунд при 24 кадрах в секунду, 15 при 30, 7 при 60
- Ключевые кадры
- до 16 в одном клипе
- Соотношения сторон
- 9:16, 3:4, 1:1, 4:3, 16:9 и 21:9
- Форматы вывода
- mp4, а также 16-битный HDR и EXR в ACES2065-1
- Форматы исходника
- mp4, mov и wmv, не длиннее 30 секунд
- Звук
- своего звука у генерации нет, Modify Video и Reframe сохраняют исходный
- Лица в кадре
- мимика переносится на восьми лицах одновременно
Про максимальную длину исходника для Reframe на странице Luma стоят два разных числа: в одном ответе — 16 секунд, в другом — 12. Поэтому здесь оно не названо.
Как выглядит рабочий промт
Промт пишется по-английски: Luma рекомендует это прямо, на других языках результат менее предсказуемый. Длина клипа, разрешение и соотношение сторон в текст не пишутся — они выбираются в настройках генерации, а ключевые кадры ставятся на холсте. Тексту остаётся всё остальное: кто в кадре, что он делает, куда едет камера, каким объективом снято, откуда бьёт свет, какая палитра и в каком темпе идёт сцена.
Клип из текста: сухой док ночью
A night-shift welder in a heavy canvas jacket steps out from behind the half-built hull of a ship in a cavernous dry dock and lifts his visor. Sparks from the rig behind him drift past his shoulder in slow arcs. The camera begins as a low wide shot at floor level, then pushes in and rises to chest height, ending on a medium close-up as he squints into the work lamps; one continuous move, no cuts. Anamorphic 40mm lens, shallow depth of field, the far end of the dock falling into soft blue haze. Hard sodium work lamps overhead, a cold floodlight spilling in from the left, the sparks the only warm source. Steel grey, deep navy and ember orange. Unhurried pace, the push-in slowing to a stop on the last beat.
Первая фраза даёт героя и действие, вторая — движение внутри кадра, третья ведёт камеру от общего плана к среднему и прямо запрещает склейку. Дальше идут объектив и глубина резкости, потом три источника света поимённо, палитра тремя цветами и темп. Без последнего пункта модель сама решает, где ускориться, и клип обрывается на полудвижении.
- 10 секунд
- 1080p
- 16:9
- 1200 кредитов
Клип по ключевым кадрам: разворот танцовщицы
Between the opening and the closing frame the dancer has to travel. She starts crouched low on the rehearsal-hall floor with her back to the camera, unwinds into a full standing turn with the amber skirt opening around her, and finishes with both arms held out toward the windows. The camera orbits her clockwise at waist height and keeps the same distance the whole way. 35mm lens, moderate depth of field so the arched windows stay readable behind her. Light comes only from those windows on the right: hard bars of afternoon sun across the bare wooden floor, dust hanging in the beams, the corners of the hall left in deep shadow. Warm amber against cool grey. The turn accelerates through its middle and settles into the final pose.
Ключевые кадры держат начало, перелом и конец движения — их до шестнадцати. Промт описывает не сами кадры, а чем заполнить промежутки между ними: траекторию камеры, скорость разворота и момент остановки. Оговорка «keeps the same distance» удерживает крупность, иначе облёт незаметно превращается в наезд. Проверять раскадровку дешевле в 360p и уже потом повторять тот же промт в чистовом разрешении.
- до 16 ключевых кадров
- 5 или 10 секунд
- черновик 360p на 5 секунд — 20 кредитов
Сколько кредитов уходит на видео
| Режим | Черновик 360p | 540p | 720p | 1080p |
|---|---|---|---|---|
| Клип из текста или из фото, 5 секунд | 20 | 50 | 100 | 400 |
| Клип из текста или из фото, 10 секунд | 60 | 150 | 300 | 1200 |
| Modify Video, за секунду | 36 | 48 | 72 | 144 |
| Reframe, за секунду | 10 | 20 | 40 | 120 |
HDR удваивает расход, связка HDR с выгрузкой EXR — утраивает. На подписке Plus с её 10 000 кредитов десятисекундный клип в 1080p стоит 1200 кредитов, то есть таких клипов в месяце восемь.
Где модель ломается
Ограничения Modify Video Luma перечисляет прямо, и они предсказуемые.
- Сильная тряска камеры в исходнике
- Стремительное или хаотичное движение в кадре
- Размытая, тёмная или низкого разрешения съёмка
- Плотная толпа с перекрывающими друг друга людьми
- Перекрытые лица и тела — мимика и поза теряются
Обратная сторона тоже названа: ровная съёмка, размеренное движение, резкий и хорошо освещённый кадр и один ясно читаемый герой дают модели опору и по движению, и по геометрии сцены.
Ray3.2 через API
Модель доступна разработчикам вместе с многокадровым управлением, отслеживанием игры актёра
и выгрузкой EXR. Обращение идёт к POST /v1/generations, тип задаётся полем
type: video, video_edit или video_reframe.
Видео тарифицируется блоками по пять секунд.
| Задача | 540p | 720p | 1080p |
|---|---|---|---|
| Клип 5 секунд | $0,15 | $0,30 | $1,20 |
| Клип 10 секунд | $0,45 | $0,90 | $3,60 |
| Пересъёмка 5 секунд | $0,72 | $1,44 | $2,16 |
| Смена кадрирования, за секунду | $0,06 | $0,12 | $0,36 |
Поставить шестнадцать ключевых кадров
Черновик в 360p стоит 20 кредитов за пять секунд — этого хватает, чтобы проверить раскадровку до чистовой генерации.