Fix new video format API.
[vaapi:zhongcongs-gstreamer-vaapi.git] / gst-libs / gst / vaapi / gstvaapisurface.c
1 /*
2  *  gstvaapisurface.c - VA surface abstraction
3  *
4  *  Copyright (C) 2010-2011 Splitted-Desktop Systems
5  *  Copyright (C) 2011-2013 Intel Corporation
6  *
7  *  This library is free software; you can redistribute it and/or
8  *  modify it under the terms of the GNU Lesser General Public License
9  *  as published by the Free Software Foundation; either version 2.1
10  *  of the License, or (at your option) any later version.
11  *
12  *  This library is distributed in the hope that it will be useful,
13  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
14  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  *  Lesser General Public License for more details.
16  *
17  *  You should have received a copy of the GNU Lesser General Public
18  *  License along with this library; if not, write to the Free
19  *  Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
20  *  Boston, MA 02110-1301 USA
21  */
22
23 /**
24  * SECTION:gstvaapisurface
25  * @short_description: VA surface abstraction
26  */
27
28 #include "sysdeps.h"
29 #include "gstvaapicompat.h"
30 #include "gstvaapiutils.h"
31 #include "gstvaapisurface.h"
32 #include "gstvaapisurface_priv.h"
33 #include "gstvaapicontext.h"
34 #include "gstvaapiimage.h"
35
36 #define DEBUG 1
37 #include "gstvaapidebug.h"
38
39 static gboolean
40 _gst_vaapi_surface_associate_subpicture(
41     GstVaapiSurface         *surface,
42     GstVaapiSubpicture      *subpicture,
43     const GstVaapiRectangle *src_rect,
44     const GstVaapiRectangle *dst_rect
45 );
46
47 static gboolean
48 _gst_vaapi_surface_deassociate_subpicture(
49     GstVaapiSurface    *surface,
50     GstVaapiSubpicture *subpicture
51 );
52
53 static void
54 destroy_subpicture_cb(gpointer subpicture, gpointer surface)
55 {
56     _gst_vaapi_surface_deassociate_subpicture(surface, subpicture);
57     gst_vaapi_object_unref(subpicture);
58 }
59
60 static void
61 gst_vaapi_surface_destroy_subpictures(GstVaapiSurface *surface)
62 {
63     if (surface->subpictures) {
64         g_ptr_array_foreach(surface->subpictures, destroy_subpicture_cb,
65             surface);
66         g_ptr_array_free(surface->subpictures, TRUE);
67         surface->subpictures = NULL;
68     }
69 }
70
71 static void
72 gst_vaapi_surface_destroy(GstVaapiSurface *surface)
73 {
74     GstVaapiDisplay * const display = GST_VAAPI_OBJECT_DISPLAY(surface);
75     VASurfaceID surface_id;
76     VAStatus status;
77
78     surface_id = GST_VAAPI_OBJECT_ID(surface);
79     GST_DEBUG("surface %" GST_VAAPI_ID_FORMAT, GST_VAAPI_ID_ARGS(surface_id));
80
81     gst_vaapi_surface_destroy_subpictures(surface);
82     gst_vaapi_surface_set_parent_context(surface, NULL);
83   
84     if (surface_id != VA_INVALID_SURFACE) {
85         GST_VAAPI_DISPLAY_LOCK(display);
86         status = vaDestroySurfaces(
87             GST_VAAPI_DISPLAY_VADISPLAY(display),
88             &surface_id, 1
89         );
90         GST_VAAPI_DISPLAY_UNLOCK(display);
91         if (!vaapi_check_status(status, "vaDestroySurfaces()"))
92             g_warning("failed to destroy surface %" GST_VAAPI_ID_FORMAT,
93                       GST_VAAPI_ID_ARGS(surface_id));
94         GST_VAAPI_OBJECT_ID(surface) = VA_INVALID_SURFACE;
95     }
96 }
97
98 static gboolean
99 gst_vaapi_surface_create(GstVaapiSurface *surface,
100     GstVaapiChromaType chroma_type, guint width, guint height)
101 {
102     GstVaapiDisplay * const display = GST_VAAPI_OBJECT_DISPLAY(surface);
103     VASurfaceID surface_id;
104     VAStatus status;
105     guint va_chroma_format;
106
107     va_chroma_format = from_GstVaapiChromaType(chroma_type);
108     if (!va_chroma_format)
109         goto error_unsupported_chroma_type;
110
111     GST_VAAPI_DISPLAY_LOCK(display);
112     status = vaCreateSurfaces(
113         GST_VAAPI_DISPLAY_VADISPLAY(display),
114         width, height, va_chroma_format,
115         1, &surface_id
116     );
117     GST_VAAPI_DISPLAY_UNLOCK(display);
118     if (!vaapi_check_status(status, "vaCreateSurfaces()"))
119         return FALSE;
120
121     surface->format = GST_VIDEO_FORMAT_UNKNOWN;
122     surface->chroma_type = chroma_type;
123     surface->width = width;
124     surface->height = height;
125
126     GST_DEBUG("surface %" GST_VAAPI_ID_FORMAT, GST_VAAPI_ID_ARGS(surface_id));
127     GST_VAAPI_OBJECT_ID(surface) = surface_id;
128     return TRUE;
129
130     /* ERRORS */
131 error_unsupported_chroma_type:
132     GST_ERROR("unsupported chroma-type %u", chroma_type);
133     return FALSE;
134 }
135
136 static gboolean
137 gst_vaapi_surface_create_with_format(GstVaapiSurface *surface,
138     GstVideoFormat format, guint width, guint height)
139 {
140 #if VA_CHECK_VERSION(0,34,0)
141     GstVaapiDisplay * const display = GST_VAAPI_OBJECT_DISPLAY(surface);
142     VASurfaceID surface_id;
143     VAStatus status;
144     guint chroma_type, va_chroma_format;
145     const VAImageFormat *va_format;
146     VASurfaceAttrib attrib;
147
148     va_format = gst_vaapi_video_format_to_va_format(format);
149     if (!va_format)
150         goto error_unsupported_format;
151
152     chroma_type = gst_vaapi_video_format_get_chroma_type(format);
153     if (!chroma_type)
154         goto error_unsupported_format;
155
156     va_chroma_format = from_GstVaapiChromaType(chroma_type);
157     if (!va_chroma_format)
158         goto error_unsupported_format;
159
160     attrib.flags = VA_SURFACE_ATTRIB_SETTABLE;
161     attrib.type = VASurfaceAttribPixelFormat;
162     attrib.value.type = VAGenericValueTypeInteger;
163     attrib.value.value.i = va_format->fourcc;
164
165     GST_VAAPI_DISPLAY_LOCK(display);
166     status = vaCreateSurfaces(
167         GST_VAAPI_DISPLAY_VADISPLAY(display),
168         va_chroma_format, width, height,
169         &surface_id, 1,
170         &attrib, 1
171     );
172     GST_VAAPI_DISPLAY_UNLOCK(display);
173     if (!vaapi_check_status(status, "vaCreateSurfaces()"))
174         return FALSE;
175
176     surface->format = format;
177     surface->chroma_type = chroma_type;
178     surface->width = width;
179     surface->height = height;
180
181     GST_DEBUG("surface %" GST_VAAPI_ID_FORMAT, GST_VAAPI_ID_ARGS(surface_id));
182     GST_VAAPI_OBJECT_ID(surface) = surface_id;
183     return TRUE;
184
185     /* ERRORS */
186 error_unsupported_format:
187     GST_ERROR("unsupported format %u", gst_video_format_to_string(format));
188     return FALSE;
189 #else
190     return FALSE;
191 #endif
192 }
193
194 #define gst_vaapi_surface_finalize gst_vaapi_surface_destroy
195 GST_VAAPI_OBJECT_DEFINE_CLASS(GstVaapiSurface, gst_vaapi_surface)
196
197 /**
198  * gst_vaapi_surface_new:
199  * @display: a #GstVaapiDisplay
200  * @chroma_type: the surface chroma format
201  * @width: the requested surface width
202  * @height: the requested surface height
203  *
204  * Creates a new #GstVaapiSurface with the specified chroma format and
205  * dimensions.
206  *
207  * Return value: the newly allocated #GstVaapiSurface object
208  */
209 GstVaapiSurface *
210 gst_vaapi_surface_new(
211     GstVaapiDisplay    *display,
212     GstVaapiChromaType  chroma_type,
213     guint               width,
214     guint               height
215 )
216 {
217     GstVaapiSurface *surface;
218
219     GST_DEBUG("size %ux%u, chroma type 0x%x", width, height, chroma_type);
220
221     surface = gst_vaapi_object_new(gst_vaapi_surface_class(), display);
222     if (!surface)
223         return NULL;
224
225     if (!gst_vaapi_surface_create(surface, chroma_type, width, height))
226         goto error;
227     return surface;
228
229 error:
230     gst_vaapi_object_unref(surface);
231     return NULL;
232 }
233
234 /**
235  * gst_vaapi_surface_new_with_format:
236  * @display: a #GstVaapiDisplay
237  * @format: the surface format
238  * @width: the requested surface width
239  * @height: the requested surface height
240  *
241  * Creates a new #GstVaapiSurface with the specified pixel format and
242  * dimensions.
243  *
244  * Return value: the newly allocated #GstVaapiSurface object, or %NULL
245  *   if creation of VA surface with explicit pixel format is not
246  *   supported or failed.
247  */
248 GstVaapiSurface *
249 gst_vaapi_surface_new_with_format(
250     GstVaapiDisplay    *display,
251     GstVideoFormat      format,
252     guint               width,
253     guint               height
254 )
255 {
256     GstVaapiSurface *surface;
257
258     GST_DEBUG("size %ux%u, format %s", width, height,
259               gst_video_format_to_string(format));
260
261     surface = gst_vaapi_object_new(gst_vaapi_surface_class(), display);
262     if (!surface)
263         return NULL;
264
265     if (!gst_vaapi_surface_create_with_format(surface, format, width, height))
266         goto error;
267     return surface;
268
269 error:
270     gst_vaapi_object_unref(surface);
271     return NULL;
272 }
273
274 /**
275  * gst_vaapi_surface_get_id:
276  * @surface: a #GstVaapiSurface
277  *
278  * Returns the underlying VASurfaceID of the @surface.
279  *
280  * Return value: the underlying VA surface id
281  */
282 GstVaapiID
283 gst_vaapi_surface_get_id(GstVaapiSurface *surface)
284 {
285     g_return_val_if_fail(surface != NULL, VA_INVALID_SURFACE);
286
287     return GST_VAAPI_OBJECT_ID(surface);
288 }
289
290 /**
291  * gst_vaapi_surface_get_chroma_type:
292  * @surface: a #GstVaapiSurface
293  *
294  * Returns the #GstVaapiChromaType the @surface was created with.
295  *
296  * Return value: the #GstVaapiChromaType
297  */
298 GstVaapiChromaType
299 gst_vaapi_surface_get_chroma_type(GstVaapiSurface *surface)
300 {
301     g_return_val_if_fail(surface != NULL, 0);
302
303     return GST_VAAPI_SURFACE_CHROMA_TYPE(surface);
304 }
305
306 /**
307  * gst_vaapi_surface_get_format:
308  * @surface: a #GstVaapiSurface
309  *
310  * Returns the #GstVideoFormat the @surface was created with.
311  *
312  * Return value: the #GstVideoFormat, or %GST_VIDEO_FORMAT_ENCODED if
313  *   the surface was not created with an explicit video format, or if
314  *   the underlying video format could not be determined
315  */
316 GstVideoFormat
317 gst_vaapi_surface_get_format(GstVaapiSurface *surface)
318 {
319     g_return_val_if_fail(surface != NULL, 0);
320
321     /* Try to determine the underlying VA surface format */
322     if (surface->format == GST_VIDEO_FORMAT_UNKNOWN) {
323         GstVaapiImage * const image = gst_vaapi_surface_derive_image(surface);
324         if (image) {
325             surface->format = gst_vaapi_image_get_format(image);
326             gst_vaapi_object_unref(image);
327         }
328         if (surface->format == GST_VIDEO_FORMAT_UNKNOWN)
329             surface->format = GST_VIDEO_FORMAT_ENCODED;
330     }
331     return GST_VAAPI_SURFACE_FORMAT(surface);
332 }
333
334 /**
335  * gst_vaapi_surface_get_width:
336  * @surface: a #GstVaapiSurface
337  *
338  * Returns the @surface width.
339  *
340  * Return value: the surface width, in pixels
341  */
342 guint
343 gst_vaapi_surface_get_width(GstVaapiSurface *surface)
344 {
345     g_return_val_if_fail(surface != NULL, 0);
346
347     return GST_VAAPI_SURFACE_WIDTH(surface);
348 }
349
350 /**
351  * gst_vaapi_surface_get_height:
352  * @surface: a #GstVaapiSurface
353  *
354  * Returns the @surface height.
355  *
356  * Return value: the surface height, in pixels.
357  */
358 guint
359 gst_vaapi_surface_get_height(GstVaapiSurface *surface)
360 {
361     g_return_val_if_fail(surface != NULL, 0);
362
363     return GST_VAAPI_SURFACE_HEIGHT(surface);
364 }
365
366 /**
367  * gst_vaapi_surface_get_size:
368  * @surface: a #GstVaapiSurface
369  * @pwidth: return location for the width, or %NULL
370  * @pheight: return location for the height, or %NULL
371  *
372  * Retrieves the dimensions of a #GstVaapiSurface.
373  */
374 void
375 gst_vaapi_surface_get_size(
376     GstVaapiSurface *surface,
377     guint           *pwidth,
378     guint           *pheight
379 )
380 {
381     g_return_if_fail(surface != NULL);
382
383     if (pwidth)
384         *pwidth = GST_VAAPI_SURFACE_WIDTH(surface);
385
386     if (pheight)
387         *pheight = GST_VAAPI_SURFACE_HEIGHT(surface);
388 }
389
390 /**
391  * gst_vaapi_surface_set_parent_context:
392  * @surface: a #GstVaapiSurface
393  * @context: a #GstVaapiContext
394  *
395  * Sets new parent context, or clears any parent context if @context
396  * is %NULL. This function owns an extra reference to the context,
397  * which will be released when the surface is destroyed.
398  */
399 void
400 gst_vaapi_surface_set_parent_context(
401     GstVaapiSurface *surface,
402     GstVaapiContext *context
403 )
404 {
405     g_return_if_fail(surface != NULL);
406
407     surface->parent_context = NULL;
408 }
409
410 /**
411  * gst_vaapi_surface_get_parent_context:
412  * @surface: a #GstVaapiSurface
413  *
414  * Retrieves the parent #GstVaapiContext, or %NULL if there is
415  * none. The surface shall still own a reference to the context.
416  * i.e. the caller shall not unreference the returned context object.
417  *
418  * Return value: the parent context, if any.
419  */
420 GstVaapiContext *
421 gst_vaapi_surface_get_parent_context(GstVaapiSurface *surface)
422 {
423     g_return_val_if_fail(surface != NULL, NULL);
424
425     return surface->parent_context;
426 }
427
428 /**
429  * gst_vaapi_surface_derive_image:
430  * @surface: a #GstVaapiSurface
431  *
432  * Derives a #GstVaapiImage from the @surface. This image buffer can
433  * then be mapped/unmapped for direct CPU access. This operation is
434  * only possible if the underlying implementation supports direct
435  * rendering capabilities and internal surface formats that can be
436  * represented with a #GstVaapiImage.
437  *
438  * When the operation is not possible, the function returns %NULL and
439  * the user should then fallback to using gst_vaapi_surface_get_image()
440  * or gst_vaapi_surface_put_image() to accomplish the same task in an
441  * indirect manner (additional copy).
442  *
443  * An image created with gst_vaapi_surface_derive_image() should be
444  * unreferenced when it's no longer needed. The image and image buffer
445  * data structures will be destroyed. However, the surface contents
446  * will remain unchanged until destroyed through the last call to
447  * gst_vaapi_object_unref().
448  *
449  * Return value: the newly allocated #GstVaapiImage object, or %NULL
450  *   on failure
451  */
452 GstVaapiImage *
453 gst_vaapi_surface_derive_image(GstVaapiSurface *surface)
454 {
455     GstVaapiDisplay *display;
456     VAImage va_image;
457     VAStatus status;
458
459     g_return_val_if_fail(surface != NULL, NULL);
460
461     display           = GST_VAAPI_OBJECT_DISPLAY(surface);
462     va_image.image_id = VA_INVALID_ID;
463     va_image.buf      = VA_INVALID_ID;
464
465     GST_VAAPI_DISPLAY_LOCK(display);
466     status = vaDeriveImage(
467         GST_VAAPI_DISPLAY_VADISPLAY(display),
468         GST_VAAPI_OBJECT_ID(surface),
469         &va_image
470     );
471     GST_VAAPI_DISPLAY_UNLOCK(display);
472     if (!vaapi_check_status(status, "vaDeriveImage()"))
473         return NULL;
474     if (va_image.image_id == VA_INVALID_ID || va_image.buf == VA_INVALID_ID)
475         return NULL;
476
477     return gst_vaapi_image_new_with_image(display, &va_image);
478 }
479
480 /**
481  * gst_vaapi_surface_get_image
482  * @surface: a #GstVaapiSurface
483  * @image: a #GstVaapiImage
484  *
485  * Retrieves surface data into a #GstVaapiImage. The @image must have
486  * a format supported by the @surface.
487  *
488  * Return value: %TRUE on success
489  */
490 gboolean
491 gst_vaapi_surface_get_image(GstVaapiSurface *surface, GstVaapiImage *image)
492 {
493     GstVaapiDisplay *display;
494     VAImageID image_id;
495     VAStatus status;
496     guint width, height;
497
498     g_return_val_if_fail(surface != NULL, FALSE);
499     g_return_val_if_fail(image != NULL, FALSE);
500
501     display = GST_VAAPI_OBJECT_DISPLAY(surface);
502     if (!display)
503         return FALSE;
504
505     gst_vaapi_image_get_size(image, &width, &height);
506     if (width != surface->width || height != surface->height)
507         return FALSE;
508
509     image_id = GST_VAAPI_OBJECT_ID(image);
510     if (image_id == VA_INVALID_ID)
511         return FALSE;
512
513     GST_VAAPI_DISPLAY_LOCK(display);
514     status = vaGetImage(
515         GST_VAAPI_DISPLAY_VADISPLAY(display),
516         GST_VAAPI_OBJECT_ID(surface),
517         0, 0, width, height,
518         image_id
519     );
520     GST_VAAPI_DISPLAY_UNLOCK(display);
521     if (!vaapi_check_status(status, "vaGetImage()"))
522         return FALSE;
523
524     return TRUE;
525 }
526
527 /**
528  * gst_vaapi_surface_put_image:
529  * @surface: a #GstVaapiSurface
530  * @image: a #GstVaapiImage
531  *
532  * Copies data from a #GstVaapiImage into a @surface. The @image must
533  * have a format supported by the @surface.
534  *
535  * Return value: %TRUE on success
536  */
537 gboolean
538 gst_vaapi_surface_put_image(GstVaapiSurface *surface, GstVaapiImage *image)
539 {
540     GstVaapiDisplay *display;
541     VAImageID image_id;
542     VAStatus status;
543     guint width, height;
544
545     g_return_val_if_fail(surface != NULL, FALSE);
546     g_return_val_if_fail(image != NULL, FALSE);
547
548     display = GST_VAAPI_OBJECT_DISPLAY(surface);
549     if (!display)
550         return FALSE;
551
552     gst_vaapi_image_get_size(image, &width, &height);
553     if (width != surface->width || height != surface->height)
554         return FALSE;
555
556     image_id = GST_VAAPI_OBJECT_ID(image);
557     if (image_id == VA_INVALID_ID)
558         return FALSE;
559
560     GST_VAAPI_DISPLAY_LOCK(display);
561     status = vaPutImage(
562         GST_VAAPI_DISPLAY_VADISPLAY(display),
563         GST_VAAPI_OBJECT_ID(surface),
564         image_id,
565         0, 0, width, height,
566         0, 0, width, height
567     );
568     GST_VAAPI_DISPLAY_UNLOCK(display);
569     if (!vaapi_check_status(status, "vaPutImage()"))
570         return FALSE;
571
572     return TRUE;
573 }
574
575 /**
576  * gst_vaapi_surface_associate_subpicture:
577  * @surface: a #GstVaapiSurface
578  * @subpicture: a #GstVaapiSubpicture
579  * @src_rect: the sub-rectangle of the source subpicture
580  *   image to extract and process. If %NULL, the entire image will be used.
581  * @dst_rect: the sub-rectangle of the destination
582  *   surface into which the image is rendered. If %NULL, the entire
583  *   surface will be used.
584  *
585  * Associates the @subpicture with the @surface. The @src_rect
586  * coordinates and size are relative to the source image bound to
587  * @subpicture. The @dst_rect coordinates and size are relative to the
588  * target @surface. Note that the @surface holds an additional
589  * reference to the @subpicture.
590  *
591  * Return value: %TRUE on success
592  */
593 gboolean
594 gst_vaapi_surface_associate_subpicture(
595     GstVaapiSurface         *surface,
596     GstVaapiSubpicture      *subpicture,
597     const GstVaapiRectangle *src_rect,
598     const GstVaapiRectangle *dst_rect
599 )
600 {
601     gboolean success;
602
603     g_return_val_if_fail(surface != NULL, FALSE);
604     g_return_val_if_fail(subpicture != NULL, FALSE);
605
606     if (!surface->subpictures) {
607         surface->subpictures = g_ptr_array_new();
608         if (!surface->subpictures)
609             return FALSE;
610     }
611
612     if (g_ptr_array_remove_fast(surface->subpictures, subpicture)) {
613         success = _gst_vaapi_surface_deassociate_subpicture(surface,
614             subpicture);
615         gst_vaapi_object_unref(subpicture);
616         if (!success)
617             return FALSE;
618     }
619
620     success = _gst_vaapi_surface_associate_subpicture(
621         surface,
622         subpicture,
623         src_rect,
624         dst_rect
625     );
626     if (!success)
627         return FALSE;
628
629     g_ptr_array_add(surface->subpictures, gst_vaapi_object_ref(subpicture));
630     return TRUE;
631 }
632
633 gboolean
634 _gst_vaapi_surface_associate_subpicture(
635     GstVaapiSurface         *surface,
636     GstVaapiSubpicture      *subpicture,
637     const GstVaapiRectangle *src_rect,
638     const GstVaapiRectangle *dst_rect
639 )
640 {
641     GstVaapiDisplay *display;
642     GstVaapiRectangle src_rect_default, dst_rect_default;
643     GstVaapiImage *image;
644     VASurfaceID surface_id;
645     VAStatus status;
646
647     display = GST_VAAPI_OBJECT_DISPLAY(surface);
648     if (!display)
649         return FALSE;
650
651     surface_id = GST_VAAPI_OBJECT_ID(surface);
652     if (surface_id == VA_INVALID_SURFACE)
653         return FALSE;
654
655     if (!src_rect) {
656         image = gst_vaapi_subpicture_get_image(subpicture);
657         if (!image)
658             return FALSE;
659         src_rect                = &src_rect_default;
660         src_rect_default.x      = 0;
661         src_rect_default.y      = 0;
662         gst_vaapi_image_get_size(
663             image,
664             &src_rect_default.width,
665             &src_rect_default.height
666         );
667     }
668
669     if (!dst_rect) {
670         dst_rect                = &dst_rect_default;
671         dst_rect_default.x      = 0;
672         dst_rect_default.y      = 0;
673         dst_rect_default.width  = surface->width;
674         dst_rect_default.height = surface->height;
675     }
676
677     GST_VAAPI_DISPLAY_LOCK(display);
678     status = vaAssociateSubpicture(
679         GST_VAAPI_DISPLAY_VADISPLAY(display),
680         GST_VAAPI_OBJECT_ID(subpicture),
681         &surface_id, 1,
682         src_rect->x, src_rect->y, src_rect->width, src_rect->height,
683         dst_rect->x, dst_rect->y, dst_rect->width, dst_rect->height,
684         from_GstVaapiSubpictureFlags(gst_vaapi_subpicture_get_flags(subpicture))
685     );
686     GST_VAAPI_DISPLAY_UNLOCK(display);
687     if (!vaapi_check_status(status, "vaAssociateSubpicture()"))
688         return FALSE;
689
690     return TRUE;
691 }
692
693 /**
694  * gst_vaapi_surface_deassociate_subpicture:
695  * @surface: a #GstVaapiSurface
696  * @subpicture: a #GstVaapiSubpicture
697  *
698  * Deassociates @subpicture from @surface. Other associations are kept.
699  *
700  * Return value: %TRUE on success
701  */
702 gboolean
703 gst_vaapi_surface_deassociate_subpicture(
704     GstVaapiSurface         *surface,
705     GstVaapiSubpicture      *subpicture
706 )
707 {
708     gboolean success;
709
710     g_return_val_if_fail(surface != NULL, FALSE);
711     g_return_val_if_fail(subpicture != NULL, FALSE);
712
713     if (!surface->subpictures)
714         return TRUE;
715
716     /* First, check subpicture was really associated with this surface */
717     if (!g_ptr_array_remove_fast(surface->subpictures, subpicture)) {
718         GST_DEBUG("subpicture %" GST_VAAPI_ID_FORMAT " was not bound to "
719                   "surface %" GST_VAAPI_ID_FORMAT,
720                   GST_VAAPI_ID_ARGS(GST_VAAPI_OBJECT_ID(subpicture)),
721                   GST_VAAPI_ID_ARGS(GST_VAAPI_OBJECT_ID(surface)));
722         return TRUE;
723     }
724
725     success = _gst_vaapi_surface_deassociate_subpicture(surface, subpicture);
726     gst_vaapi_object_unref(subpicture);
727     return success;
728 }
729
730 gboolean
731 _gst_vaapi_surface_deassociate_subpicture(
732     GstVaapiSurface         *surface,
733     GstVaapiSubpicture      *subpicture
734 )
735 {
736     GstVaapiDisplay *display;
737     VASurfaceID surface_id;
738     VAStatus status;
739
740     display = GST_VAAPI_OBJECT_DISPLAY(surface);
741     if (!display)
742         return FALSE;
743
744     surface_id = GST_VAAPI_OBJECT_ID(surface);
745     if (surface_id == VA_INVALID_SURFACE)
746         return FALSE;
747
748     GST_VAAPI_DISPLAY_LOCK(display);
749     status = vaDeassociateSubpicture(
750         GST_VAAPI_DISPLAY_VADISPLAY(display),
751         GST_VAAPI_OBJECT_ID(subpicture),
752         &surface_id, 1
753     );
754     GST_VAAPI_DISPLAY_UNLOCK(display);
755     if (!vaapi_check_status(status, "vaDeassociateSubpicture()"))
756         return FALSE;
757
758     return TRUE;
759 }
760
761 /**
762  * gst_vaapi_surface_sync:
763  * @surface: a #GstVaapiSurface
764  *
765  * Blocks until all pending operations on the @surface have been
766  * completed.
767  *
768  * Return value: %TRUE on success
769  */
770 gboolean
771 gst_vaapi_surface_sync(GstVaapiSurface *surface)
772 {
773     GstVaapiDisplay *display;
774     VAStatus status;
775
776     g_return_val_if_fail(surface != NULL, FALSE);
777
778     display = GST_VAAPI_OBJECT_DISPLAY(surface);
779     if (!display)
780         return FALSE;
781
782     GST_VAAPI_DISPLAY_LOCK(display);
783     status = vaSyncSurface(
784         GST_VAAPI_DISPLAY_VADISPLAY(display),
785         GST_VAAPI_OBJECT_ID(surface)
786     );
787     GST_VAAPI_DISPLAY_UNLOCK(display);
788     if (!vaapi_check_status(status, "vaSyncSurface()"))
789         return FALSE;
790
791     return TRUE;
792 }
793
794 /**
795  * gst_vaapi_surface_query_status:
796  * @surface: a #GstVaapiSurface
797  * @pstatus: return location for the #GstVaapiSurfaceStatus
798  *
799  * Finds out any pending operations on the @surface. The
800  * #GstVaapiSurfaceStatus flags are returned into @pstatus.
801  *
802  * Return value: %TRUE on success
803  */
804 gboolean
805 gst_vaapi_surface_query_status(
806     GstVaapiSurface       *surface,
807     GstVaapiSurfaceStatus *pstatus
808 )
809 {
810     VASurfaceStatus surface_status;
811     VAStatus status;
812
813     g_return_val_if_fail(surface != NULL, FALSE);
814
815     GST_VAAPI_OBJECT_LOCK_DISPLAY(surface);
816     status = vaQuerySurfaceStatus(
817         GST_VAAPI_OBJECT_VADISPLAY(surface),
818         GST_VAAPI_OBJECT_ID(surface),
819         &surface_status
820     );
821     GST_VAAPI_OBJECT_UNLOCK_DISPLAY(surface);
822     if (!vaapi_check_status(status, "vaQuerySurfaceStatus()"))
823         return FALSE;
824
825     if (pstatus)
826         *pstatus = to_GstVaapiSurfaceStatus(surface_status);
827     return TRUE;
828 }
829
830 /**
831  * gst_vaapi_surface_set_subpictures_from_composition:
832  * @surface: a #GstVaapiSurface
833  * @compostion: a #GstVideoOverlayCompositon
834  * @propagate_context: a flag specifying whether to apply composition
835  *     to the parent context, if any
836  *
837  * Helper to update the subpictures from #GstVideoOverlayCompositon. Sending
838  * a NULL composition will clear all the current subpictures. Note that this
839  * method will clear existing subpictures.
840  *
841  * Return value: %TRUE on success
842  */
843 gboolean
844 gst_vaapi_surface_set_subpictures_from_composition(
845     GstVaapiSurface            *surface,
846     GstVideoOverlayComposition *composition,
847     gboolean                    propagate_context
848 )
849 {
850     GstVaapiDisplay *display;
851     guint n, nb_rectangles;
852
853     g_return_val_if_fail(surface != NULL, FALSE);
854
855     if (propagate_context && surface->parent_context)
856         return gst_vaapi_context_apply_composition(surface->parent_context,
857             composition);
858
859     display = GST_VAAPI_OBJECT_DISPLAY(surface);
860     if (!display)
861         return FALSE;
862
863     /* Clear current subpictures */
864     gst_vaapi_surface_destroy_subpictures(surface);
865
866     if (!composition)
867         return TRUE;
868
869     nb_rectangles = gst_video_overlay_composition_n_rectangles (composition);
870
871     /* Overlay all the rectangles cantained in the overlay composition */
872     for (n = 0; n < nb_rectangles; ++n) {
873         GstVideoOverlayRectangle *rect;
874         GstVaapiRectangle sub_rect;
875         GstVaapiSubpicture *subpicture;
876
877         rect = gst_video_overlay_composition_get_rectangle (composition, n);
878         subpicture = gst_vaapi_subpicture_new_from_overlay_rectangle (display,
879                 rect);
880
881         gst_video_overlay_rectangle_get_render_rectangle (rect,
882                 (gint *)&sub_rect.x, (gint *)&sub_rect.y,
883                 &sub_rect.width, &sub_rect.height);
884
885         if (!gst_vaapi_surface_associate_subpicture (surface, subpicture,
886                     NULL, &sub_rect)) {
887             GST_WARNING ("could not render overlay rectangle %p", rect);
888             gst_vaapi_object_unref (subpicture);
889             return FALSE;
890         }
891         gst_vaapi_object_unref (subpicture);
892     }
893     return TRUE;
894 }