前言
本文是GStreamer学习笔记，也可以看成是对原文的意译。
这些教程描述了理解其余教程所需的GStreamer主题。
GStreamer教程:
环境
系统环境
Distributor ID: Ubuntu
Description: Ubuntu 18.04.4 LTS
Release: 18.04
Codename: bionic
Linux version : 5.3.0-46-generic ( buildd@lcy01-amd64-013 )
Gcc version: 7.5.0 ( Ubuntu 7.5.0-3ubuntu1~18.04 )
软件信息
version :
GStreamer-1.0
正文
1. 目标
本教程展示了如何使用 GStreamer 与时间相关的工具。尤其是：
- 如何查询管道以获取流位置或持续时间等信息。
- 如何在流中寻找（跳转）到不同的位置（时间）。
2. 介绍
GstQuery是一种机制，允许向元素或垫询问一条信息。在此示例中，我们询问管道是否允许搜索（某些来源，如直播流，不允许搜索）。如果允许，那么，一旦电影运行了十秒钟，我们就会使用搜索跳到不同的位置。
在之前的教程中，一旦我们设置并运行了管道，我们的 main 函数就只是坐着等待 通过总线接收一个ERROR或一个。EOS在这里，我们修改这个函数来周期性地唤醒和查询流水线位置，这样我们就可以在屏幕上打印出来了。这类似于媒体播放器所做的，定期更新用户界面。
最后，只要流持续时间发生变化，就会查询和更新流持续时间。
3. seeking 例子
basic-tutorial-4.c
#include <gst/gst.h>
/* Structure to contain all our information, so we can pass it around */
typedef struct _CustomData
{
GstElement *playbin; /* Our one and only element */
gboolean playing; /* Are we in the PLAYING state? */
gboolean terminate; /* Should we terminate execution? */
gboolean seek_enabled; /* Is seeking enabled for this media? */
gboolean seek_done; /* Have we performed the seek already? */
gint64 duration; /* How long does this media last, in nanoseconds */
} CustomData;
/* Forward definition of the message processing function */
static void handle_message(CustomData *data, GstMessage *msg);
int main(int argc, char *argv[])
{
CustomData data;
GstBus *bus;
GstMessage *msg;
GstStateChangeReturn ret;
data.playing = FALSE;
data.terminate = FALSE;
data.seek_enabled = FALSE;
data.seek_done = FALSE;
data.duration = GST_CLOCK_TIME_NONE;
/* Initialize GStreamer */
gst_init(&argc, &argv);
/* Create the elements */
data.playbin = gst_element_factory_make("playbin", "myplaybin");
if (!data.playbin)
{
g_printerr("Not all elements could be created.\n");
return -1;
}
/* Set the URI to play */
// g_object_set(data.playbin, "uri", "https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm", NULL);
// uri本地视频播放
gchar *uri_str = "file:////home/sunteng/workspace/gstreamer_tutorial/sintel_trailer-480p.webm";
g_object_set(data.playbin, "uri", uri_str, NULL);
/* Start playing */
ret = gst_element_set_state(data.playbin, GST_STATE_PLAYING);
if (ret == GST_STATE_CHANGE_FAILURE)
{
g_printerr("Unable to set the pipeline to the playing state.\n");
gst_object_unref(data.playbin);
return -1;
}
/* Listen to the bus */
bus = gst_element_get_bus(data.playbin);
do
{
msg = gst_bus_timed_pop_filtered(bus, 100 * GST_MSECOND,
GST_MESSAGE_STATE_CHANGED | GST_MESSAGE_ERROR | GST_MESSAGE_EOS | GST_MESSAGE_DURATION);
/* Parse message */
if (msg != NULL)
{
handle_message(&data, msg);
}
else
{
/* We got no message, this means the timeout expired */
if (data.playing)
{
gint64 current = -1;
/* Query the current position of the stream */
if (!gst_element_query_position(data.playbin, GST_FORMAT_TIME, ¤t))
{
g_printerr("Could not query current position.\n");
}
/* If we didn't know it yet, query the stream duration */
if (!GST_CLOCK_TIME_IS_VALID(data.duration))
{
if (!gst_element_query_duration(data.playbin, GST_FORMAT_TIME, &data.duration))
{
g_printerr("Could not query current duration.\n");
}
}
/* Print current position and total duration */
g_print("Position %" GST_TIME_FORMAT " / %" GST_TIME_FORMAT "\r",
GST_TIME_ARGS(current), GST_TIME_ARGS(data.duration));
/* If seeking is enabled, we have not done it yet, and the time is right, seek */
if (data.seek_enabled && !data.seek_done && current > 10 * GST_SECOND)
{
g_print("\nReached 10s, performing seek...\n");
gst_element_seek_simple(data.playbin, GST_FORMAT_TIME,
GST_SEEK_FLAG_FLUSH | GST_SEEK_FLAG_KEY_UNIT, 30 * GST_SECOND);
data.seek_done = TRUE;
}
}
}
} while (!data.terminate);
/* Free resources */
gst_object_unref(bus);
gst_element_set_state(data.playbin, GST_STATE_NULL);
gst_object_unref(data.playbin);
return 0;
}
static void handle_message(CustomData *data, GstMessage *msg)
{
GError *err;
gchar *debug_info;
switch (GST_MESSAGE_TYPE(msg))
{
case GST_MESSAGE_ERROR:
gst_message_parse_error(msg, &err, &debug_info);
g_printerr("Error received from element %s: %s\n", GST_OBJECT_NAME(msg->src), err->message);
g_printerr("Debugging information: %s\n", debug_info ? debug_info : "none");
g_clear_error(&err);
g_free(debug_info);
data->terminate = TRUE;
break;
case GST_MESSAGE_EOS:
g_print("\nEnd-Of-Stream reached.\n");
data->terminate = TRUE;
break;
case GST_MESSAGE_DURATION:
/* The duration has changed, mark the current one as invalid */
data->duration = GST_CLOCK_TIME_NONE;
break;
case GST_MESSAGE_STATE_CHANGED:
{
GstState old_state, new_state, pending_state;
gst_message_parse_state_changed(msg, &old_state, &new_state, &pending_state);
if (GST_MESSAGE_SRC(msg) == GST_OBJECT(data->playbin))
{
g_print("Pipeline state changed from %s to %s:\n",
gst_element_state_get_name(old_state), gst_element_state_get_name(new_state));
/* Remember whether we are in the PLAYING state or not */
data->playing = (new_state == GST_STATE_PLAYING);
if (data->playing)
{
/* We just moved to PLAYING. Check if seeking is possible */
GstQuery *query;
gint64 start, end;
query = gst_query_new_seeking(GST_FORMAT_TIME);
if (gst_element_query(data->playbin, query))
{
gst_query_parse_seeking(query, NULL, &data->seek_enabled, &start, &end);
if (data->seek_enabled)
{
g_print("Seeking is ENABLED from %" GST_TIME_FORMAT " to %" GST_TIME_FORMAT "\n",
GST_TIME_ARGS(start), GST_TIME_ARGS(end));
}
else
{
g_print("Seeking is DISABLED for this stream.\n");
}
}
else
{
g_printerr("Seeking query failed.");
}
gst_query_unref(query);
}
}
}
break;
default:
/* We should not reach here */
g_printerr("Unexpected message received.\n");
break;
}
gst_message_unref(msg);
}
编译运行
gcc basic-tutorial-4.c -o basic-tutorial-4 `pkg-config --cflags --libs gstreamer-1.0`
./basic-tutorial-4
4. 演练
/* Structure to contain all our information, so we can pass it around */
typedef struct _CustomData {
GstElement *playbin; /* Our one and only element */
gboolean playing; /* Are we in the PLAYING state? */
gboolean terminate; /* Should we terminate execution? */
gboolean seek_enabled; /* Is seeking enabled for this media? */
gboolean seek_done; /* Have we performed the seek already? */
gint64 duration; /* How long does this media last, in nanoseconds */
} CustomData;
/* Forward definition of the message processing function */
static void handle_message (CustomData *data, GstMessage *msg);
我们首先定义一个结构来包含我们所有的信息，这样我们就可以将它传递给其他函数。特别是，在这个例子中，我们将消息处理代码移动到它自己的函数中 handle_message，因为它变得有点太大了。
然后我们构建一个由单个元素组成的管道 playbin，我们已经在[基础教程 1: Hello world!](https://vinming.github.io/2022/03/13/gstreamer_basic_tutorial_1_hello_world/). 但是， playbin它本身就是一个管道，在这种情况下它是管道中唯一的元素，所以我们直接使用playbin元素。我们将跳过详细信息：剪辑的 URI 是playbin通过 URI 属性提供的，并且管道设置为正在播放状态。
msg = gst_bus_timed_pop_filtered (bus, 100 * GST_MSECOND,
GST_MESSAGE_STATE_CHANGED | GST_MESSAGE_ERROR | GST_MESSAGE_EOS | GST_MESSAGE_DURATION);
以前我们没有为 提供超时 gst_bus_timed_pop_filtered()，这意味着它在收到消息之前不会返回。现在我们使用 100 毫秒的超时时间，因此，如果在十分之一秒内没有收到消息，该函数将返回 NULL. 我们将使用这个逻辑来更新我们的“UI”。
请注意，所需的超时必须指定为 a GstClockTime，因此以纳秒为单位。那么，表示不同时间单位的数字应该乘以类似GST_SECONDor的宏GST_MSECOND。这也使您的代码更具可读性。
如果我们收到一条消息，我们会在handle_message函数中处理它（下一小节）
4.1 用户界面刷新
/* We got no message, this means the timeout expired */
if (data.playing) {
如果管道处于PLAYING状态，则该刷新屏幕了。如果我们不在PLAYING状态，我们不想做任何事情，因为大多数查询都会失败。
我们大约每秒到达这里 10 次，这对于我们的 UI 来说已经足够好的刷新率了。我们将在屏幕上打印当前的媒体位置，我们可以通过查询管道来了解。这涉及到将在下一小节中展示的几个步骤，但是，由于位置和持续时间是足够常见的查询，因此GstElement提供了更简单、现成的替代方案：
/* Query the current position of the stream */
if (!gst_element_query_position (data.pipeline, GST_FORMAT_TIME, ¤t)) {
g_printerr ("Could not query current position.\n");
}
gst_element_query_position()隐藏查询对象的管理，直接给我们提供结果。
/* If we didn't know it yet, query the stream duration */
if (!GST_CLOCK_TIME_IS_VALID (data.duration)) {
if (!gst_element_query_duration (data.pipeline, GST_FORMAT_TIME, &data.duration)) {
g_printerr ("Could not query current duration.\n");
}
}
现在是了解视频流的长度好时机，使用另一个GstElement辅助函数：gst_element_query_duration()
/* Print current position and total duration */
g_print ("Position %" GST_TIME_FORMAT " / %" GST_TIME_FORMAT "\r",
GST_TIME_ARGS (current), GST_TIME_ARGS (data.duration));
请注意使用GST_TIME_FORMAT和GST_TIME_ARGS宏来提供 GStreamer 时间的用户友好表示。
/* If seeking is enabled, we have not done it yet, and the time is right, seek */
if (data.seek_enabled && !data.seek_done && current > 10 * GST_SECOND) {
g_print ("\nReached 10s, performing seek...\n");
gst_element_seek_simple (data.pipeline, GST_FORMAT_TIME,
GST_SEEK_FLAG_FLUSH | GST_SEEK_FLAG_KEY_UNIT, 30 * GST_SECOND);
data.seek_done = TRUE;
}
gst_element_seek_simple()现在我们通过调用管道“简单地”执行搜索。很多复杂的搜索都隐藏在这个方法中，这是好事！
让我们回顾一下参数：
GST_FORMAT_TIME表示我们以时间单位指定目的地。其他搜索格式使用不同的单位。
然后来了GstSeekFlags，让我们回顾一下最常见的：
GST_SEEK_FLAG_FLUSH：这会在进行查找之前丢弃当前在管道中的所有数据。在重新填充管道并开始显示新数据时可能会暂停一点，但会大大提高应用程序的“响应能力”。如果未提供此标志，则“陈旧”数据可能会显示一段时间，直到新位置出现在管道的末尾。
GST_SEEK_FLAG_KEY_UNIT：对于大多数编码的视频流，不可能找到任意位置，而只能找到称为关键帧的某些帧。使用此标志时，搜索实际上将移动到最近的关键帧并立即开始生成数据。如果未使用此标志，则管道将在内部移动到最近的关键帧（它没有其他选择），但在到达请求的位置之前不会显示数据。最后一种选择更准确，但可能需要更长时间。
GST_SEEK_FLAG_ACCURATE：一些媒体剪辑没有提供足够的索引信息，这意味着寻找任意位置非常耗时。在这些情况下，GStreamer 通常会估计要寻找的位置，并且通常工作得很好。如果此精度对您的情况来说不够好（您会看到搜索不会到达您要求的确切时间），请提供此标志。请注意，计算搜索位置可能需要更长的时间（在某些文件上非常长）。
最后，我们提供了寻求的位置。由于我们要求GST_FORMAT_TIME，该值必须以纳秒为单位，因此为了简单起见，我们以秒表示时间，然后乘以GST_SECOND。
4.2 信息处理
该handle_message函数处理通过管道总线接收到的所有消息。ERROR和EOS处理和之前的教程一样，所以我们跳到有趣的部分：
case GST_MESSAGE_DURATION:
/* The duration has changed, mark the current one as invalid */
data->duration = GST_CLOCK_TIME_NONE;
break;
只要流的持续时间发生变化，此消息就会发布在总线上。在这里，我们只是将当前持续时间标记为无效，以便稍后重新查询。
PAUSED搜索和时间查询通常仅在处于or状态时才能得到有效回复 PLAYING，因为所有元素都有机会接收信息并自行配置。在这里，我们使用playing 变量来跟踪管道是否处于PLAYING状态。此外，如果我们刚刚进入PLAYING状态，我们会进行第一次查询。我们询问管道是否允许在此流上进行搜索：
if (data->playing) {
/* We just moved to PLAYING. Check if seeking is possible */
GstQuery *query;
gint64 start, end;
query = gst_query_new_seeking (GST_FORMAT_TIME);
if (gst_element_query (data->pipeline, query)) {
gst_query_parse_seeking (query, NULL, &data->seek_enabled, &start, &end);
if (data->seek_enabled) {
g_print ("Seeking is ENABLED from %" GST_TIME_FORMAT " to %" GST_TIME_FORMAT "\n",
GST_TIME_ARGS (start), GST_TIME_ARGS (end));
} else {
g_print ("Seeking is DISABLED for this stream.\n");
}
}
else {
g_printerr ("Seeking query failed.");
}
gst_query_unref (query);
}
gst_query_new_seeking()GST_FORMAT_TIME使用格式创建一个“寻找”类型的新查询对象。这表明我们有兴趣通过指定我们想要移动到的新时间来寻找。我们也可以请求GST_FORMAT_BYTES，然后寻找源文件中的特定字节位置，但这通常不太有用。
然后将此查询对象传递给带有 的管道 gst_element_query()。结果存储在同一个查询中，并且可以使用gst_query_parse_seeking(). 它提取一个布尔值，指示是否允许搜索，以及可以搜索的范围。
完成后不要忘记取消引用查询对象。
就是这样！有了这些知识，可以构建一个媒体播放器，它会根据当前流位置定期更新滑块，并允许通过移动滑块进行搜索！
5. 结论
本教程学习了：
- 如何使用管道查询信息GstQuery
- 如何使用gst_element_query_position()和获取常用信息，如位置和持续时间gst_element_query_duration()
- 如何使用gst_element_seek_simple()
- 在哪些状态可以执行所有这些操作
下一个教程基础教程 5: GUI工具包集成将展示如何将 GStreamer 与图形用户界面工具包集成。
