Supervisa trabajos

Como administrador de BigQuery, puedes supervisar los trabajos en tu organización a través de un explorador de trabajos administrativos en la consola de Google Cloud . El explorador de trabajos proporciona filtros y opciones de orden para identificar, comparar y solucionar problemas de trabajos problemáticos. No es necesario que escribas consultas de INFORMATION_SCHEMA para ver los detalles del trabajo, como el propietario, el proyecto, el uso de las ranuras, la duración y mucho más.

Para supervisar la capacidad, los compromisos de ranuras y el uso de reservas a largo plazo en toda tu organización, consulta Supervisa el estado y el uso de recursos.

Con el Explorador de trabajos, puedes hacer lo siguiente:

  • Filtrar e identificar trabajos Busca consultas específicas en toda tu organización aplicando filtros según criterios como el estado del trabajo, la duración, el propietario o el uso de ranuras.
  • Analiza las métricas de la línea de tiempo. Haz un seguimiento de las tendencias de ejecución y la simultaneidad de los trabajos a lo largo del tiempo con el gráfico de métricas.
  • Agrega trabajos por recurso. Agrupa los trabajos por propietario, proyecto o reserva para ver estadísticas de resumen y desglosar tablas filtradas.
  • Soluciona problemas relacionados con los trabajos. Selecciona trabajos individuales para ver sus gráficos de ejecución de consultas, texto en SQL y el historial de ejecución en la página Detalles del trabajo (vista previa).
  • Compara el rendimiento. Compara trabajos (vista previa) para destacar las diferencias significativas en las métricas y abordar los posibles problemas de rendimiento.
  • Obtén asistencia basada en IA. Usa Gemini Code Assist directamente desde el explorador de trabajos (versión preliminar) para analizar las estadísticas de los trabajos o explicar las consultas que se ejecutan con lentitud.

BigQuery proporciona los detalles y las estadísticas de los trabajos a partir de las siguientes vistas INFORMATION_SCHEMA:

Antes de comenzar

Para usar Gemini Code Assist y solucionar problemas de trabajos en BigQuery (versión preliminar), consulta Configura Gemini Code Assist para habilitar la API y otorgar los roles necesarios.

Roles obligatorios

Para obtener los permisos que necesitas para usar el Explorador de trabajos y supervisar trabajos, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para usar el explorador de trabajos y supervisar los trabajos. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para usar el explorador de trabajos y supervisar los trabajos:

  • Para ver los trabajos a nivel del proyecto: bigquery.jobs.listAll en el proyecto
  • Para ver los trabajos a nivel de la organización, usa bigquery.jobs.listAll en la organización.

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Para usar Gemini Code Assist y solucionar problemas relacionados con los trabajos, consulta los requisitos adicionales de IAM para usar Gemini Code Assist.

Filtrar trabajos

Para filtrar trabajos de las consultas que contienen vistas INFORMATION_SCHEMA.JOBS*, haz lo siguiente:

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el menú de navegación, haz clic en Explorador de trabajos.

  3. En la página Explorador de trabajos, en el campo Ubicación, selecciona la ubicación de los trabajos que deseas ver.

  4. En el panel Filtros, aplica los filtros opcionales según sea necesario. Si este panel no está visible, haz clic en insert_chart Mostrar filtros.

    Están disponibles los siguientes filtros:

    • Alcance del trabajo: Filtra los trabajos según su nivel de visibilidad, por ejemplo, el proyecto actual, la organización y tus trabajos. Puedes optar por ver los trabajos del proyecto actual, de toda tu organización o solo los que iniciaste.
    • Vista de gráfico:
      • Trabajos finalizados: Muestra datos de la línea de tiempo para las consultas completadas y distingue entre los trabajos que se completaron correctamente y los que generaron errores.
      • Simultaneidad: Muestra datos de la línea de tiempo para la simultaneidad de las consultas, y distingue entre los trabajos activos y los trabajos en cola.
    • Agrupar por: Agrupa los trabajos mostrados por un recurso específico, como propietario, proyecto o reserva. Para obtener más información, consulta Cómo agrupar trabajos por recurso.
    • Estado: Filtra los trabajos según su estado de ejecución actual, por ejemplo, completado, error, activo y en fila. Los recuentos de resumen aparecen directamente junto a cada opción de filtro de estado facetado para indicar la cantidad de trabajos en ese estado.
    • ID del proyecto: Filtra los trabajos que se ejecutaron en un proyecto específico.
    • ID de reserva: Filtra los trabajos que usaron ranuras de una reserva específica. Esto te ayuda a supervisar cómo las diferentes cargas de trabajo consumen la capacidad reservada.
    • Propietario: Filtra los trabajos según la dirección de correo electrónico del usuario o la cuenta de servicio que inició el trabajo.
    • ID de trabajo: Filtra un trabajo específico por su identificador alfanumérico único.
    • Hash de consulta: Filtra los trabajos con un hash de consulta específico. Un hash de consulta identifica la lógica de una consulta, ignorando las diferencias en los comentarios, los valores de los parámetros, las UDF y los literales, lo que te ayuda a encontrar todas las ejecuciones de la misma lógica de consulta. Este campo aparece para las consultas correctas de GoogleSQL que no son aciertos de caché.
    • Etiquetas: Filtra los trabajos según las etiquetas de metadatos personalizadas que tú o tu organización les hayan adjuntado. Esto te permite categorizar y hacer un seguimiento de los trabajos por departamento o aplicación.
    • Estadísticas de consultas: Filtra los trabajos que BigQuery identificó como que tienen problemas de rendimiento específicos, como contención de ranuras, capacidad de Shuffle de memoria excedida y cambio en la escala de entrada de datos.
    • Tiempo de ranura superior a: Filtra los trabajos que consumieron más de una cantidad especificada de milisegundos de ranura. Esta es una métrica clave para identificar las búsquedas que consumen muchos recursos.
    • Duración superior a: Filtra los trabajos que tardaron más de una cantidad de tiempo especificada en completarse. Úsalo para encontrar las consultas que se ejecutan más lento de lo esperado.
    • Bytes procesados más de: Filtra los trabajos que analizaron más de una cantidad específica de datos. Esto te ayuda a identificar las consultas que podrían contribuir a los altos costos de procesamiento de datos.
    • Categoría de trabajo: Filtra los trabajos por el tipo de operación que se realiza, como las consultas en SQL estándar o las consultas continuas que se usan para el procesamiento de datos en tiempo real.
    • Motivo de creación del trabajo: Filtra los trabajos según el motivo por el que BigQuery los creó, por ejemplo, cuando una consulta supera el tiempo de espera o produce resultados demasiado grandes para una sola respuesta.
    • Prioridad del trabajo: Filtra los trabajos según su prioridad de ejecución, como trabajos interactivos o por lotes.

Consulta las métricas de la línea de tiempo del trabajo

El Explorador de trabajos incluye un gráfico de métricas interactivo que muestra datos de la línea de tiempo para las búsquedas que coinciden con los criterios de tu filtro. Puedes usar este gráfico para evaluar los patrones de carga de trabajo y detectar aumentos repentinos en los trabajos completados, activos o en cola. Para ver las tendencias históricas de simultaneidad en toda la organización en períodos más largos, consulta los gráficos de cronograma de métricas.

Para configurar el gráfico de métricas en el Explorador de trabajos, haz lo siguiente:

  1. Ve a la página Explorador de trabajos.

    Ir al Explorador de trabajos

  2. Ve al panel Filtros. Si este panel no está visible, haz clic en insert_chart Mostrar filtros.

  3. Selecciona la métrica que deseas mostrar en el gráfico:

    • Trabajos finalizados: Muestra datos de la línea de tiempo para las consultas completadas y distingue entre los trabajos que se completaron correctamente y los que generaron errores.
    • Simultaneidad: Muestra datos de la línea de tiempo para la simultaneidad de las consultas, y distingue entre los trabajos activos y los trabajos en cola.

Agrupa los trabajos por recurso

Para agregar estadísticas de trabajos y comparar el consumo en toda tu organización, puedes agrupar los trabajos por propietario, proyecto o reserva en lugar de ver los trabajos individuales en una tabla no agregada.

Para agrupar trabajos, haz lo siguiente:

  1. Ve a la página Explorador de trabajos.

    Ir al Explorador de trabajos

  2. Ve al panel Filtros. Si este panel no está visible, haz clic en insert_chart Mostrar filtros.

  3. Haz clic en Agrupar por y selecciona una de las siguientes opciones:

    • Ninguno (predeterminado): Muestra la tabla sin agregar de trabajos individuales.
    • Propietario: Agrupa los trabajos por la dirección de correo electrónico del usuario o la cuenta de servicio que ejecutó el trabajo.
    • Proyecto: Agrupa los trabajos por ID del proyecto.
    • Reservation: Agrupa los trabajos por ID de reserva.

Cuando configuras Agrupar por como Propietario, Proyecto o Reserva, BigQuery muestra una vista agregada con paneles de resumen para cada recurso. En cada panel, se muestran las siguientes estadísticas de resumen:

  • Trabajos activos: Es la cantidad de trabajos en ejecución.
  • Trabajos en cola: Es la cantidad de trabajos que esperan en la cola de consultas.
  • Trabajos con errores: Es la cantidad de trabajos que no se pudieron completar.
  • Trabajos completados: Es la cantidad de trabajos que se completaron correctamente.
  • Tiempo de ranura: Son los milisegundos de ranura totales que consumen los trabajos para ese recurso.
  • Bytes procesados: Es el volumen total de datos que analizan los trabajos para ese recurso.

Para inspeccionar los trabajos individuales asociados a un recurso específico, haz clic en el panel de ese recurso para expandirlo y mostrar una tabla filtrada de sus trabajos.

Soluciona problemas de rendimiento del trabajo

Para diagnosticar y solucionar problemas relacionados con las consultas, puedes ver las métricas de ejecución, el texto en SQL y las variaciones históricas del rendimiento en la página Detalles del trabajo.

Ver detalles del trabajo

Para ver los detalles de un trabajo y analizar la ejecución de su consulta, haz lo siguiente:

  1. Ve a la página Explorador de trabajos.

    Ir al Explorador de trabajos

  2. Opcional: Para reducir la cantidad de trabajos que se muestran, filtra los trabajos.

  3. Haz clic en el ID del trabajo que deseas investigar. En el caso de las consultas que no crean un trabajo, aparece el ID de la consulta y el vínculo está inhabilitado. Si haces clic en un ID de trabajo válido, se abrirá la página Detalles del trabajo con la pestaña Rendimiento que se muestra de forma predeterminada.

Información de búsqueda disponible

Para ayudarte a diagnosticar el rendimiento de las consultas, la pestaña Rendimiento en los detalles del trabajo compila la siguiente información y métricas, cuando corresponda:

  • Detalles del trabajo: Información sobre el trabajo, incluido el ID, la hora de creación, los bytes procesados y el uso de ranuras Para obtener más información, consulta Visualiza los detalles del trabajo.
  • Historial de ejecución: Es una lista de las ejecuciones históricas de la consulta, agrupadas por hash de la consulta. Puedes seleccionar un trabajo de esta lista para compararlo directamente con tu trabajo actual. Para obtener más información, consulta Cómo comparar trabajos.

  • Gráfico de ejecución: Es una representación visual de las etapas de ejecución de la consulta. Expande la sección Execution graph para inspeccionar la contención de ranuras, la capacidad de Shuffle y la escala de entrada de datos. Para obtener más información, consulta Obtén estadísticas de rendimiento de las consultas.

    En el siguiente ejemplo, se muestra un grafo de ejecución con la asignación de texto de SQL habilitada:

    Gráfico de ejecución para trabajos.

  • Carga del sistema durante la ejecución: Es un resumen de los recursos de procesamiento y la configuración de reserva asignados durante la ejecución del trabajo.

Diagnostica las regresiones de rendimiento comparando trabajos y sistemas

La herramienta de comparación de rendimiento te permite analizar las diferencias de rendimiento entre dos trabajos de consulta o en dos intervalos del sistema. El análisis muestra los detalles de las consultas, los cambios en la utilización de recursos y la configuración del entorno del sistema que difieren significativamente entre tus entornos de referencia y de destino.

Comprende el análisis comparativo

La herramienta de comparación evalúa el rendimiento en función de las métricas a nivel de la búsqueda y los factores a nivel del sistema. Puedes activar el botón de activación Mostrar solo las diferencias significativas para limitar la vista a las métricas con una varianza superior al 20%.

Las diferencias significativas se codifican por colores para ayudarte a detectar problemas:

  • Verde: La métrica mejoró (por ejemplo, una duración de la búsqueda más corta en la ejecución objetivo).
  • Amarillo: La métrica se degradó en menos del 20%.
  • Rojo: La métrica se degradó en más del 20%.

Compara dos trabajos

Para comparar un trabajo de referencia con la ejecución de un trabajo objetivo, haz lo siguiente:

  1. Abre la página Explorador de trabajos.

    Ir al Explorador de trabajos

  2. Opcional: Para reducir la cantidad de trabajos que se muestran, filtra los trabajos.

  3. Haz clic en el ID de tu trabajo de referencia para abrir la página Detalles del trabajo y selecciona la pestaña Rendimiento.

  4. En el menú Acciones, haz clic en Comparar trabajo.

  5. En el campo Trabajo uno (trabajo de referencia), haz clic en Explorar para abrir el panel Trabajos comparables similares.

  6. Selecciona el trabajo objetivo con el que deseas comparar tu modelo de referencia y haz clic en Comparar.

  7. Opcional: Para enfocarte en las regresiones de rendimiento más importantes, activa Mostrar solo las diferencias significativas. Esto limita la vista a las métricas con una varianza superior al 20%.

Para cambiar los trabajos que se comparan en cualquier momento, haz clic en Explorar en los campos de trabajo de referencia o de destino, y selecciona un trabajo nuevo de la lista de trabajos comparables.

Análisis a nivel de la búsqueda

Después de comparar dos trabajos, puedes ver la sección Análisis a nivel de la consulta, que compara dos ejecuciones de trabajos en tres pestañas:

  • Métricas: Compara las métricas principales de las consultas, como la duración del trabajo, el tiempo de ranura, los bytes procesados y los aceleradores sin usar.
  • Texto de SQL: Muestra las instrucciones de SQL para ambos trabajos y destaca las diferencias de texto.
  • Gráfico de ejecución: Compara los gráficos de ejecución de ambos trabajos etapa por etapa para identificar dónde se produjeron los cuellos de botella.

Compara dos intervalos del sistema

Los administradores y los analistas pueden analizar métricas de entornos más amplios ejecutando una comparación del rendimiento del sistema. Esta herramienta te permite comparar intervalos históricos en reservas y proyectos específicos para comprender los cambios en la utilización y aislar si la degradación del rendimiento se originó de forma interna o externa a tu carga de trabajo.

Puedes navegar a la vista de comparación del rendimiento del sistema de cualquiera de las siguientes maneras:

  • En la página Detalles del trabajo, después de comparar dos trabajos, haz clic en Ver más en la sección Resultados a nivel del sistema para ver los detalles de la comparación del sistema.
  • Si usas Gemini Cloud Assist para realizar una comparación del sistema, Gemini Cloud Assist generará un vínculo que abrirá los resultados de la comparación del sistema.

Para realizar una comparación a nivel del sistema en diferentes períodos, haz lo siguiente:

  1. En la vista Comparación del rendimiento del sistema, haz clic en Sistema.
  2. Para analizar el rendimiento, selecciona el sistema haciendo clic en Explorar y elige un alcance de reserva o proyecto.
  3. Define los períodos de comparación:
    • Intervalo objetivo: Selecciona el período de fecha y hora en el que se producen los problemas de rendimiento y haz clic en Aplicar.
    • Intervalo de referencia: Selecciona la fecha y el período de referencia que actuarán como tu comparativa de rendimiento y haz clic en Aplicar.

Análisis a nivel del sistema

Después de comparar los intervalos, se muestran los cambios en la utilización de los mapas de vistas, las variaciones de simultaneidad y las diferencias de configuración en el entorno seleccionado en comparación con su grupo principal. Esto te ayuda a determinar si la contención de ranuras o las regresiones de configuración afectan tu carga de trabajo. Los datos se generan en tres bloques:

  • Proyecto: Compara la simultaneidad de trabajos, la simultaneidad en cola y el uso total de ranuras a nivel del proyecto.
  • Reservation: Compara la utilización de la reserva, el uso compartido de ranuras inactivas y la simultaneidad del proyecto en las reservas compartidas.
  • Análisis de configuración: Compara la configuración de administración de cargas de trabajo entre las dos ejecuciones, como los límites máximos de tamaño de reserva y las reglas de préstamo de ranuras inactivas.

Usa estadísticas para solucionar problemas de rendimiento de agentes

Para enviar comentarios o solicitar asistencia para esta función, envía un correo electrónico a bq-performance-troubleshooting+feedback@google.com.

Cuando supervisas tareas de administración o evalúas comparaciones de rendimiento, BigQuery integra diagnósticos de observabilidad subyacentes con Gemini Cloud Assist para convertir el panel de chat en un asistente activo para la solución de problemas mientras solucionas anomalías a nivel del trabajo y del sistema.

Las estadísticas tienen control de acceso. Sin los permisos suficientes, las estadísticas que recibas podrían ser limitadas. Para obtener más información sobre los permisos, consulta Controla el acceso a los recursos con IAM.

Soluciona problemas de rendimiento en el chat

Para inicializar la solución de problemas basada en el contexto y actuar en función de las estadísticas de rendimiento, haz lo siguiente:

  1. Para abrir el panel de chat de Gemini Cloud Assist y cargar automáticamente el contexto relevante del trabajo o del sistema, haz una de las siguientes acciones:
    • En las páginas Explorador de trabajos o Historial de trabajos, coloca el cursor sobre un trabajo y haz clic en astrophotography_mode Gemini en esa fila de la tabla.
    • En la página Administración de cargas de trabajo, coloca el cursor sobre una reserva y haz clic en astrophotography_mode Gemini en esa fila de la tabla.
    • En Studio, Monitoring o Jobs explorer, haz clic en astrophotography_mode Gemini.
  2. Envía una instrucción en lenguaje natural. Por ejemplo, puedes pedirle a Gemini que explique por qué un trabajo se ejecuta con lentitud, analice estadísticas específicas del trabajo, analice el rendimiento de reservas específicas, solucione problemas de rendimiento del sistema o compare las variaciones de rendimiento entre dos trabajos históricos similares.
  3. Si se supera un umbral a nivel de la organización o de la reserva, como una fila de espera de ranuras grave debido a un aumento inesperado en la simultaneidad de proyectos activos, revisa el informe de Estadísticas de rendimiento generado. En este informe, se detallan los embotellamientos críticos, como los siguientes:
    • Aumento de la simultaneidad en cola: Son los aumentos repentinos en las demandas de consultas simultáneas que superan los límites de simultaneidad flexibles o las asignaciones de ranuras de reserva.
    • Mayor simultaneidad de proyectos: Se hace un seguimiento de los proyectos exactos de alta simultaneidad o de las principales cuentas de usuario que generan la carga del sistema en las reservas compartidas o las cuotas a pedido.
  4. Observa la tabla Comparación de métricas clave para rastrear diferencias numéricas precisas, como cambios en la simultaneidad promedio del proyecto, las ranuras de la cola o los límites máximos de ranuras de reserva.

  5. Ejecuta soluciones intercaladas directamente a través de vínculos de transferencia prácticos generados por Gemini Cloud Assist. Estos atajos te redireccionan a herramientas específicas integradas en el producto con contexto completado previamente para responder tus preguntas y resolver problemas:

    • Editar reserva: Abre el panel lateral de administración de cargas de trabajo para ajustar los tamaños máximos de reserva o activar capacidades de ajuste avanzadas.
    • Ver el rendimiento del trabajo en el Explorador de trabajos: Abre la pestaña de detalles de rendimiento del trabajo en particular.
    • Compara el rendimiento de los trabajos en el Explorador de trabajos: Compara el rendimiento de dos trabajos uno al lado del otro.

Precios

El explorador de trabajos está disponible sin costo adicional. Las consultas que se usan para completar estos gráficos no se facturan y no usan ranuras en reservas de usuarios. Se agota el tiempo de espera de las consultas que procesan demasiados datos.

¿Qué sigue?