Apache Spark

Cette page contient des informations sur la connexion de Looker à Apache Spark 3.

Looker se connecte à Apache Spark 3+ via une connexion JDBC au serveur Spark Thrift.

Chiffrement du trafic réseau

Il est recommandé de chiffrer le trafic réseau entre l'application Looker et votre base de données. Pour ce faire, consultez les options détaillées sur la page Sécurisation de l'accès à la base de données de la documentation.

Créer la connexion Looker à votre base de données

Dans la section Admin de Looker, sélectionnez Connections (Connexions), puis cliquez sur Add Connection (Ajouter une connexion).

Saisissez les informations de connexion. La majorité des paramètres sont communs à la plupart des dialectes de base de données. Pour en savoir plus, consultez la page de documentation Connexion de Looker à votre base de données. Voici quelques-uns des paramètres :

  • Name (Nom) : nom de la connexion. C'est sous ce nom que la connexion sera désignée dans le modèle LookML.
  • Dialect (Dialecte) : sélectionnez Apache Spark 3+.
  • Host (Hôte) : hôte du serveur Thrift.
  • Port : port du serveur Thrift (10000 par défaut).
  • Database (Base de données) : schéma/base de données par défaut qui sera modélisé. Si aucune base de données n'est spécifiée pour une table, cette option sera utilisée par défaut.
  • Nom d'utilisateur : utilisateur sous lequel Looker s'authentifiera.
  • Password (Mot de passe) : mot de passe facultatif pour l'utilisateur Looker.
  • Enable PDTs (Activer les PDT) : utilisez ce bouton pour activer les tables dérivées persistantes. Lorsque les PDT sont activées, la fenêtre Connection (Connexion) affiche des paramètres PDT supplémentaires et la section PDT Overrides (Remplacements de PDT).
  • Temp Database (Base de données temporaire) : schéma/base de données temporaire pour stocker les PDT. Vous devez la créer au préalable, avec une instruction telle que CREATE SCHEMA looker_scratch;.
  • Additional JDBC parameters (Paramètres JDBC supplémentaires) : ajoutez des paramètres JDBC supplémentaires. Pour obtenir la liste des paramètres compatibles, consultez la section Paramètres JDBC compatibles sur cette page.
  • SSL : laissez cette case décochée.
  • Database Time Zone (Fuseau horaire de la base de données) : fuseau horaire des données stockées dans Spark. En règle générale, vous pouvez laisser ce champ vide ou le définir sur UTC.
  • Query Time Zone (Fuseau horaire de la requête) : fuseau horaire dans lequel afficher les données interrogées dans Looker.

Pour vérifier que la connexion a réussi, cliquez sur Test (Tester). Pour obtenir des informations sur la résolution des problèmes, consultez la page de documentation Tester la connectivité de la base de données.

Pour enregistrer ces paramètres, cliquez sur Connect (Se connecter).

Paramètres JDBC compatibles

Pour Apache Spark, Looker est compatible avec les paramètres JDBC suivants dans le champ Additional JDBC parameters (Paramètres JDBC supplémentaires) pour la connexion. Pour en savoir plus sur ces paramètres, consultez la documentation de votre base de données.

  • batchsize
  • cascadeTruncate
  • connectionProvider
  • createTableColumnTypes
  • createTableOptions
  • customSchema
  • dbtable
  • fetchsize
  • isolationLevel
  • keytab
  • lowerBound
  • numPartitions
  • oracle.jdbc.mapDateToTimestamp
  • partitionColumn
  • password
  • preferTimestampNTZ
  • prepareQuery
  • principal
  • pushDownAggregate
  • pushDownLimit
  • pushDownOffset
  • pushDownPredicate
  • pushDownTableSample
  • query
  • queryTimeout
  • sessionInitStatement
  • truncate
  • upperBound
  • url
  • user

Compatibilité avec les fonctionnalités

Pour que Looker prenne en charge certaines fonctionnalités, votre dialecte de base de données doit également les prendre en charge.

Apache Spark 3+

À partir de Looker 26.6, Apache Spark 3+ est compatible avec les fonctionnalités suivantes :

Fonctionnalité Compatibilité
Looker (Google Cloud Core)
Agrégations symétriques
Tables dérivées
Tables dérivées SQL persistantes
Tables dérivées natives persistantes
Vues stables
Arrêt des requêtes
Tableaux croisés dynamiques basés sur SQL
Fuseaux horaires
SSL
Sous-totaux
Paramètres JDBC supplémentaires
Sensibilité à la casse
Type de lieu
Type de liste
Centile
Centile distinct
Afficher les processus dans l'exécuteur SQL
Décrire la table dans l'exécuteur SQL
Afficher les index dans l'exécuteur SQL
Sélectionner 10 dans l'exécuteur SQL
Nombre dans l'exécuteur SQL
Explication SQL
Identifiants OAuth 2.0
Commentaires de contexte
Regroupement de connexions
Résumés HLL
Reconnaissance d'agrégats
Augmentation de tables PDT
Millisecondes
Microsecondes
Vues matérialisées
Mesures de variation par période
Nombre approximatif d'éléments distincts
Agendas personnalisés

Étapes suivantes

Une fois la connexion créée, configurez les options d'authentification.