Fragen mit dem Tag "google-bigquery"

0

BigQueryIO - nur der erste Tag-Tabelle erstellt werden können, trotz CreateDisposition.CREATE_IF_NEEDED

Ich habe eine Datenfluss-job-Verarbeitung von Daten, die von pub/sub, die wie folgt definiert: Lesen von pub/sub -> process (meine Funktion) -> Gruppe in Tag windows -> schreiben BQ Ich bin mit Schreiben.Methode.FILE_LOADS aufgrund von bou...
2

Google BigQuery-Gruppe durch die Summe und verfolgen der Zeile zahlen und WENN die Bedingung auf die Letzte Zeile

Ich habe eine Abfrage, ich habe einige Mühe, richtig. Ich habe eine Tabelle mit gewonnen Verkaufsaktionen. In diesem, ich brauche die Gruppe von org_id, die die client-id und Summe Wert der Angebote, behalten Sie die Nummer der Zeile bestellt won_tim...
0

Doppelte Spaltennamen im Ergebnis werden nicht unterstützt in BigQuery

Ich werde versuchen, wählen Sie einige Spalten in BQ und eine Beschwerde über doppelte IDs: Duplicate column names in the result are not supported. Found duplicate(s): id Die Abfrage, die ich verwende, ist: SELECT billing_account_id,service.id,...
0

Nicht propagieren row_count von __TABELLEN__ Metadaten-Tabelle benutzerdefinierte Tabelle

Heute bin ich nicht mehr in der Lage, erstellen Sie eine Tabelle in bigquery von Metadaten-Tabelle - TABELLEN. Gestern alles gut geklappt hat. Problem reproduziert werden kann mit: create or replace table `steady-vine-203410.analysis_us.test` as sel...
2

BigQuery job status FERTIG, aber wird keine Zeile eingefügt, mit Luftzirkulation

Habe ich eine Daten-pipeline mit Apache Luftstrom zum einfügen von Daten in Big Query, aber nach ein paar läuft, werden keine Zeilen eingefügt werden können, in die Bigquery und die QueryJob status ist immer noch [2019-09-17 18:22:33,398] {logging_m...
1

Wie BigQuery exportieren Partitionen der GCS mit Airflow

Ich brauche zum erstellen einer Luftstrom-job exportiert die Partitionen in der BigQuery Tabelle GCS zwischen den gegebenen Bereich der _PARTITIONDATE. Ich brauche Partitionen werden in der separaten Datei mit dem Datum der Partitionen. Wie kann ich ...
0

Bigquery transfer - Datum Ändern-Problem

Ich bin versucht zu Bearbeiten, eine überweisung aus dem Google Play-Daten, und es hält mich bat, geben Sie ein Datum in der Zukunft, unabhängig davon, wie viel in der Zukunft bin ich versucht zu ergänzen. Jeder weiß, jeder Weg, um dieses Problem zu...
1

Konvertieren PostGis-Geometrie, Geographie BigQuery

Ich habe ein Geometry (sieht aus wie WKB) Objekt in meiner postgres/postgis DB, ich habe gedumpten auf BigQuery zu tun, einige Dinge, die Spaß machen. Ich sehe, es ist gespeichert als bytes an. Wie kann ich konstruiere ein GEOGRAPHY-Objekt aus diesem...
0

Wie zum hochladen von unstrukturierten Daten in Google-Speicher, hat latin-1-Kodierung

Wir haben unstrukturierte Daten, allerdings schon umgewandelt in tabellarischen Strukturen, die wir hochladen möchten, um GCP-Speicher, um Sie zu verarbeiten, mit bigQuery, die Fütterung unserer Daten-teams. Allerdings sind unsere Daten nicht in UTF-...
2

Geplant BigQuery Nicht die Verarbeitung der Daten

Ich bin Planung eine Abfrage zu füttern eine Tabelle jeden Tag mit den Daten aus dem vorherigen Tag. Wenn ich die Abfrage manuell funktioniert es ohne problem, aber wenn die geplante Abfrage wird ausgeführt, es sagt, dass es nicht alle Daten. SE...
1

BigQuery bekommen Unterschied zwischen event_timestamp von FB analytics und aktuelle timestamp

Ich bin mit bigquery integriert mit FB Analytics und ich versuche, die Abfrage der Unterschied zwischen einem event_timestamp und den aktuellen timestamp in Stunden. Ich bin doung so etwas wie dieses: SELECT TIMESTAMP_DIFF(event_timestamp, CURRENT_T...
0

Einfügen aus einer anderen Tabelle: Keine Abfrage der Zeilen, die größer als 100 MB ist

Hinzufügen von zusätzlichen Feldern in bestehenden verschachtelte Spalte und das einfügen in die staging-Tabelle, so kann ich Sie löschen und neu erstellen Haupt-Tabelle. Die tatsächlichen Zeilen sind nicht mehr als 100 MB, aber die Frage mit ARRAY_...
1

Wie konvertieren von BigQuery Timestamp in DateTime?

Ich bin mit Google.Cloud.BigQuery.V2 Zugriff auf große Abfrage. In meiner Tabelle habe ich ein Feld created_at, die in Timestamp(ex: 2019-08-11 11:22:22.123 UTC). Als ich versuchte konvertieren Sie dieses Feld in C# datetime liefert es die folgende A...
3

Wie schreibt man groß Abfrage zum abrufen unterschiedlicher Anzahl von Spalten über mehrere Tabellen hinweg

Ich möchte schreiben, eine große Abfrage zum abrufen des Werts in einer Spalte aus mehreren Tabellen in einem gegebenen Datensatz. Aber die Spalte name in beiden Tabellen unterschiedlich ist wie colA, colB, colC und so weiter. Wie dies zu erreichen? ...
1

BigQuery DATEADD(MAX(myDate), 1, JAHR) return-Funktion nicht gefunden: DATEADD; meinst du date_add? in [6:7]

Ich versuche einen Termin zu finden, dann fügen Sie eine Spalte mit Datum +1 Jahr. Aber aus irgendeinem Grund kann ich nicht verwenden ein Aggregat-Funktion in der DATEADD-Methode. Hat jemand eine Abhilfe für dieses? Die Konsole gibt diesen Fehler z...
0

Wie können wir unsere Abfrage von E-Mails über BigQuery?

Welche Schritte müssen ausgeführt werden, damit die Abfrage, domains/Firmen E-Mails über BigQuery? Ich habe mich durch beide der folgenden threads unterstützen und die Ergebnisse der Abfrage werden 0. Was die Anweisungen sagen, dass die daily_ Tabel...
1

Auszug Tabelle von Google BigQuery-Tabelle auf Google Cloud Storage

Ich bin versucht zu extrahieren Tabelle von Google BigQuery-Tabelle auf Google Cloud Storage mithilfe von APIs. Es tut exportiert Daten komprimiert(GZIP), CSV-Datei zu google storage. Aber es gibt nicht den öffentlichen Zugriff auf diese Datei. Gibt ...
0

das heutige Datum-filter zeigt nächsten Tag die Daten in der Tabelle, Diagramm

Wenn ich wählen Sie Datum sept 16,ich bekommen, um zu sehen, sept 16: 6 und sept 17 Daten bis 5:59 UHR. Es ist die Behandlung von 24 Stunden ab sept 16 Uhr bis sept 17 6 Uhr. Gibt es irgendein Problem mit date-Feld oder den Berichts-filter-Problem?
0

Problem mit Grafana mit BigQuery datasource

Der einzige Weg, fand ich, zu visualisieren, BigQuery-Daten mit Grafana, war es mit dieser datasource plugin verfügbar https://github.com/doitintl/bigquery-grafana Funktioniert aber nicht mir gut. Ich bin nicht in der Lage zu zeichnen, die nichts m...
0

SQL-Transformation in Informatica für Google Bigquery

Ich habe ein SQL-Skript mit mehreren drop & create DDL(Erstellen von Tabellen, die Als Select *), ich will laufen Sie bei einem gehen. Ich bin ganz neu mit informatica powercenter, kann jemand liefern der Prozess der Verwendung von SQL-transforma...
1

Insert into Tabelle enthält Wiederholt Datensatz in BigQuery

Ich habe eine Tabelle in BigQuery mit sehr komplexen System (bis zu 2300 Spalte) in diese Spalten habe ich Datensatztyp-Felder, someof Sie sind in WIEDERHOLTEN Modus Die insert-Anweisung generiert wird, durch den Prozessor im code aber wenn der tes...
0

Escape-Zeichen in der Datei

Ich habe einige hundert-Datei darstellen 400Gb Daten mit CSV-format mit specificicatons belows Lieferumfang : Doppel-Zitat Trennzeichen : Komma escape-Zeichen : antislash meine Daten sein könnte a,30,"product, A","my product : \"good produ...
0

Wie kann ich Samen eine zufällige Auswahl von N Ergebnisse aus einer Tabelle in BigQuery?

Ich möchte eine Abfrage (reproduzierbar) Liste von N zufälligen Ergebnisse aus einer Tabelle. Allerdings, wenn ich versuche dieses: SELECT * FROM my_table ORDER BY RAND(19) LIMIT 10 Ich bekomme eine Fehlermeldung: Grund: 400 Keine passende Signatu...
0

Stuck in 'Laden BigQuery' Seite

Wenn Sie versuchen, öffnen 'https://bigquery.cloud.google.com/queries/motorola.com:dataservices' die, die ich verwenden könnte ohne jedes Problem, gestern, heute erste die Webseite sagte mir, dass mein Konto deaktiviert wurde,konnte nicht einmal log-...
0

Laden csv.gz Datei von google-Speicherplatz zu bigquery mit python

Ich will zu laden csv.gz Datei aus dem Speicher zu bigquery. Jetzt habe ich mit folgenden code, aber ich bin nicht sicher, ob es eine effiziente Möglichkeit zum laden von Daten in bigquery. # -*- coding: utf-8 -*- from io import BytesIO import panda...