Fragen mit dem Tag "scala"

0

Wieder für update-und delete-Abfragen in Glatten

Ich versuche, passen Sie die geniale Lösung dieser Frage zu arbeiten mit beliebigen update-und delete-Anfragen in der Postgres. Es funktioniert gut, wenn es nur einen bind-parameter in der resultierenden Abfrage. E. g.: users.filter(_.name === "Ann"...
1

scala: append von zwei Listen

Ich habe Folgendes snippet von scala-code: def append(as: List[Int], bs: List[Int]): List[Int] = as match { case Nil => bs case x::xs => x::append(xs, bs) } Ich verstehe nicht, das x:: in der Zeile, wo x::append(xs, bs) st...
0

Hilfe beim erstellen der code für die gegenseitige Freunde problem in der Funke

Gegeben sei eine Menge S von Paaren von Benutzernamen entsprechende gegenseitige Freundschaft in ein Soziales Netzwerk, ein Programm schreiben, das die Ausgabe jedes Benutzers i-TEN Grad Freunde, für jede positive i kleiner oder gleich Nfür ein feste...
0

Beste Weg, takeDamage-Funktion im RPG-Spiel

Ich bin ein Anfänger-Programmierer, der versucht, um eine einfache RPG-Spiel und brauchen Ideen auf, wie das Gleichgewicht der Angriffs - / Verteidigungs-Statistiken. Im Grunde genommen, ich möchte nur wissen, ob es einen besseren Weg, dies zu tun, ...
1

Zweck der Muster, bei dem Objekt erstreckt Eigenschaft mit dem gleichen Namen - Objekt-Live erweitert Live

Ich versuche ZIO. Ich verstehe nicht, warum Live ist nun als Trait, und dann ein "object " ist vorhanden, wie: object Live extends Live Dieses Muster findet sich in verschiedenen Orten, zum Beispiel zio.console.Console. Gibt es einen Grund, oder...
0

strukturierte streaming kafka FileNotFoundException:/application_1568106731393_0586/blockmgr/temp_shuffle (Zu viele offene Dateien)

java.io.FileNotFoundException: /data/hadoop/yarn/local/usercache/hue/appcache/application_1568106731393_0586/blockmgr-d2b8076e-92c8-4f0c-a8a0-68b08b7b16de/21/temp_shuffle_f0801cd8-0676-40fa-932b- 8d315c6e0d49 (Zu viele offene Dateien)+detailsjava.io....
2

Beispiel dataframe nicht ausgestrahlt, während Sie eine Verknüpfung ohne änderung Funke Eigenschaften

Nach der Dokumentation, einer kleinen DataFrame ausgestrahlt wird standardmäßig aktiviert, wenn dies eine Hive-Metastore-Tabelle und der DataFrame ist kleiner als 10MB an. Hier bin ich versucht zu finden, ein Beispiel von einer "kleinen" DataFrame w...
0

ScalaMeter: Testen Sie warf Ausnahme

Nur mein erstes mal mit ScalaMeter und Scala. Ich versuche zu testen, zwei einfache Methoden, und ich schrieb, basierend auf den Beispielen, die in der ScalaMeter Einfache benchmark - Seite den folgenden code: import org.scalameter.api._ object Ran...
1

Spark JDBC Lesen, Partition, Spalte Typ Wählen?

Ich versuche ein Lesen einer SQL-Tabelle (15 Millionen Zeilen), mit Funken, die in Dataframe, ich will zu nutzen Multi-Core zu Tun, der lese sehr Schnell und machen die Partition, Welche die Spalten - /s kann ich wählen, um partition ? ist es ID, UUI...
0

So finden Sie die Codierung einer Datei mit Hilfe von Java

Ich bin auf der Suche nach der Codierung einer Datei mit dem java-Programm. Aber es immer die UTF-8 als Ausgabe. Obwohl es ist eine ANSI-Datei. import java.io.InputStream import java.io.FileInputStream import java.io.BufferedInputStream import ja...
0

Wie kann ich erklären, ein Standard-Tupel function-parameter in eine Scala?

Ich möchte zum deklarieren einer Funktion erhält einen string und ein Tuple2 mit dem ersten Wert als boolescher Wert und zweiten Wert als jeder Typ. Die tuple2 sollte ein Standard-Wert für den Fall seiner nicht-geliefert-Funktion Ich habe versucht...
0

Umwandlung von verschachtelten null-Werte leere Zeichenfolgen, die in dataframe Funke

Ich bin auf der Suche zu konvertieren, die null-Werte in verschachtelten Array von String zu leeren Zeichenfolgen in der Funke. Die Daten in einem dataframe. Ich Vorhaben, läuft auf eine Funktion reduzieren Sie nach den dataframe null sicher, nicht s...
0

Generischer Fehler beim Aufruf von scala-code in python

Ich bin versucht zu implementieren, die ein Dialekt von einer Scala-code in python(pyspark, jupyter notebook) import spark import pixiedust from pyspark import SparkContext from pyspark.sql import SparkSession, SQLContext import os from dotenv impor...
0

So definieren Sie eine Nachricht flow-Transformator für benutzerdefinierte Daten geben Sie bei der Migration scala websocket-form spielen 2.4 auf 2.6 spielen

In-play-version 2.4, definierte ich ein paar von frame-formater zu handhaben Datentyp exchange implicit val sender: FrameFormatter[Sender] = jsonFrame[Sender] implicit val reciever: FrameFormatter[Receiver] = jsonFrame[Receiver] private def jsonFr...
1

Brauche ich ThreadPoolTaskSupport?

Ich bin mit einer situation konfrontiert, in der Scala 2.11, wo ich eine parallele Sammlung auf die Verwendung einer bestimmten threading-Mechanismus. Die Scala-code abhängig von einer Plattform, die in Java geschrieben wird, die eine ThreadPoolExecu...
2

Suche regex-Muster in Zeichenketten in scala

Ich versuche zum erstellen eines regex entspricht, strings /x+any number/ in Ihnen, wo etwas geschrieben werden kann, bevor oder nachdem die. Ich habe versucht, erstellen Sie die folgende regex .*/x+\\d*/.* Ein Beispiel für einen string, den ich ...
1

orderBy-Dataframe auf zwei oder drei Spalten auf Grundlage einer Bedingung, scala, spark

Ich bin kämpfen mit diesem problem der Verwendung von Spark-Scala: Ich habe eine inmutable Wert "iter", die initialisiert werden, um 1 oder 2. Je nach dem Wert von 'iter', wenn es 1 ich erstellen müssen Sie ein neues Dataframe, die die vorherigen s...
0

Limit extension der Eigenschaft, mehrere Klassen - Scala

Gibt es eine Möglichkeit, begrenzen die Möglichkeit, ein Merkmal, erweitert nicht nur eine Klasse, aber zu viele? Von daher: def trait Extendable { this : A => (...) } zu diesem: def trait Extendable { this : A | B | C => (...) }
0

Vermeidung von deprecation-Warnung auf matchPattern gegen ein Regex in ScalaTest

Betrachten Sie den folgenden code: val IdentifierRe = "([a-z]+)([0-9]+)".r object IntPart { def unapply(arg: String): Option[Int] = Some(arg.toInt) } "foo123" should matchPattern { case IdentifierRe("foo", IntPart(123)) => } Es kompiliert, a...
1

Zugriff auf Aufgaben, den Fortschritt von der Treiber-Zündkerzen

Ich bin versucht zu tun, einige Aktionen sind in der Driver-Seite bei Funke während eine Anwendung ausgeführt wird. Das Driver muss wissen, die Aufgaben, Fortschritte, bevor Sie eine Entscheidung treffen. Ich weiß, dass die Aufgaben Fortschritte zuge...
1

Mit einem, wenn im Fall

Ich bin versucht zu lernen, Scala und dem Versuch, eine Funktion schreiben, verwendet eine case-Anweisung(switch) in der Lage sein zu bestimmen, ob eine Zahl gerade oder ungerade ist. Irgendeine Idee, wo ich meine syntax falsch? val y = List(1, 3, 5...
2

Parse JSON-Datei mit Spark Scala

Ich habe die JSON-source-Daten - Datei wie unten, und ich müssen die Erwarteten Ergebnisse in einem ganz anderen format, welches auch unten gezeigt, gibt es eine Möglichkeit, kann ich dies erreichen Sie mit Spark Scala. Schätzen Ihre Hilfe bei diesem...
0

Immer Langsamer Abfrage-Warnung beim laden von Daten aus mongodb mit MongoSpark.load() in scala

Ich bin das laden von Daten von 200 Sammlungen von mongodb und die erhobenen Daten zählen könnte 1-2 Millionen. Ich bin mit MongoSpark.load() in scala. Nach dem laden von Daten aus einer Sammlung bin ich konvertieren es in DataFrame durch die überga...
0

Schreiben von Daten in den S3-Datei mit Hadoop Filesystem API Java

Ich möchte zum schreiben von Daten in den S3-Datei mit dem Hadoop-Dateisystem Java-API Ich habe versucht den code unten und konnte nicht arbeiten. Kann mir jemand helfen dieses Problem lösen val config = new Configuration() config.set("fs.s3a.impl"...
2

Join 2 DataFrame basierend auf der lookup innerhalb einer Spalte von Sammlungen - Funke,Scala

Ich habe 2 dataframes als unten val x = Seq((Seq(4,5),"XXX"),(Seq(7),"XYX")).toDF("X","NAME") val y = Seq((5)).toDF("Y") Ich möchte die beiden dataframes durch nachschlagen der Wert von y und Suche die Seq/Array in x.select("X"), falls vorhanden,...