scala - una - formula para buscar datos repetidos en excel

¿Cómo eliminar 2 o más duplicados de la lista y mantener su orden inicial?

Question

Asumamos que tenemos una lista de Scala:

val l1 = List(1, 2, 3, 1, 1, 3, 2, 5, 1)

Podemos eliminar fácilmente los duplicados utilizando el siguiente código:

l1.distinct

o

l1.toSet.toList

Pero, ¿qué pasa si queremos eliminar duplicados solo si hay más de 2? Entonces, si hay más de 2 elementos con el mismo valor, solo quedamos dos y eliminamos el resto.

Pude lograrlo con el siguiente código:

l1.groupBy(identity).mapValues(_.take(2)).values.toList.flatten

Eso me dio el resultado:

List(2, 2, 5, 1, 1, 3, 3)

Los elementos se eliminan, pero el orden de los elementos restantes es diferente de cómo aparecieron estos elementos en la lista inicial. ¿Cómo hacer esta operación y seguir siendo el orden de la lista original?

Entonces el resultado para l1 debería ser:

List(1, 2, 3, 1, 3, 2, 5)

Answer 1

Aquí está el código canónico de Scala para reducir tres o más en una fila a dos en una fila:

  def checkForTwo(candidate: List[Int]): List[Int] = {
    candidate match {
      case x :: y :: z :: tail if x == y && y == z =>
        checkForTwo(y :: z :: tail)
      case x :: tail => 
        x :: checkForTwo(tail)
      case Nil =>
        Nil
    }
  }

Observa los primeros tres elementos de la lista y, si son iguales, elimina el primero y repite el proceso. De lo contrario, pasa elementos a través.

Answer 2

Aquí hay una solución recursiva (se acumulará el desbordamiento de listas grandes):

  def filterAfter[T](l: List[T], max: Int): List[T] = {
    require(max > 1)
    //keep the state of seen values
    val seen = Map[T, Int]().withDefaultValue(0)//init to 0
    def filterAfter(l: List[T], seen: Map[T, Int]): (List[T], Map[T, Int]) = {
      l match {
        case x :: xs =>
          if (seen(x) < max) {
            //Update the state and pass to next
            val pair = filterAfter(xs, seen updated (x, seen(x) + 1))
            (x::pair._1, pair._2)
          } else {
            //already seen more than max
            filterAfter(xs, seen)
          }
        case _ => (l, seen)//empty, terminate recursion
      }
    }
    //call inner recursive function
    filterAfter(l, seen, 2)._1
  }

Answer 3

Basado en la respuesta de experquisite, pero usando foldLeft :

def noMoreThanBis(xs: List[Int], max: Int) = {
  val initialState: (Map[Int, Int], List[Int]) = (Map().withDefaultValue(0), Nil)
  val (_, result) = xs.foldLeft(initialState) { case ((count, res), x) =>
    if (count(x) >= max)
      (count, res)
    else
      (count.updated(x, count(x) + 1), x :: res)
  }
  result.reverse
}

Answer 4

De manera similar a como se implementa distinto, con un conjunto múltiple en lugar de un conjunto:

def noMoreThan[T](list : List[T], max : Int) = {
    val b = List.newBuilder[T]
    val seen = collection.mutable.Map[T,Int]().withDefaultValue(0)
    for (x <- list) {
      if (seen(x) < max) {
        b += x
        seen(x) += 1
      }
    }
    b.result()
  }

Answer 5

Es un poco feo, pero es relativamente rápido

val l1 = List(1, 2, 3, 1, 1, 3, 2, 5, 1)
l1.foldLeft((Map[Int, Int](), List[Int]())) { case ((m, ls), x) => {
  val z = m + ((x, m.getOrElse(x, 0) + 1))
  (z, if (z(x) <= 2) x :: ls else ls)
}}._2.reverse

Da: List(1, 2, 3, 1, 3, 2, 5)

Answer 6

Mi humilde respuesta:

def distinctOrder[A](x:List[A]):List[A] = {
    @scala.annotation.tailrec
    def distinctOrderRec(list: List[A], covered: List[A]): List[A] = {
       (list, covered) match {
         case (Nil, _) => covered.reverse
         case (lst, c) if c.count(_ == lst.head) >= 2 => distinctOrderRec(list.tail, covered)
         case _ =>  distinctOrderRec(list.tail, list.head :: covered)
       }
    }
    distinctOrderRec(x, Nil)
}

Con los resultados:

scala> val l1 = List(1, 2, 3, 1, 1, 3, 2, 5, 1)
l1: List[Int] = List(1, 2, 3, 1, 1, 3, 2, 5, 1)

scala> distinctOrder(l1)
res1: List[Int] = List(1, 2, 3, 1, 3, 2, 5)

En la Edición: ¡Justo antes de irme a la cama, se me ocurrió esto!

l1.foldLeft(List[Int]())((total, next) => if (total.count(_ == next) >= 2) total else total :+ next)

Con una respuesta de:

res9: List[Int] = List(1, 2, 3, 1, 3, 2, 5)

Answer 7

No es el más eficiente.

scala> val l1 = List(1, 2, 3, 1, 1, 3, 2, 5, 1)
l1: List[Int] = List(1, 2, 3, 1, 1, 3, 2, 5, 1)

scala> l1.zipWithIndex.groupBy( _._1 ).map(_._2.take(2)).flatten.toList.sortBy(_._2).unzip._1
res10: List[Int] = List(1, 2, 3, 1, 3, 2, 5)

Answer 8

No es la más bonita. Espero ver las otras soluciones.

def noMoreThan(xs: List[Int], max: Int) =
{
  def op(m: Map[Int, Int], a: Int) = {
    m updated (a, m(a) + 1)
  }
  xs.scanLeft( Map[Int,Int]().withDefaultValue(0) ) (op).tail
    .zip(xs)
    .filter{ case (m, a) => m(a) <= max }
    .map(_._2)
}

scala> noMoreThan(l1, 2)
res0: List[Int] = List(1, 2, 3, 1, 3, 2, 5)

Answer 9

Prefiero acercarme con Map inmutable:

  def noMoreThan[T](list: List[T], max: Int): List[T] = {
    def go(tail: List[T], freq: Map[T, Int]): List[T] = {
      tail match {
        case h :: t =>
          if (freq(h) < max)
            h :: go(t, freq + (h -> (freq(h) + 1)))
          else go(t, freq)
        case _ => Nil
      }
    }
    go(list, Map[T, Int]().withDefaultValue(0))
  }

Answer 10

Qué tal esto:

list
 .zipWithIndex
 .groupBy(_._1)
 .toSeq
 .flatMap { _._2.take(2) }       
 .sortBy(_._2)
 .map(_._1)

Answer 11

Solución con groupBy y filter, sin ningún tipo de clasificación (por lo que es O (N), la clasificación le dará O (Nlog (N)) adicional en un caso típico):

val li = l1.zipWithIndex
val pred = li.groupBy(_._1).flatMap(_._2.lift(1)) //1 is your "2", but - 1
for ((x, i) <- li if !pred.get(x).exists(_ < i)) yield x

Answer 12

Versión más sencilla utilizando foldLeft:

l1.foldLeft(List[Int]()){(acc, el) => 
     if (acc.count(_ == el) >= 2) acc else el::acc}.reverse

Answer 13

distinct se define para SeqLike como

/** Builds a new $coll from this $coll without any duplicate elements.
 *  $willNotTerminateInf
 *
 *  @return  A new $coll which contains the first occurrence of every element of this $coll.
 */
def distinct: Repr = {
  val b = newBuilder
  val seen = mutable.HashSet[A]()
  for (x <- this) {
    if (!seen(x)) {
      b += x
      seen += x
    }
  }
  b.result()
}

Podemos definir nuestra función de manera muy similar:

def distinct2[A](ls: List[A]): List[A] = {
  val b = List.newBuilder[A]
  val seen1 = mutable.HashSet[A]()
  val seen2 = mutable.HashSet[A]()
  for (x <- ls) {
    if (!seen2(x)) {
      b += x
      if (!seen1(x)) {
        seen1 += x
      } else {
        seen2 += x
      }
    }
  }
  b.result()
}

scala> distinct2(l1)
res4: List[Int] = List(1, 2, 3, 1, 3, 2, 5)

Esta versión usa el estado interno, pero sigue siendo puro. También es bastante fácil generalizar para n arbitraria (actualmente 2), pero la versión específica es más eficaz.

Puede implementar la misma función con los pliegues que llevan el estado "lo que se ve una y dos veces" con usted. Sin embargo, el bucle for y el estado mutable hacen el mismo trabajo.