Binary compatibility report for the spark-testing-base_2.10-1.5.0_0.1.3 library  between 1.5.0 and 1.1.0 versions   (relating to the portability of client application spark-testing-base_2.10-1.5.0_0.1.3.jar)

Test Info


Library Namespark-testing-base_2.10-1.5.0_0.1.3
Version #11.5.0
Version #21.1.0
Java Version1.7.0_75

Test Results


Total Java ARchives6
Total Methods / Classes871 / 3141
VerdictIncompatible
(54.6%)

Problem Summary


SeverityCount
Added Methods-92
Removed MethodsHigh323
Problems with
Data Types
High7
Medium1
Low0
Problems with
Methods
High0
Medium0
Low0

Added Methods (92)


spark-core_2.10-1.1.0.jar, Clock.class
package org.apache.spark.util
Clock.getTime ( ) [abstract]  :  long

spark-core_2.10-1.1.0.jar, SparkConf.class
package org.apache.spark
SparkConf.settings ( )  :  scala.collection.mutable.HashMap<String,String>

spark-core_2.10-1.1.0.jar, SparkContext.class
package org.apache.spark
SparkContext.ui ( )  :  ui.SparkUI

spark-sql_2.10-1.1.0.jar, SQLContext.class
package org.apache.spark.sql
SQLContext.applySchema ( org.apache.spark.rdd.RDD<catalyst.expressions.Row> rowRDD, catalyst.types.StructType schema )  :  SchemaRDD
SQLContext.applySchemaToPythonRDD ( org.apache.spark.rdd.RDD<Object[ ]> rdd, catalyst.types.StructType schema )  :  SchemaRDD
SQLContext.applySchemaToPythonRDD ( org.apache.spark.rdd.RDD<Object[ ]> rdd, String schemaString )  :  SchemaRDD
SQLContext.approxCountDistinct ( catalyst.expressions.Expression e, double rsd )  :  catalyst.expressions.ApproxCountDistinct
SQLContext.autoBroadcastJoinThreshold ( )  :  int
SQLContext.avg ( catalyst.expressions.Expression e )  :  catalyst.expressions.Average
SQLContext.binaryToLiteral ( byte[ ] a )  :  catalyst.expressions.Literal
SQLContext.booleanToLiteral ( boolean b )  :  catalyst.expressions.Literal
SQLContext.byteToLiteral ( byte b )  :  catalyst.expressions.Literal
SQLContext.clear ( )  :  void
SQLContext.codegenEnabled ( )  :  boolean
SQLContext.columnBatchSize ( )  :  int
SQLContext.count ( catalyst.expressions.Expression e )  :  catalyst.expressions.Count
SQLContext.countDistinct ( scala.collection.Seq<catalyst.expressions.Expression> e )  :  catalyst.expressions.CountDistinct
SQLContext.createParquetFile ( String path, boolean allowExisting, org.apache.hadoop.conf.Configuration conf, scala.reflect.api.TypeTags.TypeTag<A> p4 )  :  SchemaRDD
SQLContext.createSchemaRDD ( org.apache.spark.rdd.RDD<A> rdd, scala.reflect.api.TypeTags.TypeTag<A> p2 )  :  SchemaRDD
SQLContext.decimalToLiteral ( scala.math.BigDecimal d )  :  catalyst.expressions.Literal
SQLContext.defaultSizeInBytes ( )  :  long
SQLContext.dialect ( )  :  String
SQLContext.doubleToLiteral ( double d )  :  catalyst.expressions.Literal
SQLContext.DslAttribute ( catalyst.expressions.AttributeReference a )  :  catalyst.dsl.package.ExpressionConversions.DslAttribute
SQLContext.DslExpression ( catalyst.expressions.Expression e )  :  catalyst.dsl.package.ExpressionConversions.DslExpression
SQLContext.DslString ( String s )  :  catalyst.dsl.package.ExpressionConversions.DslString
SQLContext.DslSymbol ( scala.Symbol sym )  :  catalyst.dsl.package.ExpressionConversions.DslSymbol
SQLContext.first ( catalyst.expressions.Expression e )  :  catalyst.expressions.First
SQLContext.floatToLiteral ( float f )  :  catalyst.expressions.Literal
SQLContext.intToLiteral ( int i )  :  catalyst.expressions.Literal
SQLContext.isParquetBinaryAsString ( )  :  boolean
SQLContext.jsonFile ( String path )  :  SchemaRDD
SQLContext.jsonFile ( String path, double samplingRatio )  :  SchemaRDD
SQLContext.jsonFile ( String path, catalyst.types.StructType schema )  :  SchemaRDD
SQLContext.jsonRDD ( org.apache.spark.rdd.RDD<String> json )  :  SchemaRDD
SQLContext.jsonRDD ( org.apache.spark.rdd.RDD<String> json, double samplingRatio )  :  SchemaRDD
SQLContext.jsonRDD ( org.apache.spark.rdd.RDD<String> json, catalyst.types.StructType schema )  :  SchemaRDD
SQLContext.logicalPlanToSparkQuery ( catalyst.plans.logical.LogicalPlan plan )  :  SchemaRDD
SQLContext.longToLiteral ( long l )  :  catalyst.expressions.Literal
SQLContext.lower ( catalyst.expressions.Expression e )  :  catalyst.expressions.Lower
SQLContext.max ( catalyst.expressions.Expression e )  :  catalyst.expressions.Max
SQLContext.min ( catalyst.expressions.Expression e )  :  catalyst.expressions.Min
SQLContext.numShufflePartitions ( )  :  int
SQLContext.optimizer ( )  :  catalyst.optimizer.Optimizer.
SQLContext.SQLConf._setter_.settings_.eq ( java.util.Map p1 )  :  void
SQLContext.parquetCompressionCodec ( )  :  String
SQLContext.parquetFile ( String path )  :  SchemaRDD
SQLContext.parseDataType ( String dataTypeString )  :  catalyst.types.DataType
SQLContext.parser ( )  :  catalyst.SqlParser
SQLContext.registerFunction ( String name, scala.Function10<?,?,?,?,?,?,?,?,?,?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerFunction ( String name, scala.Function11<?,?,?,?,?,?,?,?,?,?,?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerFunction ( String name, scala.Function12<?,?,?,?,?,?,?,?,?,?,?,?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerFunction ( String name, scala.Function13<?,?,?,?,?,?,?,?,?,?,?,?,?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerFunction ( String name, scala.Function14<?,?,?,?,?,?,?,?,?,?,?,?,?,?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerFunction ( String name, scala.Function15<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerFunction ( String name, scala.Function16<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerFunction ( String name, scala.Function17<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerFunction ( String name, scala.Function18<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerFunction ( String name, scala.Function19<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerFunction ( String name, scala.Function1<?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerFunction ( String name, scala.Function20<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerFunction ( String name, scala.Function21<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerFunction ( String name, scala.Function22<?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerFunction ( String name, scala.Function2<?,?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerFunction ( String name, scala.Function3<?,?,?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerFunction ( String name, scala.Function4<?,?,?,?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerFunction ( String name, scala.Function5<?,?,?,?,?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerFunction ( String name, scala.Function6<?,?,?,?,?,?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerFunction ( String name, scala.Function7<?,?,?,?,?,?,?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerFunction ( String name, scala.Function8<?,?,?,?,?,?,?,?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerFunction ( String name, scala.Function9<?,?,?,?,?,?,?,?,?,T> func, scala.reflect.api.TypeTags.TypeTag<T> p3 )  :  void
SQLContext.registerPython ( String name, byte[ ] command, java.util.Map<String,String> envVars, java.util.List<String> pythonIncludes, String pythonExec, org.apache.spark.Accumulator<java.util.List<byte[ ]>> accumulator, String stringDataType )  :  void
SQLContext.registerRDDAsTable ( SchemaRDD rdd, String tableName )  :  void
SQLContext.settings ( )  :  java.util.Map<String,String>
SQLContext.shortToLiteral ( short s )  :  catalyst.expressions.Literal
SQLContext.sql ( String sqlText )  :  SchemaRDD
SQLContext.stringToLiteral ( String s )  :  catalyst.expressions.Literal
SQLContext.sum ( catalyst.expressions.Expression e )  :  catalyst.expressions.Sum
SQLContext.sumDistinct ( catalyst.expressions.Expression e )  :  catalyst.expressions.SumDistinct
SQLContext.symbolToUnresolvedAttribute ( scala.Symbol s )  :  catalyst.analysis.UnresolvedAttribute
SQLContext.table ( String tableName )  :  SchemaRDD
SQLContext.timestampToLiteral ( java.sql.Timestamp t )  :  catalyst.expressions.Literal
SQLContext.upper ( catalyst.expressions.Expression e )  :  catalyst.expressions.Upper
SQLContext.useCompression ( )  :  boolean

spark-streaming_2.10-1.1.0.jar, Checkpoint.class
package org.apache.spark.streaming
Checkpoint.getCheckpointFiles ( String p1, org.apache.hadoop.fs.FileSystem p2 ) [static]  :  scala.collection.Seq<org.apache.hadoop.fs.Path>
Checkpoint.sparkConf ( )  :  org.apache.spark.SparkConf

spark-streaming_2.10-1.1.0.jar, DStream<T>.class
package org.apache.spark.streaming.dstream
DStream<T>.validate ( )  :  void

spark-streaming_2.10-1.1.0.jar, StreamingContext.class
package org.apache.spark.streaming
StreamingContext.getNewReceiverStreamId ( )  :  int
StreamingContext.state ( )  :  scala.Enumeration.Value
StreamingContext.state_.eq ( scala.Enumeration.Value p1 )  :  void
StreamingContext.StreamingContextState ( )  :  StreamingContext.StreamingContextState.
StreamingContext.uiTab ( )  :  ui.StreamingTab

to the top

Removed Methods (323)


spark-core_2.10-1.5.0.jar, Clock.class
package org.apache.spark.util
Clock.getTimeMillis ( ) [abstract]  :  long
Clock.waitTillTime ( long p1 ) [abstract]  :  long

spark-core_2.10-1.5.0.jar, SparkConf.class
package org.apache.spark
SparkConf.getAppId ( )  :  String
SparkConf.getAvroSchema ( )  :  scala.collection.immutable.Map<Object,String>
SparkConf.getDeprecatedConfig ( String p1, SparkConf p2 ) [static]  :  scala.Option<String>
SparkConf.getSizeAsBytes ( String key )  :  long
SparkConf.getSizeAsBytes ( String key, long defaultValue )  :  long
SparkConf.getSizeAsBytes ( String key, String defaultValue )  :  long
SparkConf.getSizeAsGb ( String key )  :  long
SparkConf.getSizeAsGb ( String key, String defaultValue )  :  long
SparkConf.getSizeAsKb ( String key )  :  long
SparkConf.getSizeAsKb ( String key, String defaultValue )  :  long
SparkConf.getSizeAsMb ( String key )  :  long
SparkConf.getSizeAsMb ( String key, String defaultValue )  :  long
SparkConf.getTimeAsMs ( String key )  :  long
SparkConf.getTimeAsMs ( String key, String defaultValue )  :  long
SparkConf.getTimeAsSeconds ( String key )  :  long
SparkConf.getTimeAsSeconds ( String key, String defaultValue )  :  long
SparkConf.logDeprecationWarning ( String p1 ) [static]  :  void
SparkConf.registerAvroSchemas ( scala.collection.Seq<org.apache.avro.Schema> schemas )  :  SparkConf
SparkConf.registerKryoClasses ( Class<?>[ ] classes )  :  SparkConf

spark-core_2.10-1.5.0.jar, SparkContext.class
package org.apache.spark
SparkContext.addFile ( String path, boolean recursive )  :  void
SparkContext.applicationAttemptId ( )  :  scala.Option<String>
SparkContext.applicationId ( )  :  String
SparkContext.binaryFiles ( String path, int minPartitions )  :  rdd.RDD<scala.Tuple2<String,input.PortableDataStream>>
SparkContext.binaryRecords ( String path, int recordLength, org.apache.hadoop.conf.Configuration conf )  :  rdd.RDD<byte[ ]>
SparkContext.createSparkEnv ( SparkConf conf, boolean isLocal, scheduler.LiveListenerBus listenerBus )  :  SparkEnv
SparkContext.eventLogCodec ( )  :  scala.Option<String>
SparkContext.eventLogDir ( )  :  scala.Option<java.net.URI>
SparkContext.executorAllocationManager ( )  :  scala.Option<ExecutorAllocationManager>
SparkContext.externalBlockStoreFolderName ( )  :  String
SparkContext.getExecutorThreadDump ( String executorId )  :  scala.Option<util.ThreadStackTrace[ ]>
SparkContext.getOrCreate ( ) [static]  :  SparkContext
SparkContext.getOrCreate ( SparkConf p1 ) [static]  :  SparkContext
SparkContext.isEventLogEnabled ( )  :  boolean
SparkContext.jobProgressListener ( )  :  ui.jobs.JobProgressListener
SparkContext.killAndReplaceExecutor ( String executorId )  :  boolean
SparkContext.killExecutor ( String executorId )  :  boolean
SparkContext.killExecutors ( scala.collection.Seq<String> executorIds )  :  boolean
SparkContext.metricsSystem ( )  :  metrics.MetricsSystem
SparkContext.SparkContext.._cleaner ( )  :  scala.Option<ContextCleaner>
SparkContext.SparkContext.._conf ( )  :  SparkConf
SparkContext.SparkContext.._dagScheduler ( )  :  scheduler.DAGScheduler
SparkContext.SparkContext.._env ( )  :  SparkEnv
SparkContext.SparkContext.._eventLogger ( )  :  scala.Option<scheduler.EventLoggingListener>
SparkContext.SparkContext.._executorAllocationManager ( )  :  scala.Option<ExecutorAllocationManager>
SparkContext.SparkContext.._heartbeatReceiver ( )  :  rpc.RpcEndpointRef
SparkContext.SparkContext.._listenerBusStarted_.eq ( boolean p1 )  :  void
SparkContext.SparkContext.._progressBar ( )  :  scala.Option<ui.ConsoleProgressBar>
SparkContext.SparkContext.._ui ( )  :  scala.Option<ui.SparkUI>
SparkContext.SparkContext..assertNotStopped ( )  :  void
SparkContext.SparkContext..creationSite ( )  :  util.CallSite
SparkContext.SparkContext..postApplicationEnd ( )  :  void
SparkContext.progressBar ( )  :  scala.Option<ui.ConsoleProgressBar>
SparkContext.range ( long start, long end, long step, int numSlices )  :  rdd.RDD<Object>
SparkContext.requestExecutors ( int numAdditionalExecutors )  :  boolean
SparkContext.requestTotalExecutors ( int numExecutors, int localityAwareTasks, scala.collection.immutable.Map<String,Object> hostToLocalTaskCount )  :  boolean
SparkContext.runJob ( rdd.RDD<T> rdd, scala.Function1<scala.collection.Iterator<T>,U> func, scala.collection.Seq<Object> partitions, scala.reflect.ClassTag<U> p4 )  :  Object
SparkContext.runJob ( rdd.RDD<T> rdd, scala.Function2<TaskContext,scala.collection.Iterator<T>,U> func, scala.collection.Seq<Object> partitions, scala.Function2<Object,U,scala.runtime.BoxedUnit> resultHandler, scala.reflect.ClassTag<U> p5 )  :  void
SparkContext.runJob ( rdd.RDD<T> rdd, scala.Function2<TaskContext,scala.collection.Iterator<T>,U> func, scala.collection.Seq<Object> partitions, scala.reflect.ClassTag<U> p4 )  :  Object
SparkContext.schedulerBackend ( )  :  scheduler.SchedulerBackend
SparkContext.schedulerBackend_.eq ( scheduler.SchedulerBackend sb )  :  void
SparkContext.setCallSite ( util.CallSite callSite )  :  void
SparkContext.setLogLevel ( String logLevel )  :  void
SparkContext.statusTracker ( )  :  SparkStatusTracker
SparkContext.ui ( )  :  scala.Option<ui.SparkUI>
SparkContext.withScope ( scala.Function0<U> body )  :  U

spark-sql_2.10-1.5.0.jar, DataFrame.class
package org.apache.spark.sql
DataFrame.agg ( java.util.Map<String,String> exprs )  :  DataFrame
DataFrame.agg ( Column expr, Column... exprs )  :  DataFrame
DataFrame.agg ( Column expr, scala.collection.Seq<Column> exprs )  :  DataFrame
DataFrame.agg ( scala.collection.immutable.Map<String,String> exprs )  :  DataFrame
DataFrame.agg ( scala.Tuple2<String,String> aggExpr, scala.collection.Seq<scala.Tuple2<String,String>> aggExprs )  :  DataFrame
DataFrame.apply ( String colName )  :  Column
DataFrame.as ( scala.Symbol alias )  :  DataFrame
DataFrame.as ( String alias )  :  DataFrame
DataFrame.cache ( )  :  DataFrame
DataFrame.coalesce ( int numPartitions )  :  DataFrame
DataFrame.col ( String colName )  :  Column
DataFrame.collect ( )  :  Row[ ]
DataFrame.collectAsList ( )  :  java.util.List<Row>
DataFrame.columns ( )  :  String[ ]
DataFrame.count ( )  :  long
DataFrame.cube ( Column... cols )  :  GroupedData
DataFrame.cube ( scala.collection.Seq<Column> cols )  :  GroupedData
DataFrame.cube ( String col1, scala.collection.Seq<String> cols )  :  GroupedData
DataFrame.cube ( String col1, String... cols )  :  GroupedData
DataFrame.DataFrame ( SQLContext sqlContext, catalyst.plans.logical.LogicalPlan logicalPlan )
DataFrame.DataFrame ( SQLContext sqlContext, SQLContext.QueryExecution queryExecution )
DataFrame.describe ( scala.collection.Seq<String> cols )  :  DataFrame
DataFrame.describe ( String... cols )  :  DataFrame
DataFrame.distinct ( )  :  DataFrame
DataFrame.drop ( Column col )  :  DataFrame
DataFrame.drop ( String colName )  :  DataFrame
DataFrame.dropDuplicates ( )  :  DataFrame
DataFrame.dropDuplicates ( scala.collection.Seq<String> colNames )  :  DataFrame
DataFrame.dropDuplicates ( String[ ] colNames )  :  DataFrame
DataFrame.dtypes ( )  :  scala.Tuple2<String,String>[ ]
DataFrame.except ( DataFrame other )  :  DataFrame
DataFrame.explain ( )  :  void
DataFrame.explain ( boolean extended )  :  void
DataFrame.explode ( scala.collection.Seq<Column> input, scala.Function1<Row,scala.collection.TraversableOnce<A>> f, scala.reflect.api.TypeTags.TypeTag<A> p3 )  :  DataFrame
DataFrame.explode ( String inputColumn, String outputColumn, scala.Function1<A,scala.collection.TraversableOnce<B>> f, scala.reflect.api.TypeTags.TypeTag<B> p4 )  :  DataFrame
DataFrame.filter ( Column condition )  :  DataFrame
DataFrame.filter ( String conditionExpr )  :  DataFrame
DataFrame.first ( )  :  Row
DataFrame.flatMap ( scala.Function1<Row,scala.collection.TraversableOnce<R>> f, scala.reflect.ClassTag<R> p2 )  :  org.apache.spark.rdd.RDD<R>
DataFrame.foreach ( scala.Function1<Row,scala.runtime.BoxedUnit> f )  :  void
DataFrame.foreachPartition ( scala.Function1<scala.collection.Iterator<Row>,scala.runtime.BoxedUnit> f )  :  void
DataFrame.groupBy ( Column... cols )  :  GroupedData
DataFrame.groupBy ( scala.collection.Seq<Column> cols )  :  GroupedData
DataFrame.groupBy ( String col1, scala.collection.Seq<String> cols )  :  GroupedData
DataFrame.groupBy ( String col1, String... cols )  :  GroupedData
DataFrame.head ( )  :  Row
DataFrame.head ( int n )  :  Row[ ]
DataFrame.inputFiles ( )  :  String[ ]
DataFrame.intersect ( DataFrame other )  :  DataFrame
DataFrame.isLocal ( )  :  boolean
DataFrame.javaRDD ( )  :  org.apache.spark.api.java.JavaRDD<Row>
DataFrame.javaToPython ( )  :  org.apache.spark.api.java.JavaRDD<byte[ ]>
DataFrame.join ( DataFrame right )  :  DataFrame
DataFrame.join ( DataFrame right, Column joinExprs )  :  DataFrame
DataFrame.join ( DataFrame right, Column joinExprs, String joinType )  :  DataFrame
DataFrame.join ( DataFrame right, scala.collection.Seq<String> usingColumns )  :  DataFrame
DataFrame.join ( DataFrame right, String usingColumn )  :  DataFrame
DataFrame.limit ( int n )  :  DataFrame
DataFrame.logicalPlan ( )  :  catalyst.plans.logical.LogicalPlan
DataFrame.map ( scala.Function1<Row,R> f, scala.reflect.ClassTag<R> p2 )  :  org.apache.spark.rdd.RDD<R>
DataFrame.mapPartitions ( scala.Function1<scala.collection.Iterator<Row>,scala.collection.Iterator<R>> f, scala.reflect.ClassTag<R> p2 )  :  org.apache.spark.rdd.RDD<R>
DataFrame.na ( )  :  DataFrameNaFunctions
DataFrame.numericColumns ( )  :  scala.collection.Seq<catalyst.expressions.Expression>
DataFrame.orderBy ( Column... sortExprs )  :  DataFrame
DataFrame.orderBy ( scala.collection.Seq<Column> sortExprs )  :  DataFrame
DataFrame.orderBy ( String sortCol, scala.collection.Seq<String> sortCols )  :  DataFrame
DataFrame.orderBy ( String sortCol, String... sortCols )  :  DataFrame
DataFrame.DataFrame..logicalPlanToDataFrame ( catalyst.plans.logical.LogicalPlan logicalPlan )  :  DataFrame
DataFrame.persist ( )  :  DataFrame
DataFrame.persist ( org.apache.spark.storage.StorageLevel newLevel )  :  DataFrame
DataFrame.printSchema ( )  :  void
DataFrame.queryExecution ( )  :  SQLContext.QueryExecution
DataFrame.randomSplit ( double[ ] weights )  :  DataFrame[ ]
DataFrame.randomSplit ( double[ ] weights, long seed )  :  DataFrame[ ]
DataFrame.randomSplit ( scala.collection.immutable.List<Object> weights, long seed )  :  DataFrame[ ]
DataFrame.rdd ( )  :  org.apache.spark.rdd.RDD<Row>
DataFrame.registerTempTable ( String tableName )  :  void
DataFrame.repartition ( int numPartitions )  :  DataFrame
DataFrame.resolve ( String colName )  :  catalyst.expressions.NamedExpression
DataFrame.rollup ( Column... cols )  :  GroupedData
DataFrame.rollup ( scala.collection.Seq<Column> cols )  :  GroupedData
DataFrame.rollup ( String col1, scala.collection.Seq<String> cols )  :  GroupedData
DataFrame.rollup ( String col1, String... cols )  :  GroupedData
DataFrame.sample ( boolean withReplacement, double fraction )  :  DataFrame
DataFrame.sample ( boolean withReplacement, double fraction, long seed )  :  DataFrame
DataFrame.schema ( )  :  types.StructType
DataFrame.select ( Column... cols )  :  DataFrame
DataFrame.select ( scala.collection.Seq<Column> cols )  :  DataFrame
DataFrame.select ( String col, scala.collection.Seq<String> cols )  :  DataFrame
DataFrame.select ( String col, String... cols )  :  DataFrame
DataFrame.selectExpr ( scala.collection.Seq<String> exprs )  :  DataFrame
DataFrame.selectExpr ( String... exprs )  :  DataFrame
DataFrame.show ( )  :  void
DataFrame.show ( boolean truncate )  :  void
DataFrame.show ( int numRows )  :  void
DataFrame.show ( int numRows, boolean truncate )  :  void
DataFrame.showString ( int _numRows, boolean truncate )  :  String
DataFrame.sort ( Column... sortExprs )  :  DataFrame
DataFrame.sort ( scala.collection.Seq<Column> sortExprs )  :  DataFrame
DataFrame.sort ( String sortCol, scala.collection.Seq<String> sortCols )  :  DataFrame
DataFrame.sort ( String sortCol, String... sortCols )  :  DataFrame
DataFrame.sqlContext ( )  :  SQLContext
DataFrame.stat ( )  :  DataFrameStatFunctions
DataFrame.take ( int n )  :  Row[ ]
DataFrame.toDF ( )  :  DataFrame
DataFrame.toDF ( scala.collection.Seq<String> colNames )  :  DataFrame
DataFrame.toDF ( String... colNames )  :  DataFrame
DataFrame.toJavaRDD ( )  :  org.apache.spark.api.java.JavaRDD<Row>
DataFrame.toJSON ( )  :  org.apache.spark.rdd.RDD<String>
DataFrame.toString ( )  :  String
DataFrame.unionAll ( DataFrame other )  :  DataFrame
DataFrame.unpersist ( )  :  DataFrame
DataFrame.unpersist ( boolean blocking )  :  DataFrame
DataFrame.where ( Column condition )  :  DataFrame
DataFrame.where ( String conditionExpr )  :  DataFrame
DataFrame.withColumn ( String colName, Column col )  :  DataFrame
DataFrame.withColumnRenamed ( String existingName, String newName )  :  DataFrame
DataFrame.withNewExecutionId ( scala.Function0<T> body )  :  T
DataFrame.write ( )  :  DataFrameWriter

spark-sql_2.10-1.5.0.jar, SQLContext.class
package org.apache.spark.sql
SQLContext.applySchemaToPythonRDD ( org.apache.spark.rdd.RDD<Object[ ]> rdd, types.StructType schema )  :  DataFrame
SQLContext.applySchemaToPythonRDD ( org.apache.spark.rdd.RDD<Object[ ]> rdd, String schemaString )  :  DataFrame
SQLContext.baseRelationToDataFrame ( sources.BaseRelation baseRelation )  :  DataFrame
SQLContext.cacheManager ( )  :  execution.CacheManager
SQLContext.clearCache ( )  :  void
SQLContext.conf ( )  :  SQLConf
SQLContext.createDataFrame ( org.apache.spark.api.java.JavaRDD<?> rdd, Class<?> beanClass )  :  DataFrame
SQLContext.createDataFrame ( org.apache.spark.api.java.JavaRDD<Row> rowRDD, types.StructType schema )  :  DataFrame
SQLContext.createDataFrame ( org.apache.spark.rdd.RDD<?> rdd, Class<?> beanClass )  :  DataFrame
SQLContext.createDataFrame ( org.apache.spark.rdd.RDD<A> rdd, scala.reflect.api.TypeTags.TypeTag<A> p2 )  :  DataFrame
SQLContext.createDataFrame ( org.apache.spark.rdd.RDD<Row> rowRDD, types.StructType schema )  :  DataFrame
SQLContext.createDataFrame ( org.apache.spark.rdd.RDD<Row> rowRDD, types.StructType schema, boolean needsConversion )  :  DataFrame
SQLContext.createDataFrame ( scala.collection.Seq<A> data, scala.reflect.api.TypeTags.TypeTag<A> p2 )  :  DataFrame
SQLContext.createExternalTable ( String tableName, String path )  :  DataFrame
SQLContext.createExternalTable ( String tableName, String path, String source )  :  DataFrame
SQLContext.createExternalTable ( String tableName, String source, java.util.Map<String,String> options )  :  DataFrame
SQLContext.createExternalTable ( String tableName, String source, types.StructType schema, java.util.Map<String,String> options )  :  DataFrame
SQLContext.createExternalTable ( String tableName, String source, types.StructType schema, scala.collection.immutable.Map<String,String> options )  :  DataFrame
SQLContext.createExternalTable ( String tableName, String source, scala.collection.immutable.Map<String,String> options )  :  DataFrame
SQLContext.createSession ( )  :  SQLContext.SQLSession
SQLContext.currentSession ( )  :  SQLContext.SQLSession
SQLContext.ddlParser ( )  :  execution.datasources.DDLParser
SQLContext.defaultSession ( )  :  SQLContext.SQLSession
SQLContext.detachSession ( )  :  void
SQLContext.dialectClassName ( )  :  String
SQLContext.dropTempTable ( String tableName )  :  void
SQLContext.emptyDataFrame ( )  :  DataFrame
SQLContext.experimental ( )  :  ExperimentalMethods
SQLContext.getConf ( SQLConf.SQLConfEntry<T> entry )  :  T
SQLContext.getConf ( SQLConf.SQLConfEntry<T> entry, T defaultValue )  :  T
SQLContext.getOrCreate ( org.apache.spark.SparkContext p1 ) [static]  :  SQLContext
SQLContext.getSchema ( Class<?> beanClass )  :  scala.collection.Seq<catalyst.expressions.AttributeReference>
SQLContext.getSQLDialect ( )  :  catalyst.ParserDialect
SQLContext.implicits ( )  :  SQLContext.implicits.
SQLContext.internalCreateDataFrame ( org.apache.spark.rdd.RDD<catalyst.InternalRow> catalystRows, types.StructType schema )  :  DataFrame
SQLContext.listener ( )  :  execution.ui.SQLListener
SQLContext.openSession ( )  :  SQLContext.SQLSession
SQLContext.optimizer ( )  :  catalyst.optimizer.Optimizer
SQLContext.parquetFile ( String... paths )  :  DataFrame
SQLContext.parseDataType ( String dataTypeString )  :  types.DataType
SQLContext.range ( long end )  :  DataFrame
SQLContext.range ( long start, long end )  :  DataFrame
SQLContext.range ( long start, long end, long step, int numPartitions )  :  DataFrame
SQLContext.read ( )  :  DataFrameReader
SQLContext.registerDataFrameAsTable ( DataFrame df, String tableName )  :  void
SQLContext.setConf ( SQLConf.SQLConfEntry<T> entry, T value )  :  void
SQLContext.setSession ( SQLContext.SQLSession session )  :  void
SQLContext.sql ( String sqlText )  :  DataFrame
SQLContext.SQLContext ( org.apache.spark.api.java.JavaSparkContext sparkContext )
SQLContext.sqlParser ( )  :  SparkSQLParser
SQLContext.table ( String tableName )  :  DataFrame
SQLContext.tableNames ( )  :  String[ ]
SQLContext.tableNames ( String databaseName )  :  String[ ]
SQLContext.tables ( )  :  DataFrame
SQLContext.tables ( String databaseName )  :  DataFrame
SQLContext.tlSession ( )  :  ThreadLocal<SQLContext.SQLSession>
SQLContext.udf ( )  :  UDFRegistration

spark-streaming-kafka_2.10-1.5.0.jar, KafkaTestUtils.class
package org.apache.spark.streaming.kafka
KafkaTestUtils.brokerAddress ( )  :  String
KafkaTestUtils.createTopic ( String topic )  :  void
KafkaTestUtils.eventually ( org.apache.spark.streaming.Time timeout, org.apache.spark.streaming.Time interval, scala.Function0<T> func )  :  T
KafkaTestUtils.isTraceEnabled ( )  :  boolean
KafkaTestUtils.KafkaTestUtils ( )
KafkaTestUtils.log ( )  :  org.slf4j.Logger
KafkaTestUtils.logDebug ( scala.Function0<String> msg )  :  void
KafkaTestUtils.logDebug ( scala.Function0<String> msg, Throwable throwable )  :  void
KafkaTestUtils.logError ( scala.Function0<String> msg )  :  void
KafkaTestUtils.logError ( scala.Function0<String> msg, Throwable throwable )  :  void
KafkaTestUtils.logInfo ( scala.Function0<String> msg )  :  void
KafkaTestUtils.logInfo ( scala.Function0<String> msg, Throwable throwable )  :  void
KafkaTestUtils.logName ( )  :  String
KafkaTestUtils.logTrace ( scala.Function0<String> msg )  :  void
KafkaTestUtils.logTrace ( scala.Function0<String> msg, Throwable throwable )  :  void
KafkaTestUtils.logWarning ( scala.Function0<String> msg )  :  void
KafkaTestUtils.logWarning ( scala.Function0<String> msg, Throwable throwable )  :  void
KafkaTestUtils.org.apache.spark.Logging..log_ ( )  :  org.slf4j.Logger
KafkaTestUtils.org.apache.spark.Logging..log__.eq ( org.slf4j.Logger p1 )  :  void
KafkaTestUtils.KafkaTestUtils..brokerConf ( )  :  kafka.server.KafkaConfig
KafkaTestUtils.KafkaTestUtils..brokerConf_.eq ( kafka.server.KafkaConfig p1 )  :  void
KafkaTestUtils.KafkaTestUtils..brokerConfiguration ( )  :  java.util.Properties
KafkaTestUtils.KafkaTestUtils..brokerPort_.eq ( int p1 )  :  void
KafkaTestUtils.KafkaTestUtils..server ( )  :  kafka.server.KafkaServer
KafkaTestUtils.KafkaTestUtils..server_.eq ( kafka.server.KafkaServer p1 )  :  void
KafkaTestUtils.sendMessages ( String topic, java.util.Map<String,Integer> messageToFreq )  :  void
KafkaTestUtils.sendMessages ( String topic, scala.collection.immutable.Map<String,Object> messageToFreq )  :  void
KafkaTestUtils.sendMessages ( String topic, String[ ] messages )  :  void
KafkaTestUtils.setup ( )  :  void
KafkaTestUtils.teardown ( )  :  void
KafkaTestUtils.zkAddress ( )  :  String
KafkaTestUtils.zookeeperClient ( )  :  org.I0Itec.zkclient.ZkClient

spark-streaming_2.10-1.5.0.jar, Checkpoint.class
package org.apache.spark.streaming
Checkpoint.createSparkConf ( )  :  org.apache.spark.SparkConf
Checkpoint.deserialize ( java.io.InputStream p1, org.apache.spark.SparkConf p2 ) [static]  :  Checkpoint
Checkpoint.getCheckpointFiles ( String p1, scala.Option<org.apache.hadoop.fs.FileSystem> p2 ) [static]  :  scala.collection.Seq<org.apache.hadoop.fs.Path>
Checkpoint.serialize ( Checkpoint p1, org.apache.spark.SparkConf p2 ) [static]  :  byte[ ]

spark-streaming_2.10-1.5.0.jar, DStream<T>.class
package org.apache.spark.streaming.dstream
DStream<T>.baseScope ( )  :  scala.Option<String>
DStream<T>.createRDDWithLocalProperties ( org.apache.spark.streaming.Time time, scala.Function0<U> body )  :  U
DStream<T>.creationSite ( )  :  org.apache.spark.util.CallSite
DStream<T>.print ( int num )  :  void
DStream<T>.toPairDStreamFunctions ( DStream<scala.Tuple2<K,V>> p1, scala.reflect.ClassTag<K> p2, scala.reflect.ClassTag<V> p3, scala.math.Ordering<K> p4 ) [static]  :  PairDStreamFunctions<K,V>
DStream<T>.validateAtStart ( )  :  void

spark-streaming_2.10-1.5.0.jar, Duration.class
package org.apache.spark.streaming
Duration.div ( Duration that )  :  double
Duration.greater ( Duration that )  :  boolean
Duration.greaterEq ( Duration that )  :  boolean
Duration.less ( Duration that )  :  boolean
Duration.lessEq ( Duration that )  :  boolean
Duration.minus ( Duration that )  :  Duration
Duration.Duration..millis ( )  :  long
Duration.plus ( Duration that )  :  Duration
Duration.times ( int times )  :  Duration

spark-streaming_2.10-1.5.0.jar, InputDStream<T>.class
package org.apache.spark.streaming.dstream
InputDStream<T>.baseScope ( )  :  scala.Option<String>
InputDStream<T>.id ( )  :  int
InputDStream<T>.name ( )  :  String
InputDStream<T>.rateController ( )  :  scala.Option<org.apache.spark.streaming.scheduler.RateController>

spark-streaming_2.10-1.5.0.jar, JobScheduler.class
package org.apache.spark.streaming.scheduler
JobScheduler.clock ( )  :  org.apache.spark.util.Clock

spark-streaming_2.10-1.5.0.jar, StreamingContext.class
package org.apache.spark.streaming
StreamingContext.awaitTerminationOrTimeout ( long timeout )  :  boolean
StreamingContext.binaryRecordsStream ( String directory, int recordLength )  :  dstream.DStream<byte[ ]>
StreamingContext.fileStream ( String directory, scala.Function1<org.apache.hadoop.fs.Path,Object> filter, boolean newFilesOnly, org.apache.hadoop.conf.Configuration conf, scala.reflect.ClassTag<K> p5, scala.reflect.ClassTag<V> p6, scala.reflect.ClassTag<F> p7 )  :  dstream.InputDStream<scala.Tuple2<K,V>>
StreamingContext.getActive ( ) [static]  :  scala.Option<StreamingContext>
StreamingContext.getActiveOrCreate ( scala.Function0<StreamingContext> p1 ) [static]  :  StreamingContext
StreamingContext.getActiveOrCreate ( String p1, scala.Function0<StreamingContext> p2, org.apache.hadoop.conf.Configuration p3, boolean p4 ) [static]  :  StreamingContext
StreamingContext.getNewInputStreamId ( )  :  int
StreamingContext.getState ( )  :  StreamingContextState
StreamingContext.isCheckpointingEnabled ( )  :  boolean
StreamingContext.StreamingContext..startSite ( )  :  java.util.concurrent.atomic.AtomicReference<org.apache.spark.util.CallSite>
StreamingContext.StreamingContext..stopOnShutdown ( )  :  void
StreamingContext.progressListener ( )  :  ui.StreamingJobProgressListener
StreamingContext.StreamingContext ( String path, org.apache.spark.SparkContext sparkContext )
StreamingContext.uiTab ( )  :  scala.Option<ui.StreamingTab>
StreamingContext.withNamedScope ( String name, scala.Function0<U> body )  :  U
StreamingContext.withScope ( scala.Function0<U> body )  :  U

spark-streaming_2.10-1.5.0.jar, Time.class
package org.apache.spark.streaming
Time.floor ( Duration that, Time zeroTime )  :  Time
Time.greater ( Time that )  :  boolean
Time.greaterEq ( Time that )  :  boolean
Time.less ( Time that )  :  boolean
Time.lessEq ( Time that )  :  boolean
Time.minus ( Duration that )  :  Time
Time.minus ( Time that )  :  Duration
Time.plus ( Duration that )  :  Time

to the top

Problems with Data Types, High Severity (7)


spark-core_2.10-1.5.0.jar
package org.apache.spark
[+] SparkContext (1)

package org.apache.spark.api.java
[+] JavaSparkContext (1)

package org.apache.spark.broadcast
[+] Broadcast<T> (1)

package org.apache.spark.rdd
[+] PairRDDFunctions<K,V> (1)

spark-sql_2.10-1.5.0.jar
package org.apache.spark.sql
[+] DataFrame (1)
[+] SQLContext.QueryExecution (1)

spark-streaming-kafka_2.10-1.5.0.jar
package org.apache.spark.streaming.kafka
[+] KafkaTestUtils (1)

to the top

Problems with Data Types, Medium Severity (1)


spark-core_2.10-1.5.0.jar
package org.apache.spark.scheduler
[+] LiveListenerBus (1)

to the top

Java ARchives (6)


spark-core_2.10-1.5.0.jar
spark-hive_2.10-1.5.0.jar
spark-sql_2.10-1.5.0.jar
spark-streaming-kafka_2.10-1.5.0.jar
spark-streaming_2.10-1.5.0.jar
spark-yarn_2.10-1.5.0.jar

to the top




Generated on Wed Oct 7 06:50:32 2015 for spark-testing-base_2.10-1.5.0_0.1.3 by Java API Compliance Checker 1.4.1  
A tool for checking backward compatibility of a Java library API