Binary compatibility report for the spark-testing-base_2.10-1.5.1_0.2.0 library  between 1.5.0 and 1.3.0 versions   (relating to the portability of client application spark-testing-base_2.10-1.5.1_0.2.0.jar)

Test Info

Library Namespark-testing-base_2.10-1.5.1_0.2.0
Version #11.5.0
Version #21.3.0
Java Version1.7.0_75

Test Results

Total Java ARchives7
Total Methods / Classes1258 / 4156
VerdictIncompatible
(17.6%)

Problem Summary

SeverityCount
Added Methods-23
Removed MethodsHigh174
Problems with
Data Types		High10
Medium3
Low1
Problems with
Methods		High0
Medium0
Low0

Added Methods (23)

spark-core_2.10-1.3.0.jar, RDD<T>.class
package org.apache.spark.rdd
RDD<T>.markCheckpointed ( RDD<?> checkpointRDD )  :  void

spark-core_2.10-1.3.0.jar, SparkConf.class
package org.apache.spark
SparkConf.translateConfKey ( String p1, boolean p2 ) [static]  :  String

spark-core_2.10-1.3.0.jar, SparkContext.class
package org.apache.spark
SparkContext.requestTotalExecutors ( int numExecutors )  :  boolean

spark-sql_2.10-1.3.0.jar, DataFrame.class
package org.apache.spark.sql
DataFrame.cache ( )  :  RDDApi
DataFrame.collect ( )  :  Object
DataFrame.first ( )  :  Object
DataFrame.persist ( )  :  RDDApi
DataFrame.persist ( org.apache.spark.storage.StorageLevel newLevel )  :  RDDApi
DataFrame.showString ( int numRows )  :  String
DataFrame.take ( int n )  :  Object
DataFrame.unpersist ( )  :  RDDApi
DataFrame.unpersist ( boolean blocking )  :  RDDApi

spark-sql_2.10-1.3.0.jar, SQLContext.class
package org.apache.spark.sql
SQLContext.cacheManager ( )  :  CacheManager
SQLContext.checkAnalysis ( )  :  catalyst.analysis.CheckAnalysis
SQLContext.createDataFrame ( org.apache.spark.api.java.JavaRDD<Row> rowRDD, java.util.List<String> columns )  :  DataFrame
SQLContext.ddlParser ( )  :  sources.DDLParser

spark-streaming_2.10-1.3.0.jar, Checkpoint.class
package org.apache.spark.streaming
Checkpoint.getCheckpointFiles ( String p1, org.apache.hadoop.fs.FileSystem p2 ) [static]  :  scala.collection.Seq<org.apache.hadoop.fs.Path>
Checkpoint.sparkConf ( )  :  org.apache.spark.SparkConf

spark-streaming_2.10-1.3.0.jar, DStream<T>.class
package org.apache.spark.streaming.dstream
DStream<T>.validate ( )  :  void

spark-streaming_2.10-1.3.0.jar, StreamingContext.class
package org.apache.spark.streaming
StreamingContext.getNewReceiverStreamId ( )  :  int
StreamingContext.state ( )  :  scala.Enumeration.Value
StreamingContext.state_.eq ( scala.Enumeration.Value p1 )  :  void
StreamingContext.StreamingContextState ( )  :  StreamingContext.StreamingContextState.

to the top

Removed Methods (174)

spark-catalyst_2.10-1.5.0.jar, Row.class
package org.apache.spark.sql
Row.fieldIndex ( String p1 ) [abstract]  :  int
Row.getAs ( String p1 ) [abstract]  :  T
Row.getTimestamp ( int p1 ) [abstract]  :  java.sql.Timestamp
Row.getValuesMap ( scala.collection.Seq<String> p1 ) [abstract]  :  scala.collection.immutable.Map<String,T>

spark-catalyst_2.10-1.5.0.jar, StructType.class
package org.apache.spark.sql.types
StructType.add ( StructField field )  :  StructType
StructType.add ( String name, DataType dataType )  :  StructType
StructType.add ( String name, DataType dataType, boolean nullable )  :  StructType
StructType.add ( String name, DataType dataType, boolean nullable, Metadata metadata )  :  StructType
StructType.add ( String name, String dataType )  :  StructType
StructType.add ( String name, String dataType, boolean nullable )  :  StructType
StructType.add ( String name, String dataType, boolean nullable, Metadata metadata )  :  StructType
StructType.existsRecursively ( scala.Function1<DataType,Object> f )  :  boolean
StructType.fieldIndex ( String name )  :  int
StructType.getFieldIndex ( String name )  :  scala.Option<Object>
StructType.interpretedOrdering ( )  :  org.apache.spark.sql.catalyst.expressions.InterpretedOrdering
StructType.StructType ( )

spark-core_2.10-1.5.0.jar, RDD<T>.class
package org.apache.spark.rdd
RDD<T>.isLocallyCheckpointed ( )  :  boolean
RDD<T>.localCheckpoint ( )  :  RDD<T>
RDD<T>.markCheckpointed ( )  :  void
RDD<T>.RDD..doCheckpointCalled ( )  :  boolean
RDD<T>.RDD..doCheckpointCalled_.eq ( boolean p1 )  :  void
RDD<T>.RDD..sc ( )  :  org.apache.spark.SparkContext
RDD<T>.randomSampleWithRange ( double lb, double ub, long seed )  :  RDD<T>
RDD<T>.scope ( )  :  scala.Option<RDDOperationScope>
RDD<T>.withScope ( scala.Function0<U> body )  :  U

spark-core_2.10-1.5.0.jar, SparkConf.class
package org.apache.spark
SparkConf.getAvroSchema ( )  :  scala.collection.immutable.Map<Object,String>
SparkConf.getDeprecatedConfig ( String p1, SparkConf p2 ) [static]  :  scala.Option<String>
SparkConf.getSizeAsBytes ( String key )  :  long
SparkConf.getSizeAsBytes ( String key, long defaultValue )  :  long
SparkConf.getSizeAsBytes ( String key, String defaultValue )  :  long
SparkConf.getSizeAsGb ( String key )  :  long
SparkConf.getSizeAsGb ( String key, String defaultValue )  :  long
SparkConf.getSizeAsKb ( String key )  :  long
SparkConf.getSizeAsKb ( String key, String defaultValue )  :  long
SparkConf.getSizeAsMb ( String key )  :  long
SparkConf.getSizeAsMb ( String key, String defaultValue )  :  long
SparkConf.getTimeAsMs ( String key )  :  long
SparkConf.getTimeAsMs ( String key, String defaultValue )  :  long
SparkConf.getTimeAsSeconds ( String key )  :  long
SparkConf.getTimeAsSeconds ( String key, String defaultValue )  :  long
SparkConf.logDeprecationWarning ( String p1 ) [static]  :  void
SparkConf.registerAvroSchemas ( scala.collection.Seq<org.apache.avro.Schema> schemas )  :  SparkConf

spark-core_2.10-1.5.0.jar, SparkContext.class
package org.apache.spark
SparkContext.applicationAttemptId ( )  :  scala.Option<String>
SparkContext.externalBlockStoreFolderName ( )  :  String
SparkContext.getOrCreate ( ) [static]  :  SparkContext
SparkContext.getOrCreate ( SparkConf p1 ) [static]  :  SparkContext
SparkContext.killAndReplaceExecutor ( String executorId )  :  boolean
SparkContext.SparkContext.._cleaner ( )  :  scala.Option<ContextCleaner>
SparkContext.SparkContext.._conf ( )  :  SparkConf
SparkContext.SparkContext.._dagScheduler ( )  :  scheduler.DAGScheduler
SparkContext.SparkContext.._env ( )  :  SparkEnv
SparkContext.SparkContext.._eventLogger ( )  :  scala.Option<scheduler.EventLoggingListener>
SparkContext.SparkContext.._executorAllocationManager ( )  :  scala.Option<ExecutorAllocationManager>
SparkContext.SparkContext.._heartbeatReceiver ( )  :  rpc.RpcEndpointRef
SparkContext.SparkContext.._listenerBusStarted_.eq ( boolean p1 )  :  void
SparkContext.SparkContext.._progressBar ( )  :  scala.Option<ui.ConsoleProgressBar>
SparkContext.SparkContext.._ui ( )  :  scala.Option<ui.SparkUI>
SparkContext.SparkContext..assertNotStopped ( )  :  void
SparkContext.SparkContext..postApplicationEnd ( )  :  void
SparkContext.range ( long start, long end, long step, int numSlices )  :  rdd.RDD<Object>
SparkContext.requestTotalExecutors ( int numExecutors, int localityAwareTasks, scala.collection.immutable.Map<String,Object> hostToLocalTaskCount )  :  boolean
SparkContext.runJob ( rdd.RDD<T> rdd, scala.Function1<scala.collection.Iterator<T>,U> func, scala.collection.Seq<Object> partitions, scala.reflect.ClassTag<U> p4 )  :  Object
SparkContext.runJob ( rdd.RDD<T> rdd, scala.Function2<TaskContext,scala.collection.Iterator<T>,U> func, scala.collection.Seq<Object> partitions, scala.Function2<Object,U,scala.runtime.BoxedUnit> resultHandler, scala.reflect.ClassTag<U> p5 )  :  void
SparkContext.runJob ( rdd.RDD<T> rdd, scala.Function2<TaskContext,scala.collection.Iterator<T>,U> func, scala.collection.Seq<Object> partitions, scala.reflect.ClassTag<U> p4 )  :  Object
SparkContext.setLogLevel ( String logLevel )  :  void
SparkContext.withScope ( scala.Function0<U> body )  :  U

spark-sql_2.10-1.5.0.jar, DataFrame.class
package org.apache.spark.sql
DataFrame.coalesce ( int numPartitions )  :  DataFrame
DataFrame.cube ( Column... cols )  :  GroupedData
DataFrame.cube ( scala.collection.Seq<Column> cols )  :  GroupedData
DataFrame.cube ( String col1, scala.collection.Seq<String> cols )  :  GroupedData
DataFrame.cube ( String col1, String... cols )  :  GroupedData
DataFrame.describe ( scala.collection.Seq<String> cols )  :  DataFrame
DataFrame.describe ( String... cols )  :  DataFrame
DataFrame.drop ( Column col )  :  DataFrame
DataFrame.drop ( String colName )  :  DataFrame
DataFrame.dropDuplicates ( )  :  DataFrame
DataFrame.dropDuplicates ( scala.collection.Seq<String> colNames )  :  DataFrame
DataFrame.dropDuplicates ( String[ ] colNames )  :  DataFrame
DataFrame.inputFiles ( )  :  String[ ]
DataFrame.join ( DataFrame right, scala.collection.Seq<String> usingColumns )  :  DataFrame
DataFrame.join ( DataFrame right, String usingColumn )  :  DataFrame
DataFrame.na ( )  :  DataFrameNaFunctions
DataFrame.DataFrame..logicalPlanToDataFrame ( catalyst.plans.logical.LogicalPlan logicalPlan )  :  DataFrame
DataFrame.randomSplit ( double[ ] weights )  :  DataFrame[ ]
DataFrame.randomSplit ( double[ ] weights, long seed )  :  DataFrame[ ]
DataFrame.randomSplit ( scala.collection.immutable.List<Object> weights, long seed )  :  DataFrame[ ]
DataFrame.rollup ( Column... cols )  :  GroupedData
DataFrame.rollup ( scala.collection.Seq<Column> cols )  :  GroupedData
DataFrame.rollup ( String col1, scala.collection.Seq<String> cols )  :  GroupedData
DataFrame.rollup ( String col1, String... cols )  :  GroupedData
DataFrame.show ( boolean truncate )  :  void
DataFrame.show ( int numRows, boolean truncate )  :  void
DataFrame.showString ( int _numRows, boolean truncate )  :  String
DataFrame.stat ( )  :  DataFrameStatFunctions
DataFrame.where ( String conditionExpr )  :  DataFrame
DataFrame.withNewExecutionId ( scala.Function0<T> body )  :  T
DataFrame.write ( )  :  DataFrameWriter

spark-sql_2.10-1.5.0.jar, SQLContext.class
package org.apache.spark.sql
SQLContext.cacheManager ( )  :  execution.CacheManager
SQLContext.createDataFrame ( org.apache.spark.rdd.RDD<Row> rowRDD, types.StructType schema, boolean needsConversion )  :  DataFrame
SQLContext.createSession ( )  :  SQLContext.SQLSession
SQLContext.currentSession ( )  :  SQLContext.SQLSession
SQLContext.ddlParser ( )  :  execution.datasources.DDLParser
SQLContext.defaultSession ( )  :  SQLContext.SQLSession
SQLContext.detachSession ( )  :  void
SQLContext.dialectClassName ( )  :  String
SQLContext.getConf ( SQLConf.SQLConfEntry<T> entry )  :  T
SQLContext.getConf ( SQLConf.SQLConfEntry<T> entry, T defaultValue )  :  T
SQLContext.getOrCreate ( org.apache.spark.SparkContext p1 ) [static]  :  SQLContext
SQLContext.getSQLDialect ( )  :  catalyst.ParserDialect
SQLContext.internalCreateDataFrame ( org.apache.spark.rdd.RDD<catalyst.InternalRow> catalystRows, types.StructType schema )  :  DataFrame
SQLContext.listener ( )  :  execution.ui.SQLListener
SQLContext.openSession ( )  :  SQLContext.SQLSession
SQLContext.range ( long end )  :  DataFrame
SQLContext.range ( long start, long end )  :  DataFrame
SQLContext.range ( long start, long end, long step, int numPartitions )  :  DataFrame
SQLContext.read ( )  :  DataFrameReader
SQLContext.setConf ( SQLConf.SQLConfEntry<T> entry, T value )  :  void
SQLContext.setSession ( SQLContext.SQLSession session )  :  void
SQLContext.tlSession ( )  :  ThreadLocal<SQLContext.SQLSession>

spark-streaming-kafka_2.10-1.5.0.jar, KafkaTestUtils.class
package org.apache.spark.streaming.kafka
KafkaTestUtils.brokerAddress ( )  :  String
KafkaTestUtils.createTopic ( String topic )  :  void
KafkaTestUtils.eventually ( org.apache.spark.streaming.Time timeout, org.apache.spark.streaming.Time interval, scala.Function0<T> func )  :  T
KafkaTestUtils.isTraceEnabled ( )  :  boolean
KafkaTestUtils.KafkaTestUtils ( )
KafkaTestUtils.log ( )  :  org.slf4j.Logger
KafkaTestUtils.logDebug ( scala.Function0<String> msg )  :  void
KafkaTestUtils.logDebug ( scala.Function0<String> msg, Throwable throwable )  :  void
KafkaTestUtils.logError ( scala.Function0<String> msg )  :  void
KafkaTestUtils.logError ( scala.Function0<String> msg, Throwable throwable )  :  void
KafkaTestUtils.logInfo ( scala.Function0<String> msg )  :  void
KafkaTestUtils.logInfo ( scala.Function0<String> msg, Throwable throwable )  :  void
KafkaTestUtils.logName ( )  :  String
KafkaTestUtils.logTrace ( scala.Function0<String> msg )  :  void
KafkaTestUtils.logTrace ( scala.Function0<String> msg, Throwable throwable )  :  void
KafkaTestUtils.logWarning ( scala.Function0<String> msg )  :  void
KafkaTestUtils.logWarning ( scala.Function0<String> msg, Throwable throwable )  :  void
KafkaTestUtils.org.apache.spark.Logging..log_ ( )  :  org.slf4j.Logger
KafkaTestUtils.org.apache.spark.Logging..log__.eq ( org.slf4j.Logger p1 )  :  void
KafkaTestUtils.KafkaTestUtils..brokerConf ( )  :  kafka.server.KafkaConfig
KafkaTestUtils.KafkaTestUtils..brokerConf_.eq ( kafka.server.KafkaConfig p1 )  :  void
KafkaTestUtils.KafkaTestUtils..brokerConfiguration ( )  :  java.util.Properties
KafkaTestUtils.KafkaTestUtils..brokerPort_.eq ( int p1 )  :  void
KafkaTestUtils.KafkaTestUtils..server ( )  :  kafka.server.KafkaServer
KafkaTestUtils.KafkaTestUtils..server_.eq ( kafka.server.KafkaServer p1 )  :  void
KafkaTestUtils.sendMessages ( String topic, java.util.Map<String,Integer> messageToFreq )  :  void
KafkaTestUtils.sendMessages ( String topic, scala.collection.immutable.Map<String,Object> messageToFreq )  :  void
KafkaTestUtils.sendMessages ( String topic, String[ ] messages )  :  void
KafkaTestUtils.setup ( )  :  void
KafkaTestUtils.teardown ( )  :  void
KafkaTestUtils.zkAddress ( )  :  String
KafkaTestUtils.zookeeperClient ( )  :  org.I0Itec.zkclient.ZkClient

spark-streaming_2.10-1.5.0.jar, Checkpoint.class
package org.apache.spark.streaming
Checkpoint.createSparkConf ( )  :  org.apache.spark.SparkConf
Checkpoint.deserialize ( java.io.InputStream p1, org.apache.spark.SparkConf p2 ) [static]  :  Checkpoint
Checkpoint.getCheckpointFiles ( String p1, scala.Option<org.apache.hadoop.fs.FileSystem> p2 ) [static]  :  scala.collection.Seq<org.apache.hadoop.fs.Path>
Checkpoint.serialize ( Checkpoint p1, org.apache.spark.SparkConf p2 ) [static]  :  byte[ ]

spark-streaming_2.10-1.5.0.jar, DStream<T>.class
package org.apache.spark.streaming.dstream
DStream<T>.baseScope ( )  :  scala.Option<String>
DStream<T>.createRDDWithLocalProperties ( org.apache.spark.streaming.Time time, scala.Function0<U> body )  :  U
DStream<T>.validateAtStart ( )  :  void

spark-streaming_2.10-1.5.0.jar, InputDStream<T>.class
package org.apache.spark.streaming.dstream
InputDStream<T>.baseScope ( )  :  scala.Option<String>
InputDStream<T>.id ( )  :  int
InputDStream<T>.name ( )  :  String
InputDStream<T>.rateController ( )  :  scala.Option<org.apache.spark.streaming.scheduler.RateController>

spark-streaming_2.10-1.5.0.jar, StreamingContext.class
package org.apache.spark.streaming
StreamingContext.getActive ( ) [static]  :  scala.Option<StreamingContext>
StreamingContext.getActiveOrCreate ( scala.Function0<StreamingContext> p1 ) [static]  :  StreamingContext
StreamingContext.getActiveOrCreate ( String p1, scala.Function0<StreamingContext> p2, org.apache.hadoop.conf.Configuration p3, boolean p4 ) [static]  :  StreamingContext
StreamingContext.getNewInputStreamId ( )  :  int
StreamingContext.getState ( )  :  StreamingContextState
StreamingContext.isCheckpointingEnabled ( )  :  boolean
StreamingContext.StreamingContext..startSite ( )  :  java.util.concurrent.atomic.AtomicReference<org.apache.spark.util.CallSite>
StreamingContext.StreamingContext..stopOnShutdown ( )  :  void
StreamingContext.StreamingContext ( String path, org.apache.spark.SparkContext sparkContext )
StreamingContext.withNamedScope ( String name, scala.Function0<U> body )  :  U
StreamingContext.withScope ( scala.Function0<U> body )  :  U

spark-streaming_2.10-1.5.0.jar, Time.class
package org.apache.spark.streaming
Time.floor ( Duration that, Time zeroTime )  :  Time

to the top

Problems with Data Types, High Severity (10)

spark-catalyst_2.10-1.5.0.jar
package org.apache.spark.sql
[+] Row (4)

package org.apache.spark.sql.catalyst.analysis
[+] Analyzer (1)

package org.apache.spark.sql.catalyst.expressions
[+] NamedExpression (1)

spark-sql_2.10-1.5.0.jar
package org.apache.spark.sql
[+] Column (1)
[+] SQLConf (1)

spark-streaming-kafka_2.10-1.5.0.jar
package org.apache.spark.streaming.kafka
[+] KafkaTestUtils (1)

spark-streaming_2.10-1.5.0.jar
package org.apache.spark.streaming.ui
[+] StreamingJobProgressListener (1)

to the top

Problems with Data Types, Medium Severity (3)

spark-catalyst_2.10-1.5.0.jar
package org.apache.spark.sql.types
[+] DataType (1)

spark-core_2.10-1.5.0.jar
package org.apache.spark.api.java
[+] JavaRDD<T> (1)

spark-sql_2.10-1.5.0.jar
package org.apache.spark.sql
[+] SQLContext.implicits. (1)

to the top

Problems with Data Types, Low Severity (1)

spark-sql_2.10-1.5.0.jar
package org.apache.spark.sql
[+] DataFrame (1)

to the top

Java ARchives (7)

spark-catalyst_2.10-1.5.0.jar
spark-core_2.10-1.5.0.jar
spark-hive_2.10-1.5.0.jar
spark-sql_2.10-1.5.0.jar
spark-streaming-kafka_2.10-1.5.0.jar
spark-streaming_2.10-1.5.0.jar
spark-yarn_2.10-1.5.0.jar

to the top



Generated on Tue Oct 27 23:46:35 2015 for spark-testing-base_2.10-1.5.1_0.2.0 by Java API Compliance Checker 1.4.1  
A tool for checking backward compatibility of a Java library API