Binary compatibility report for the spark-avro_2.10-2.0.1 library  between 1.4.0 and 1.0.0 versions   (relating to the portability of client application spark-avro_2.10-2.0.1.jar)

Test Info


Library Namespark-avro_2.10-2.0.1
Version #11.4.0
Version #21.0.0
Java Version1.7.0_75

Test Results


Total Java ARchives2
Total Methods / Classes186 / 2470
VerdictIncompatible
(85.5%)

Problem Summary


SeverityCount
Added Methods-27
Removed MethodsHigh132
Problems with
Data Types
High10
Medium0
Low0
Problems with
Methods
High0
Medium0
Low0

Added Methods (27)


spark-sql_2.10-1.0.0.jar, SQLContext.class
package org.apache.spark.sql
SQLContext.binaryToLiteral ( byte[ ] a )  :  catalyst.expressions.Literal
SQLContext.booleanToLiteral ( boolean b )  :  catalyst.expressions.Literal
SQLContext.byteToLiteral ( byte b )  :  catalyst.expressions.Literal
SQLContext.createParquetFile ( String path, boolean allowExisting, org.apache.hadoop.conf.Configuration conf, scala.reflect.api.TypeTags.TypeTag<A> p4 )  :  SchemaRDD
SQLContext.createSchemaRDD ( org.apache.spark.rdd.RDD<A> rdd, scala.reflect.api.TypeTags.TypeTag<A> p2 )  :  SchemaRDD
SQLContext.decimalToLiteral ( scala.math.BigDecimal d )  :  catalyst.expressions.Literal
SQLContext.doubleToLiteral ( double d )  :  catalyst.expressions.Literal
SQLContext.DslAttribute ( catalyst.expressions.AttributeReference a )  :  catalyst.dsl.package.ExpressionConversions.DslAttribute
SQLContext.DslExpression ( catalyst.expressions.Expression e )  :  catalyst.dsl.package.ExpressionConversions.DslExpression
SQLContext.DslString ( String s )  :  catalyst.dsl.package.ExpressionConversions.DslString
SQLContext.DslSymbol ( scala.Symbol sym )  :  catalyst.dsl.package.ExpressionConversions.DslSymbol
SQLContext.floatToLiteral ( float f )  :  catalyst.expressions.Literal
SQLContext.inferSchema ( org.apache.spark.rdd.RDD<scala.collection.immutable.Map<String,Object>> rdd )  :  SchemaRDD
SQLContext.intToLiteral ( int i )  :  catalyst.expressions.Literal
SQLContext.logger ( )  :  com.typesafe.scalalogging.slf4j.Logger
SQLContext.logicalPlanToSparkQuery ( catalyst.plans.logical.LogicalPlan plan )  :  SchemaRDD
SQLContext.longToLiteral ( long l )  :  catalyst.expressions.Literal
SQLContext.optimizer ( )  :  catalyst.optimizer.Optimizer.
SQLContext.parquetFile ( String path )  :  SchemaRDD
SQLContext.parser ( )  :  catalyst.SqlParser
SQLContext.registerRDDAsTable ( SchemaRDD rdd, String tableName )  :  void
SQLContext.shortToLiteral ( short s )  :  catalyst.expressions.Literal
SQLContext.sql ( String sqlText )  :  SchemaRDD
SQLContext.stringToLiteral ( String s )  :  catalyst.expressions.Literal
SQLContext.symbolToUnresolvedAttribute ( scala.Symbol s )  :  catalyst.analysis.UnresolvedAttribute
SQLContext.table ( String tableName )  :  SchemaRDD
SQLContext.timestampToLiteral ( java.sql.Timestamp t )  :  catalyst.expressions.Literal

to the top

Removed Methods (132)


spark-core_2.10-1.4.0.jar, Logging.class
package org.apache.spark
Logging.logName ( ) [abstract]  :  String

spark-sql_2.10-1.4.0.jar, DataFrameReader.class
package org.apache.spark.sql
DataFrameReader.DataFrameReader ( SQLContext sqlContext )
DataFrameReader.format ( String source )  :  DataFrameReader
DataFrameReader.jdbc ( String url, String table, java.util.Properties properties )  :  DataFrame
DataFrameReader.jdbc ( String url, String table, String columnName, long lowerBound, long upperBound, int numPartitions, java.util.Properties connectionProperties )  :  DataFrame
DataFrameReader.jdbc ( String url, String table, String[ ] predicates, java.util.Properties connectionProperties )  :  DataFrame
DataFrameReader.json ( org.apache.spark.api.java.JavaRDD<String> jsonRDD )  :  DataFrame
DataFrameReader.json ( org.apache.spark.rdd.RDD<String> jsonRDD )  :  DataFrame
DataFrameReader.json ( String path )  :  DataFrame
DataFrameReader.load ( )  :  DataFrame
DataFrameReader.load ( String path )  :  DataFrame
DataFrameReader.option ( String key, String value )  :  DataFrameReader
DataFrameReader.options ( java.util.Map<String,String> options )  :  DataFrameReader
DataFrameReader.options ( scala.collection.Map<String,String> options )  :  DataFrameReader
DataFrameReader.parquet ( scala.collection.Seq<String> paths )  :  DataFrame
DataFrameReader.parquet ( String... paths )  :  DataFrame
DataFrameReader.schema ( types.StructType schema )  :  DataFrameReader
DataFrameReader.table ( String tableName )  :  DataFrame

spark-sql_2.10-1.4.0.jar, DataFrameWriter.class
package org.apache.spark.sql
DataFrameWriter.DataFrameWriter ( DataFrame df )
DataFrameWriter.format ( String source )  :  DataFrameWriter
DataFrameWriter.insertInto ( String tableName )  :  void
DataFrameWriter.jdbc ( String url, String table, java.util.Properties connectionProperties )  :  void
DataFrameWriter.json ( String path )  :  void
DataFrameWriter.mode ( SaveMode saveMode )  :  DataFrameWriter
DataFrameWriter.mode ( String saveMode )  :  DataFrameWriter
DataFrameWriter.option ( String key, String value )  :  DataFrameWriter
DataFrameWriter.options ( java.util.Map<String,String> options )  :  DataFrameWriter
DataFrameWriter.options ( scala.collection.Map<String,String> options )  :  DataFrameWriter
DataFrameWriter.parquet ( String path )  :  void
DataFrameWriter.partitionBy ( scala.collection.Seq<String> colNames )  :  DataFrameWriter
DataFrameWriter.partitionBy ( String... colNames )  :  DataFrameWriter
DataFrameWriter.save ( )  :  void
DataFrameWriter.save ( String path )  :  void
DataFrameWriter.saveAsTable ( String tableName )  :  void

spark-sql_2.10-1.4.0.jar, HadoopFsRelation.class
package org.apache.spark.sql.sources
HadoopFsRelation.buildScan ( org.apache.hadoop.fs.FileStatus[ ] inputFiles )  :  org.apache.spark.rdd.RDD<org.apache.spark.sql.Row>
HadoopFsRelation.buildScan ( String[ ] requiredColumns, org.apache.hadoop.fs.FileStatus[ ] inputFiles )  :  org.apache.spark.rdd.RDD<org.apache.spark.sql.Row>
HadoopFsRelation.buildScan ( String[ ] requiredColumns, Filter[ ] filters, org.apache.hadoop.fs.FileStatus[ ] inputFiles )  :  org.apache.spark.rdd.RDD<org.apache.spark.sql.Row>
HadoopFsRelation.buildScan ( String[ ] requiredColumns, Filter[ ] filters, org.apache.hadoop.fs.FileStatus[ ] inputFiles, org.apache.spark.broadcast.Broadcast<org.apache.spark.SerializableWritable<org.apache.hadoop.conf.Configuration>> broadcastedConf )  :  org.apache.spark.rdd.RDD<org.apache.spark.sql.Row>
HadoopFsRelation.buildScan ( String[ ] requiredColumns, Filter[ ] filters, String[ ] inputPaths, org.apache.spark.broadcast.Broadcast<org.apache.spark.SerializableWritable<org.apache.hadoop.conf.Configuration>> broadcastedConf )  :  org.apache.spark.rdd.RDD<org.apache.spark.sql.Row>
HadoopFsRelation.cachedLeafStatuses ( )  :  scala.collection.immutable.Set<org.apache.hadoop.fs.FileStatus>
HadoopFsRelation.dataSchema ( ) [abstract]  :  org.apache.spark.sql.types.StructType
HadoopFsRelation.HadoopFsRelation ( )
HadoopFsRelation.HadoopFsRelation ( scala.Option<PartitionSpec> maybePartitionSpec )
HadoopFsRelation.HadoopFsRelation..discoverPartitions ( )  :  PartitionSpec
HadoopFsRelation.HadoopFsRelation..fileStatusCache ( )  :  HadoopFsRelation.FileStatusCache
HadoopFsRelation.HadoopFsRelation..hadoopConf ( )  :  org.apache.hadoop.conf.Configuration
HadoopFsRelation.partitionColumns ( )  :  org.apache.spark.sql.types.StructType
HadoopFsRelation.partitionSpec ( )  :  PartitionSpec
HadoopFsRelation.paths ( ) [abstract]  :  String[ ]
HadoopFsRelation.prepareJobForWrite ( org.apache.hadoop.mapreduce.Job p1 ) [abstract]  :  OutputWriterFactory
HadoopFsRelation.refresh ( )  :  void
HadoopFsRelation.schema ( )  :  org.apache.spark.sql.types.StructType
HadoopFsRelation.userDefinedPartitionColumns ( )  :  scala.Option<org.apache.spark.sql.types.StructType>

spark-sql_2.10-1.4.0.jar, HadoopFsRelationProvider.class
package org.apache.spark.sql.sources
HadoopFsRelationProvider.createRelation ( org.apache.spark.sql.SQLContext p1, String[ ] p2, scala.Option<org.apache.spark.sql.types.StructType> p3, scala.Option<org.apache.spark.sql.types.StructType> p4, scala.collection.immutable.Map<String,String> p5 ) [abstract]  :  HadoopFsRelation

spark-sql_2.10-1.4.0.jar, OutputWriter.class
package org.apache.spark.sql.sources
OutputWriter.close ( ) [abstract]  :  void
OutputWriter.OutputWriter ( )
OutputWriter.write ( org.apache.spark.sql.Row p1 ) [abstract]  :  void

spark-sql_2.10-1.4.0.jar, OutputWriterFactory.class
package org.apache.spark.sql.sources
OutputWriterFactory.newInstance ( String p1, org.apache.spark.sql.types.StructType p2, org.apache.hadoop.mapreduce.TaskAttemptContext p3 ) [abstract]  :  OutputWriter
OutputWriterFactory.OutputWriterFactory ( )

spark-sql_2.10-1.4.0.jar, SQLContext.class
package org.apache.spark.sql
SQLContext.applySchemaToPythonRDD ( org.apache.spark.rdd.RDD<Object[ ]> rdd, types.StructType schema )  :  DataFrame
SQLContext.applySchemaToPythonRDD ( org.apache.spark.rdd.RDD<Object[ ]> rdd, String schemaString )  :  DataFrame
SQLContext.baseRelationToDataFrame ( sources.BaseRelation baseRelation )  :  DataFrame
SQLContext.cacheManager ( )  :  execution.CacheManager
SQLContext.clearCache ( )  :  void
SQLContext.conf ( )  :  SQLConf
SQLContext.createDataFrame ( org.apache.spark.api.java.JavaRDD<?> rdd, Class<?> beanClass )  :  DataFrame
SQLContext.createDataFrame ( org.apache.spark.api.java.JavaRDD<Row> rowRDD, types.StructType schema )  :  DataFrame
SQLContext.createDataFrame ( org.apache.spark.rdd.RDD<?> rdd, Class<?> beanClass )  :  DataFrame
SQLContext.createDataFrame ( org.apache.spark.rdd.RDD<A> rdd, scala.reflect.api.TypeTags.TypeTag<A> p2 )  :  DataFrame
SQLContext.createDataFrame ( org.apache.spark.rdd.RDD<Row> rowRDD, types.StructType schema )  :  DataFrame
SQLContext.createDataFrame ( org.apache.spark.rdd.RDD<Row> rowRDD, types.StructType schema, boolean needsConversion )  :  DataFrame
SQLContext.createDataFrame ( scala.collection.Seq<A> data, scala.reflect.api.TypeTags.TypeTag<A> p2 )  :  DataFrame
SQLContext.createExternalTable ( String tableName, String path )  :  DataFrame
SQLContext.createExternalTable ( String tableName, String path, String source )  :  DataFrame
SQLContext.createExternalTable ( String tableName, String source, java.util.Map<String,String> options )  :  DataFrame
SQLContext.createExternalTable ( String tableName, String source, types.StructType schema, java.util.Map<String,String> options )  :  DataFrame
SQLContext.createExternalTable ( String tableName, String source, types.StructType schema, scala.collection.immutable.Map<String,String> options )  :  DataFrame
SQLContext.createExternalTable ( String tableName, String source, scala.collection.immutable.Map<String,String> options )  :  DataFrame
SQLContext.createSession ( )  :  SQLContext.SQLSession
SQLContext.currentSession ( )  :  SQLContext.SQLSession
SQLContext.ddlParser ( )  :  sources.DDLParser
SQLContext.defaultSession ( )  :  SQLContext.SQLSession
SQLContext.detachSession ( )  :  void
SQLContext.dialectClassName ( )  :  String
SQLContext.dropTempTable ( String tableName )  :  void
SQLContext.emptyDataFrame ( )  :  DataFrame
SQLContext.emptyResult ( )  :  org.apache.spark.rdd.RDD<Row>
SQLContext.experimental ( )  :  ExperimentalMethods
SQLContext.functionRegistry ( )  :  catalyst.analysis.FunctionRegistry
SQLContext.getAllConfs ( )  :  scala.collection.immutable.Map<String,String>
SQLContext.getConf ( String key )  :  String
SQLContext.getConf ( String key, String defaultValue )  :  String
SQLContext.getOrCreate ( org.apache.spark.SparkContext p1 ) [static]  :  SQLContext
SQLContext.getSchema ( Class<?> beanClass )  :  scala.collection.Seq<catalyst.expressions.AttributeReference>
SQLContext.getSQLDialect ( )  :  catalyst.ParserDialect
SQLContext.implicits ( )  :  SQLContext.implicits.
SQLContext.isCached ( String tableName )  :  boolean
SQLContext.isTraceEnabled ( )  :  boolean
SQLContext.log ( )  :  org.slf4j.Logger
SQLContext.logDebug ( scala.Function0<String> msg )  :  void
SQLContext.logDebug ( scala.Function0<String> msg, Throwable throwable )  :  void
SQLContext.logError ( scala.Function0<String> msg )  :  void
SQLContext.logError ( scala.Function0<String> msg, Throwable throwable )  :  void
SQLContext.logInfo ( scala.Function0<String> msg )  :  void
SQLContext.logInfo ( scala.Function0<String> msg, Throwable throwable )  :  void
SQLContext.logName ( )  :  String
SQLContext.logTrace ( scala.Function0<String> msg )  :  void
SQLContext.logTrace ( scala.Function0<String> msg, Throwable throwable )  :  void
SQLContext.logWarning ( scala.Function0<String> msg )  :  void
SQLContext.logWarning ( scala.Function0<String> msg, Throwable throwable )  :  void
SQLContext.openSession ( )  :  SQLContext.SQLSession
SQLContext.optimizer ( )  :  catalyst.optimizer.Optimizer
SQLContext.org.apache.spark.Logging..log_ ( )  :  org.slf4j.Logger
SQLContext.org.apache.spark.Logging..log__.eq ( org.slf4j.Logger p1 )  :  void
SQLContext.parquetFile ( String... paths )  :  DataFrame
SQLContext.parseDataType ( String dataTypeString )  :  types.DataType
SQLContext.range ( long start, long end )  :  DataFrame
SQLContext.range ( long start, long end, long step, int numPartitions )  :  DataFrame
SQLContext.read ( )  :  DataFrameReader
SQLContext.registerDataFrameAsTable ( DataFrame df, String tableName )  :  void
SQLContext.setConf ( java.util.Properties props )  :  void
SQLContext.setConf ( String key, String value )  :  void
SQLContext.sql ( String sqlText )  :  DataFrame
SQLContext.SQLContext ( org.apache.spark.api.java.JavaSparkContext sparkContext )
SQLContext.sqlParser ( )  :  SparkSQLParser
SQLContext.table ( String tableName )  :  DataFrame
SQLContext.tableNames ( )  :  String[ ]
SQLContext.tableNames ( String databaseName )  :  String[ ]
SQLContext.tables ( )  :  DataFrame
SQLContext.tables ( String databaseName )  :  DataFrame
SQLContext.tlSession ( )  :  ThreadLocal<SQLContext.SQLSession>
SQLContext.udf ( )  :  UDFRegistration

to the top

Problems with Data Types, High Severity (10)


spark-core_2.10-1.4.0.jar
package org.apache.spark
[+] Logging (1)
[+] SparkContext (1)

spark-sql_2.10-1.4.0.jar
package org.apache.spark.sql
[+] DataFrameReader (1)
[+] DataFrameWriter (1)
[+] SQLContext (1)
[+] SQLContext.QueryExecution (1)

package org.apache.spark.sql.sources
[+] HadoopFsRelation (1)
[+] HadoopFsRelationProvider (1)
[+] OutputWriter (1)
[+] OutputWriterFactory (1)

to the top

Java ARchives (2)


spark-core_2.10-1.4.0.jar
spark-sql_2.10-1.4.0.jar

to the top




Generated on Tue Sep 8 22:38:32 2015 for spark-avro_2.10-2.0.1 by Java API Compliance Checker 1.4.1  
A tool for checking backward compatibility of a Java library API