Scala 将欧几里德距离转换为曼哈顿距离
下面的计算在spark mlib库中给出,以找到欧氏距离Scala 将欧几里德距离转换为曼哈顿距离,scala,apache-spark,machine-learning,Scala,Apache Spark,Machine Learning,下面的计算在spark mlib库中给出,以找到欧氏距离 private[mllib] def fastSquaredDistance( v1: Vector, norm1: Double, v2: Vector, norm2: Double, precision: Double = 1e-6): Double = { val n = v1.size require(v2.size == n) require(n
private[mllib] def fastSquaredDistance(
v1: Vector,
norm1: Double,
v2: Vector,
norm2: Double,
precision: Double = 1e-6): Double = {
val n = v1.size
require(v2.size == n)
require(norm1 >= 0.0 && norm2 >= 0.0)
val sumSquaredNorm = norm1 * norm1 + norm2 * norm2
val normDiff = norm1 - norm2
var sqDist = 0.0
val precisionBound1 = 2.0 * EPSILON * sumSquaredNorm / (normDiff * normDiff + EPSILON)
if (precisionBound1 < precision) {
sqDist = sumSquaredNorm - 2.0 * dot(v1, v2)
} else if (v1.isInstanceOf[SparseVector] || v2.isInstanceOf[SparseVector]) {
val dotValue = dot(v1, v2)
sqDist = math.max(sumSquaredNorm - 2.0 * dotValue, 0.0)
val precisionBound2 = EPSILON * (sumSquaredNorm + 2.0 * math.abs(dotValue)) /
(sqDist + EPSILON)
if (precisionBound2 > precision) {
sqDist = Vectors.sqdist(v1, v2)
}
} else {
sqDist = Vectors.sqdist(v1, v2)
}
sqDist
}
private[mllib]def fastSquaredInstance(
v1:向量,
标准1:双倍,
v2:向量,
第二条:双倍,
精度:双精度=1e-6):双精度={
val n=v1.1大小
需要(v2.size==n)
需要(norm1>=0.0&&norm2>=0.0)
val sumSquaredNorm=norm1*norm1+norm2*norm2
val normDiff=norm1-norm2
var sqDist=0.0
val precisionBound1=2.0*EPSILON*sumSquaredNorm/(normDiff*normDiff+EPSILON)
if(精度边界1<精度){
sqDist=sumSquaredNorm-2.0*点(v1,v2)
}else if(v1.isInstanceOf[SparseVector]| | v2.isInstanceOf[SparseVector]){
val dotValue=点(v1,v2)
sqDist=math.max(sumSquaredNorm-2.0*dotValue,0.0)
val precisionBound2=EPSILON*(sumSquaredNorm+2.0*math.abs(dotValue))/
(sqDist+EPSILON)
if(精度边界2>精度){
sqDist=Vectors.sqDist(v1,v2)
}
}否则{
sqDist=Vectors.sqDist(v1,v2)
}
sqDist
}
我对机器学习非常陌生。我的问题是如何通过修改上述代码来找到曼哈顿距离。在没有任何附加上下文的情况下,我建议以明显的天真方式实现L1距离:
d_manhatten(u,v) = sum( abs(u[i] - v[i]), i) // Pseudocode
现在,我没有太多地看你的代码,但它看起来像是(1)关注精度(与L2相比,这对L1来说不是什么问题,因为没有平方)和(2)使用L2规范作为输入(据我所知,这在计算L1时没有用)。因此,修改当前方法可能没有多大用处
另外,我经常听说过早优化是万恶之源,所以请先尝试最简单的事情,如果这是不可接受的,然后尝试模糊优化:)如果没有任何额外的上下文,我建议以明显的天真方式实现L1距离:
d_manhatten(u,v) = sum( abs(u[i] - v[i]), i) // Pseudocode
现在,我没有太多地看你的代码,但它看起来像是(1)关注精度(与L2相比,这对L1来说不是什么问题,因为没有平方)和(2)使用L2规范作为输入(据我所知,这在计算L1时没有用)。因此,修改当前方法可能没有多大用处
另外,我经常听说过早优化是万恶之源,所以请先尝试最简单的方法,如果不可接受,请尝试模糊优化:)曼哈顿距离只是向量的减法(带有一些外部abs)。您不应该修改上面的代码。曼哈顿距离只是向量的减法(有一些外部的abs)。您不应该修改上面的代码。