Sql 熊猫的复杂连接
你怎么能用熊猫来写呢?使用SQL是否更好 我尝试过“where”、“isin”、“join”、“merge”,但我无法在熊猫身上复制这一点 问题:Sql 熊猫的复杂连接,sql,join,merge,pandas,Sql,Join,Merge,Pandas,你怎么能用熊猫来写呢?使用SQL是否更好 我尝试过“where”、“isin”、“join”、“merge”,但我无法在熊猫身上复制这一点 问题: 我基本上有两列(x&y),值从1到10。然后,我想使用如下所示的特定条件进行自连接 IF OBJECT_ID('tempdb..#t1','u') IS NOT NULL BEGIN DROP TABLE #t1 END CREATE TABLE #t1 ( x int, y int ) I
我基本上有两列(x&y),值从1到10。然后,我想使用如下所示的特定条件进行自连接
IF OBJECT_ID('tempdb..#t1','u') IS NOT NULL
BEGIN
DROP TABLE #t1
END
CREATE TABLE #t1
(
x int,
y int
)
INSERT #t1
select distinct number as x, number as y from Master..spt_values
where number between 1 and 10
order by number
select a.x as a_x,
a.y as a_y,
b.x as b_x,
b.y as b_y
from #t1 as a
join #t1 as b on (a.x <= b.x and a.x > b.x-4)
order by a.x,a.y
以下是一个解决方案:
import pandas as pd
import numpy as np
df = pd.DataFrame({'x':range(1,11),
'y':range(1,11)})
df2 = pd.merge(df, df, on=np.ones(df.shape[0]), suffixes=("_a", "_b")).drop("key_0", axis=1)
print df2.query("x_a <= x_b & x_a > x_b - 4").reset_index(drop=True)
您能否更清楚地了解初始数据帧的外观?也就是说,这些值是随机分配的吗?它们分类了吗?它们重复了吗?当
x
和y
是相同的,并且(别名)表a
和b
是相同的,我不明白a.x b.x-4
如果我们选择一个随机的x值,比如9……那么……9<10和9>10-4……这将是真的。你能用你的数据库模式发布一个小摆弄吗?()除了笛卡尔方法,你知道还有别的方法吗?我正在寻找一种可以在大数据集上工作的方法。我想不出任何简单的方法可以在小于O(N**2)的情况下进行连接。您确定SQL不会检查每对值吗?可能对x
列进行排序,对于x
中的每个值v
,进行二进制搜索v+4
,但这有点复杂。
import pandas as pd
import numpy as np
df = pd.DataFrame({'x':range(1,11),
'y':range(1,11)})
df2 = pd.merge(df, df, on=np.ones(df.shape[0]), suffixes=("_a", "_b")).drop("key_0", axis=1)
print df2.query("x_a <= x_b & x_a > x_b - 4").reset_index(drop=True)
x_a y_a x_b y_b
0 1 1 1 1
1 1 1 2 2
2 1 1 3 3
3 1 1 4 4
4 2 2 2 2
5 2 2 3 3
6 2 2 4 4
7 2 2 5 5
8 3 3 3 3
9 3 3 4 4
10 3 3 5 5
11 3 3 6 6
12 4 4 4 4
13 4 4 5 5
14 4 4 6 6
15 4 4 7 7
16 5 5 5 5
17 5 5 6 6
18 5 5 7 7
19 5 5 8 8
20 6 6 6 6
21 6 6 7 7
22 6 6 8 8
23 6 6 9 9
24 7 7 7 7
25 7 7 8 8
26 7 7 9 9
27 7 7 10 10
28 8 8 8 8
29 8 8 9 9
30 8 8 10 10
31 9 9 9 9
32 9 9 10 10
33 10 10 10 10