安云网 - AnYun.ORG | 专注于网络信息收集、网络数据分享、网络安全研究、网络各种猎奇八卦。
当前位置: 安云网 > 技术关注 > 网络安全 > 经验分享:社会工程学数据库搭建TIPS

经验分享:社会工程学数据库搭建TIPS

时间:2014-12-01来源: 作者:昵称 点击:
最近一直在搞社工库的搭建。网上这方面也有很多文章,但是很少涉及到细节,在此与大家分享一些个人心得。测试环境测试坏境:windowsserver2012(x64,16G内存),MySQL-5.0.90,php-5.2.1…
最近一直在搞社工库的搭建。网上这方面也有很多文章,但是很少涉及到细节,在此与大家分享一些个人心得。
//本文来自安云网

测试环境
//本文来自安云网

测试坏境:windows server 2012(x64,16G 内存) ,MySQL-5.0.90,php-5.2.14-Win32
准备工具:coreseek-4.1-win32,Phantom 牛的源码
//内容来自AnYun.ORG

搭建过程 //本文来自安云网

1,首先查看要索引表的字段,以便于在csft_mysql.conf 文件中配置 //内容来自安云网

//本文来自安云网

我们修改csft_myxql.conf文件。(coreseek3.2.14不支持sql_query_string=) //内容来自AnYun.ORG

//本文来自安云网

注意Sql_query中的字段必须和我们nan1表中一致、要支持cjk(中,日,韩简写)的查询我们必须用它的专用charset_table
//内容来自AnYun.ORG

因此我们应当在indexmysql中加入charset_table(因数据量过长此处就省去,请查看我的配置文件)

//本文来自安云网

2,让sphinx支持实时索引,以便于我们后期解决某个问题。后来发现还是没有解决成功什么是实时索引就不再纂述了:) //内容来自安云网

//本文来自安云网

应当添加到indexmysql下方,具体请参照配置文件。修改好配置文件后请用UTF-8withoutBOM格式保存以便程序读取配置文件。 //内容来自安云网

3,建立索引,并启动 //内容来自安云网

//内容来自安云网

因为是测试数据量很小,因此程序启动成功若数据量超过1亿将显示内存不足 //本文来自安云网

//内容来自安云网

将mem_limit=1M设置成1M重新建立索引,若还是提示内存不足将表数据分割,依赖实时索引动态插入数据(ps:如果大牛还有更好的办法请与我联系)
//内容来自AnYun.ORG

因测试我们用nan4表做演示 //内容来自AnYun.ORG

此处我们有三种方法来分割表 //内容来自安云网

Code:create table nan3 select distinct firstname,lastname,email,username,password,hash,addr1,addr2,jumin1,jumin2,sex,s sn from nan4; create table nan3 Select firstname,lastname,email,username,password,hash,addr1,addr2,jumin1,jumin2,sex,s sn from nan4 group by firstname,lastname,email,username,password,hash,addr1,addr2,jumin1,jumin2,sex,s sn from nan4; //两句代码效果都一样去除username,password....sex 中内容相同的插入nan3 表,为有人 不理解我是意思,我截图示之,本人表达能力有问题 //内容来自安云网

//内容来自安云网

Groupby语句差不多;

//内容来自AnYun.ORG

昨晚喳喳同学告诉了我一个直接去除表中重复内容的语句我也贴上来,感谢他了(ps:和他研究了一晚上,没办法啊,人笨。)
//内容来自安云网

Code:delete from temps where id in (select id from (select id from temps as s where (select count(*) from temps as a where a.username=s.username and a.password =s.password)>1 and id not in(select id from(select id,count(distinct username, password) from temps as s where (select count(*) from test4 as a where a.username=s.username and a.password =s.password )>1 group by username) as sss))as ttt) //内容来自AnYun.ORG 注意:此处id:需为自增ID
分割表时不要用limit参数与distinct参数混用容易造成卡死,且得多次去重
//内容来自安云网

create table tempss select * from nan3 limit 0,3; create table temp select * from nan3 limit 3,5; //内容来自安云网 //内容来自安云网

OK,现在我们已经分成两个表,并手动给两个表添加自增ID(tempid最大值为4,tempsid 最小值为5),我们将一个temp表建立索引,并启动

//本文来自安云网

//本文来自安云网

话说不知道是我人品的问题还是那啥,因此我们需要稍改一下search.php的源码

//内容来自安云网

//内容来自AnYun.ORG

搜索结果
//本文来自安云网

//本文来自安云网

insertintotempselect*fromtempss;//将tempss的数据插入到temp

//内容来自AnYun.ORG

//内容来自AnYun.ORG

插入后搜索结果
//内容来自安云网

//内容来自AnYun.ORG

//内容来自AnYun.ORG

//本文来自安云网

我对不起大家经过我的测试实时索引重启后还是出现内存不足的情况,且只能修改我们索引后的id对应字段参数值。(留待大牛解答了)
//内容来自安云网

补充TIPS //本文来自安云网

如果你恰好有韩国的或者小日本的数据库,又恰好的先导入进去了(入库没啥好说的,数据库编码最好统一为utf8),编码也设置成949或者euckr //内容来自安云网

//本文来自安云网

可能下面的语句能帮到您:

//本文来自安云网

create table test4 select username ,password from test1 union select username,password from test2; //将test2 表与test1 表比较清除重复后插入test4 中;(ps:字段数据类型可 以不同) ALTER TABLE test4 DEFAULT CHARACTER SET utf8 COLLATE utf8_gen eral_ci; //不解释 alter table nan1 modify column username varchar(50); //修改username 的数据类型 alter table $table add $username varchar(50) null; //添加新字段
//本文来自安云网
程序下载地址,提取码4su4 //内容来自AnYun.ORG

参考文章
//内容来自安云网

http://blog.csdn.net/rulev5/article/details/7572482
//内容来自安云网

http://tesfans.org/using-sphinx-search-engine-with-chinese-japanese-and-korean-language-documents/
//内容来自安云网

http://zone.wooyun.org/content/9377

//内容来自AnYun.ORG

感谢,北极熊,SBY对我问题的细心解答,感谢喳喳,和老大。 //本文来自安云网

欢迎志同道合的朋友与我交流:InN0t@outlook.com,作者:InN0t //内容来自安云网

顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
验证码: 点击我更换图片
相关内容
推荐内容