新闻资讯  快讯  焦点  财经  政策  社会
互 联 网   电商  金融  数据  计算  技巧
生活百科  科技  职场  健康  法律  汽车
手机百科  知识  软件  修理  测评  微信
软件技术  应用  系统  图像  视频  经验
硬件技术  知识  技术  测评  选购  维修
网络技术  硬件  软件  设置  安全  技术
程序开发  语言  移动  数据  开源  百科
安全防护  资讯  黑客  木马  病毒  移动
站长技术  搜索  SEO  推广  媒体  移动
财经百科  股票  知识  理财  财务  金融
教育考试  育儿  小学  高考  考研  留学
您当前的位置:首页 > IT百科 > 站长技术 > SEO

利用Google搜索与某开放 API工具结合做免费SEO分析

时间:2019-12-04 11:19:55  来源:  作者:

seo分析师的头衔,就是寻找大量免费数据来源,并将其整理成有见地的东西。 为什么? 因为将客户的建议基于猜想没有任何价值。 最好将高质量的数据与良好的分析相结合,以帮助我们的客户更好地了解对他们而言重要的方面。 

在本文中,我将告诉您如何开始使用一些免费资源,并说明如何组合独特的分析方法,这些方法可以为您的博客文章提供有用的见解(如果您是作家,则是代理机构,如果您是SEO,或者您的网站(如果您是自己进行SEO的客户或所有者)。

 

利用Google搜索与某开放 API工具结合做免费SEO分析

 

 

我要使用的方案是我要分析一些SEO属性(例如,反向链接,页面权限等),并查看它们对Google排名的影响。 我想回答以下问题:“反向链接真的对进入SERP的第1页有效吗?”和“我真的需要在前10个结果中获得哪种页面权威评分?”为此,我需要结合起来来自许多Google搜索的数据,其中包含我要衡量的具有SEO属性的每个结果的数据。

让我们开始并研究如何组合以下任务以实现此目标,这些任务都可以免费设置:

  • 使用Google自定义搜索引擎查询
  • 使用免费的某(可以选择自己喜欢的 中国或者美国的都可以) API帐户
  • 使用phpMySQL收集数据
  • 使用SQL和R分析数据

使用Google自定义搜索引擎查询

我们首先需要查询Google并存储一些结果。 为了保持Google服务条款的正确性,我们不会直接抓取Google.com,而是会使用Google的“自定义搜索”功能。 Google的自定义搜索主要旨在让网站所有者在其网站上提供类似Google的搜索小部件。 但是,还有一个免费的基于REST的Google搜索API ,可让您查询Google并以流行的JSON格式检索结果。 有配额限制,但是可以配置和扩展配额限制 ,以提供可使用的良好数据样本。

在正确配置为搜索整个网络后,您可以将查询发送到自定义搜索引擎(在我们的示例中是使用PHP),并将其视为Google响应,尽管有一些注意事项。 使用自定义搜索引擎的主要限制是:(i)它不使用某些Google Web搜索功能(例如个性化结果),并且; (ii)如果您包含十个以上的网站,则可能包含Google索引的一部分结果。

尽管有这些限制,但仍有许多搜索选项可以传递给自定义搜索引擎,以代理您可能期望Google.com返回的内容。 在我们的场景中,我们在拨打电话时传递了以下内容:

 https://www.google.com/customsearch/v1?key=<google_api_id>&userIp=
 <ip_address>&cx <custom_search_engine_id>&q = iphone + X&cr = countryUS&start =
 1 </ custom_search_engine_id> </ ip_address> </ google_api_id> 

哪里:

  • https://www.google.com/cn/customsearch/v1 –是Google自定义搜索API的网址
  • key = <GOOGLE_API_ID> –您的Google Developer API密钥
  • userIp = <IP_ADDRESS> –计算机的IP地址
  • cx = <CUSTOM_SEARCH_ENGINE_ID> –您的Google自定义搜索引擎 ID
  • q = iPhone + X – Google查询字符串(“ +”代替“”)
  • cr = countryUS –国家/地区限制(来自Goolge的“ 国家/地区名称”列表)
  • start = 1 –返回的第一个结果的索引-例如SERP页面1。连续调用将使其递增以得到页面2–5。

谷歌曾说过谷歌自定义搜索引擎与谷歌.com有所不同 ,但是在有限的产品测试中,我比较了两者之间的结果,这让我感到鼓舞,因此继续进行分析。 也就是说,请记住,以下数据和结果来自Google自定义搜索(使用“整个网络”查询),而不是Google.com。

使用免费的某 API帐户

应用程序编程接口 (API)。 要使用它,您需要注册一个 API密钥 ,该密钥是免费的,但有限制,每十秒钟一次查询 。 具有免费的帐户和API密钥,然后您可以查询Links API并分析以下指标 :

 

 

利用Google搜索与某开放 API工具结合做免费SEO分析

 

 

 

在调用Links API之前,将xxx API代码添加在一起,如下所示:

 www.Apple.com%2F?Cols = 103616137253&AccessID = xxx_ACCESS_ID&
过期= 1560586149&Signature = <xxx_SECRET_KEY> 

结果:

  • http://lsapi.xxxx.com/linkscape/url-metrics/“ class =” redactor-autoparser-object“> http://lsapi.sxxxx.com/linksc ... – API的URL
  • http%3A%2F%2F www.apple.com.tw%2F –我们要获取数据的编码URL
  • Cols = 103616137253 –上表中的Moz API代码总和
  • AccessID = xxx_ACCESS_ID – 访问ID的编码版本(可在您的API帐户中找到)
  • Expires = 1560586149 –查询超时-设置为未来几分钟
  • Signature= <xxx_SECRET_KEY> – 访问ID的编码版本(在您的API帐户中找到)

将返回类似以下JSON的内容:

 数组
 (
 [ut] =>apple
 [uu] => <a href="http://www.apple.com/" class="redactor-autoparser-object"> www.apple.com/ </a>
 [ueid] => 13078035
 [uid] => 14632963
 [uu] => www.apple.com/
 [ueid] => 13078035
 [uid] => 14632963
 [umrp] => 9
 [umrr] => 0.8999999762
 [fmrp] => 2.602215052
 [fmrr] => 0.2602215111
 [us] => 200
 [upa] => 90
 [pda] => 100
 ) 

有关使用PHPPerl,Python,Ruby和JAVAscript查询数据的一个很好的起点,请参阅Github上的此存储库 。 我选择使用PHP。

使用PHP和MySQL收集数据

现在我们有了Google自定义搜索引擎和某 API,几乎可以捕获数据了。 Google和某工具通过JSON格式响应请求,因此许多流行的编程语言都可以查询。 除了我选择的语言PHP外,我还将Google和xxx的结果都写到了数据库中,并为此选择了MySQL Community Edition 。 也可以使用其他数据库,例如Postgres,Oracle,Microsoft SQL Server等。这样做可以使用SQL(结构化查询语言)以及其他语言(例如R)进行数据的持久性和即席分析。后来)。 创建用于保存Google搜索结果的数据库表(带有用于排名,URL等的字段)和用于保存xxx数据字段(ueid,upa,uda等)的表之后,我们就可以设计数据收集计划了。

Google使用自定义搜索引擎提供了足够的配额 (每天使用相同的Google开发者控制台密钥进行多达1亿次查询),但是某些工具免费API的有上限,如果需要高级的就要购买了。根据计划和方案的不同,当我只是在探索免费选项时,我设计了代码,以在2页的SERP(每页10个结果)中收集125个Google查询,使我能够保持在2500行的配额之内。 至于哪些搜索可以触发Google,有很多资源可供使用。 我选择使用Mondovo,因为它们提供了许多类别的列表,每个列表最多500个单词,对于实验来说足够了。

我还引入了一些PHP帮助程序类以及我自己的数据库I / O和HTTP代码。

总之,使用的主要PHP构建块和源是:

  • Google自定义搜索引擎– Ash Kiswany使用Jacob Fogg的 PHP界面编写了Google自定义搜索的出色文章;
  • Mozscape API –如前所述,该用于在Github上访问Moz的PHP实现是一个很好的起点。
  • 网站搜寻器和HTTP –在Purple Toolz ,我们有自己的搜寻器PurpleCerzBot ,它使用Curl作为HTTP和此简单HTML DOM解析器 ;
  • 数据库I / O – PHP对MySQL具有出色的支持,我将这些教程打包为类。

要知道的一个因素是 API调用之间的10秒间隔 。 这是为了防止免费API用户过载。

使用SQL和R分析数据

现在该看看我们所拥有的。 有时这称为数据争用 。 我使用一种称为R的免费统计编程语言以及一种称为R Studio的开发环境(编辑器)。

R因为它是开源的,并且它具有许多第三方库,这使其非常通用并且适合此类工作。

现在,我有几个数据库表,其中包含我在SERPS的2页上的125个搜索词查询的结果(即,每个搜索词有20个排名的URL)。 两个数据库表保存Google结果,另一个表保存Moz数据结果。 要访问这些数据库,我们需要做一个数据库INNER JOIN,我们可以通过将RMySQL软件包与R一起使用来轻松完成数据库。这是通过在R的控制台中键入“ install.packages('RMySQL')”来完成的,其中包括“库(RMySQL)”位于我们R脚本顶部。

然后,我们可以执行以下操作来连接并将数据获取到名为“ theResults”的R数据帧变量中。

 

library(RMySQL)
# INNER JOIN the two tables
theQuery <- "
 SELECT A.*, B.*, C.*
 FROM
 (
 SELECT 
 cseq_search_id
 FROM cse_query
 ) A -- Custom Search Query
 INNER JOIN
 (
 SELECT 
 cser_cseq_id,
 cser_rank,
 cser_url
 FROM cse_results
 ) B -- Custom Search Results
 ON A.cseq_search_id = B.cser_cseq_id
 INNER JOIN
 (
 SELECT *
 FROM moz
 ) C -- Moz Data Fields
 ON B.cser_url = C.moz_url
 ;
"
# [1] Connect to the database
# Replace USER_NAME with your database username
# Replace PASSWORD with your database password
# Replace MY_DB with your database name
theConn <- dbConnect(dbDriver("MySQL"), user = "USER_NAME", password = "PASSWORD", dbname = "MY_DB")
# [2] Query the database and hold the results
theResults <- dbGetQuery(theConn, theQuery)
# [3] Disconnect from the database
dbDisconnect(theConn)

NOTE:注意:我有两个表来保存Google自定义搜索引擎数据。 一种保存Google查询中的数据(cse_query),另一种保存结果(cse_results)。

现在我们可以使用R的全部统计功能开始争吵。

让我们从一些总结开始,以便对数据有所了解。 我经历的过程在每个字段中基本上都是相同的,因此让我们说明并使用Moz的“ UEID”字段(指向URL的外部所有者链接的数量)。 通过在RI中键入以下内容,可以得到以下内容:

 

> summary(theResults$moz_ueid)
 Min. 1st Qu. Median Mean 3rd Qu. Max. 
 0 1 20 14709 182 2755274 
> quantile(theResults$moz_ueid, probs = c(1, 5, 10, 25, 50, 75, 80, 90, 95, 99, 100)/100)
 1% 5% 10% 25% 50% 75% 80% 90% 95% 99% 100% 
 0.0 0.0 0.0 1.0 20.0 182.0 337.2 1715.2 7873.4 412283.4 2755274.0 

观察这一点,您会发现数据由于中位数与均值的关系而偏斜(很大),而中位数与均值之间的关系被较高四分位数范围内的值(超过观测值的75%的值)拉动。 但是,我们可以将其绘制成R中的箱形图,其中每个X值都是从Google自定义搜索位置1-20开始按等级排列的UEID分布。

请注意,我们在y轴上使用了对数刻度,以便我们可以显示变化范围很大的所有值!

利用Google搜索与某开放 API工具结合做免费SEO分析

 

由Google排名得出的 UEID R中的箱须图(注:对数刻度)

箱形图和晶须图很棒,因为它们在其中显示了大量信息(请参见R中的geom_boxplot函数)。 紫色方框区域表示四分位间距(IQR),它是观测值的25%到75%之间的值。 每个“方框”中的水平线代表中间值(订购时中间的那一条),而从方框延伸的线(称为“晶须”)代表1.5x IQR。 晶须外的点称为“异常值”,并显示每个等级的观察值集的范围。 尽管有对数刻度,但我们可以看到中值从排名10上升到排名1明显,表明股权链接的数量可能是Google的排名因素。 让我们用密度图进一步探索它。

密度图非常类似于分布(直方图),但显示的是平滑线而不是条形图。 与直方图非常相似,密度图的峰值显示了数据值集中的位置,可以在比较两个分布时提供帮助。 在下面的密度图中,我将数据分为两类:(i)排名1-10的SERP第1页上显示的结果为粉红色;以及 (ii)在SERP第2页上显示的结果为蓝色。 我还绘制了两种分布的中位数,以帮助说明Page 1和Page 2之间的结果差异。

 

利用Google搜索与某开放 API工具结合做免费SEO分析

 

从这两个密度图得出的结论是,第1页SERP结果比第2页结果具有更多的外部股权反向链接(UEID)。 您还可以在下面看到这两个类别的中值,清楚地显示了第1页(38)的值远大于第2页(11)的值。 因此,我们现在有一些数字可用于反向链接的SEO策略。

 

# Create a factor in R according to which SERP page a result (cser_rank) is on
> theResults$rankBin <- paste("Page", ceiling(theResults$cser_rank / 10))
> theResults$rankBin <- factor(theResults$rankBin)
# Now report the medians by SERP page by calling ‘tapply’
> tapply(theResults$moz_ueid, theResults$rankBin, median) 
Page 1 Page 2 
 38 11 

由此,我们可以推断出股权反向链接(UEID)很重要,如果我根据此数据为客户提供建议,我想说他们应该寻求38个以上基于股权的反向链接,以帮助他们进入SERP的第1页。 当然,这是一个有限的样本,需要更多的研究,需要考虑更大的样本和其他排名因素,但是您可以理解。

现在,让我们研究另一个比UEID范围更小的度量标准,并查看的UPA度量标准,即页面在搜索引擎结果中排名良好的可能性。

> summary(theResults$moz_upa)
 Min. 1st Qu. Median Mean 3rd Qu. Max. 
 1.00 33.00 41.00 41.22 50.00 81.00 
> quantile(theResults$moz_upa, probs = c(1, 5, 10, 25, 50, 75, 80, 90, 95, 99, 100)/100)
 1% 5% 10% 25% 50% 75% 80% 90% 95% 99% 100% 
 12 20 25 33 41 50 53 58 62 75 81 

UPA是提供给URL的数字,范围为0-100。 数据的表现比之前的UEID无界变量的均值和中位数靠得很近,表现出更好的“正态”分布,正如我们通过在R中绘制直方图所见的那样。

利用Google搜索与某开放 API工具结合做免费SEO分析

 

莫兹的UPA得分的直方图

我们将像以前一样执行第1页:第2页的分裂和密度图,并在将UPA数据分为两组时查看UPA分数分布。

利用Google搜索与某开放 API工具结合做免费SEO分析

 

 # Report the medians by SERP page by calling ‘tapply’
> tapply(theResults$moz_upa, theResults$rankBin, median) 
Page 1 Page 2 
 43 39 

总之,来自两个 API变量的两个分布非常不同。 但是两者都显示出SERP页面之间分数的差异,并且为您提供了切实的价值(中位数),可以与您合作并最终为客户提供关于您自己的SEO或申请SEO的建议。

当然,这只是一个小样本,不应从字面上理解。 但是,借助Google和xxx的免费资源,您现在可以看到如何开始开发自己的分析功能,以使假设基于而不是接受规范。 SEO排名因素一直在变化,拥有自己的分析工具来进行自己的测试和实验将帮助您提高信誉,甚至可能对迄今未知的事物提供独特的见解。

(文:Jason Morphett | 英国电信(BT)的分析师和数据可视化研究人员)



Tags:SEO   点击:()  评论:()
声明:本站部分内容来自互联网,内容观点仅代表作者本人,如有任何版权侵犯请与我们联系,我们将立即删除。
▌相关评论
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表
▌相关推荐
SEO分析师的头衔,就是寻找大量免费数据来源,并将其整理成有见地的东西。 为什么? 因为将客户的建议基于猜想没有任何价值。 最好将高质量的数据与良好的分析相结合,以帮助我们的...【详细内容】
2019-12-04   SEO  点击:(0)  评论:(0)  加入收藏
搜索引擎不会因为你使用了哪种网站空间就不抓取不排名,而是一视同仁的。在服务器稳定状态下,无论是使用虚拟主机还是使用云服务器,对百度收录都是一样的。速度是影响收录的一个...【详细内容】
2019-12-03   SEO  点击:(2)  评论:(0)  加入收藏
很多企业已经不玩SEO优化了,毕竟SEO优化的见效时间比较长,加上大多SEO优化从业者能力不足,网站排名和流量不稳定,企业又想快速看到互联网营销推广的效果,SEO优化也就成了鸡肋。...【详细内容】
2019-10-09   SEO  点击:(0)  评论:(0)  加入收藏
我们大家都知道SEO优化排名具有地域性差异,而且百度移动端已经有明确规定有地域性差异了,详见:[百度移动搜索地域优化服务说明],PC端其实在很早就有地域性的区分,这也就是为什么...【详细内容】
2019-12-02   SEO  点击:(4)  评论:(0)  加入收藏
使用假设检验时,我们使用四个主要步骤: 首先,我们提出一个假设。 然后,我们收集关于该假设的数据 。 我们分析数据,然后... 最后 ,我们得出一些结论 。A / B测试最重要的部分是有...【详细内容】
2019-12-02   SEO  点击:(5)  评论:(0)  加入收藏
头条搜索通过内部测试内测今天发现居然上线可以使用了,做头条seo的站长伙伴们又可以被玩了,和百度站长平台搜狗360等站长平台一样。头条搜索站长平台也是提供给站长一个沟通的...【详细内容】
2019-11-28   SEO  点击:(11)  评论:(0)  加入收藏
与所有写作一样,撰写网站文章也需要技巧。为了使您的读者感兴趣,您应该考虑作品的结构并撰写具有吸引力的文章。您可以通过提供标题,小标题和清晰的段落来帮助读者掌握文章的...【详细内容】
2019-11-20   SEO  点击:(9)  评论:(0)  加入收藏
页面收录 网站的页面收录量直接决定网站LandingPage页面的流量。通过网站的收录数据来找到竞争对手网站权重较高的频道页面从而进一步从竞争对手高权重的频道页面入手,分析其...【详细内容】
2019-11-20   SEO  点击:(11)  评论:(0)  加入收藏
一、基础工作1. 做好301跳转,404页面,robots协议,网站sitemap地图制作等。2. 检查页面是否有做伪静态处理,并进行整改。3. 把网站提交给搜索引擎,站长平台等。4. 检查文章标题是...【详细内容】
2019-11-19   SEO  点击:(12)  评论:(0)  加入收藏
真正的运营SEO起来,各种各样奇奇怪怪的问题层出不穷。其中一个问题就十分奇怪。网站的首页被K掉了,但是内页反而能正常抓取收录。 这种情况下,千万不要先往挂马的情况去想。被...【详细内容】
2019-11-18   SEO  点击:(10)  评论:(0)  加入收藏
我承认现在很多人喜欢纸上谈兵,喜欢跟风,缺少独立思考的精神。在A5、很多业内论坛都能看到技术型和经验分享的文章,写得还真像那么回事,复制其中的内容到百度一搜,很容易就发现有...【详细内容】
2019-11-14   SEO  点击:(6)  评论:(0)  加入收藏
网站页面的关键字是后期网站能否获客获流的关键因素。如果页面关键字布局合理,那么他就能保障一个网页设置几十甚至上百的关键字的可能。可以增加被搜索频率展示的几率以及索...【详细内容】
2019-11-13   SEO  点击:(12)  评论:(0)  加入收藏
前言:网站权重有点老生常谈了,所以只敢写个浅析,seoer最关心的是权重,操作最频繁却是天天更新文章,换友链,发外链,为什么要重复这些搬砖的过程?发表点不一样的看法和浅薄的经验,望大...【详细内容】
2019-11-13   SEO  点击:(6)  评论:(0)  加入收藏
seo排名技巧很多,但俗话说的好,知己知彼百战不殆,我们要做seo,首先应该为什么我们的网站有排名,或者会参与排名。下面天企网络小编会从以下三点解释SEO排名的技巧,让大家知道关键...【详细内容】
2019-11-13   SEO  点击:(10)  评论:(0)  加入收藏
网站站内设置是SEO优化非常重要的一个环节,所以优化人员一定要重视SEO基础工作,夯实基础会给后期网站SEO优化工作带来很大便利,那么新站SEO优化的基础设置都有哪些呢?下面就由...【详细内容】
2019-11-13   SEO  点击:(6)  评论:(0)  加入收藏
SEO与网络推广的区别: 首先,从概念上来说,网络推广就是企业从开始申请域名、租用空间、网站备-案、建立网站、直到网站正式上线开始就算是介入了网络推广活动,而通常我们所指的...【详细内容】
2019-11-13   SEO  点击:(8)  评论:(0)  加入收藏
许多网站由于一些客观原因不能做SEO优化,他们会使用黑帽SEO优化技术来提高网站排名并获得相应的流量。为了让每个人都了解搜索引擎,而不是鼓励每个人使用黑帽技术,下面来看看黑...【详细内容】
2019-11-13   SEO  点击:(9)  评论:(0)  加入收藏
这是一个非常普通和陈腐的标题,没有吸引力,但是很少有站长能真正做好优化工作。我问了我的一个做了多年草根网站管理员的朋友,我说如何做好SEO搜索引擎优化。他给我的答复很难,...【详细内容】
2019-11-09   SEO  点击:(2)  评论:(0)  加入收藏
有人认为,现在的SEO推广就是一片红海,因为很多人都看到自己很多友商已经获得了很不错的排名,现在再去做独立站的SEO推广,担心只会一直被埋没。的确,SEO推广越早做越能取得先机,但...【详细内容】
2019-11-13   SEO  点击:(6)  评论:(0)  加入收藏
路漫漫其修远兮,吾将上下而求索,大家好,我是逍遥大侠!前两天受某大神之邀写一篇SEO方面的文章,考虑到大多数圈友们对SEO不甚了解,因此希望这里尽量用有限的篇幅,从SEO主体框架、流...【详细内容】
2019-11-13   SEO  点击:(7)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条