如何从文本和组件中解析自由形式的街道/邮政地址

Question

我们主要在美国开展业务,并试图通过将所有地址字段组合到单个文本区域来改善用户体验.但是有一些问题:

• 用户键入的地址可能不正确或采用标准格式
• 地址必须分为部分(街道,城市,州等)来处理信用卡付款
• 用户可以输入的不仅仅是他们的地址(比如他们的名字或公司)
• 谷歌可以做到这一点,但服务条款和查询限制是禁止的,特别是在预算紧张的情况下

显然,这是一个常见的问题:

• PHP脚本解析地址？
• 如何解析自由格式地址以保存到DataBase中
• java邮政地址解析器
• 提取地址组件的更有效方法
• 如何在Android上的街道,城市,拉链的联系人屏幕上显示预先填充的邮政地址
• PHP regexp美国地址

有没有办法将地址与周围的文本隔离并将其分解成碎片？是否有正则表达式来解析地址？

Answer 1

当我在地址验证公司工作时,我经常看到这个问题.我在这里发布答案,以便让正在搜索相同问题的程序员更容易访问.我在处理数十亿个地址的公司,我们在这个过程中学到了很多东西.

首先,我们需要了解一些关于地址的事情.

地址不规律

这意味着正则表达式已经出局.我已经看到了这一切,从简单的正则表达式,以非常特定的格式匹配地址,到这个:

/\S +(\ d {2,5}\S +)([A | P]？!米\ b)中(([A-ZA-Z |\S +] {1,5}){1,2}) ？([\ S | \,|.] +)(([A-ZA-Z |\S +] {1,30}){1,4})(法院|克拉|街道| ST |驱动|博士|车道| LN |道路| RD | BLVD)([\ S | \,| | \;] +)(([A-ZA-Z |\S +] {1,30}){1,2} )([\ S | \,|.] +)\ b(AK？| AL | AR | AZ | CA | CO | CT | DC | DE | FL | GA | GU | HI | IA | ID | IL | IN | KS |肯塔基州| LA | MA | MD | ME | MI | MN | MO | MS | MT |数控| ND | NE | NH |新泽西州| NM | NV |纽约州| OH | OK |和| PA | RI | SC | SD | TN | TX | UT | VA | VI | VT | WA | WI | WV | WY)([\ S | \,|.]？+)(\ S +\d {5})([\ S | \,|.] +)/ I

...在这里,一个900+行级文件动态生成超大规模正则表达式以匹配更多.我不推荐这些(例如,这里是上述正则表达式的一个小提琴,它会犯很多错误).没有一个简单的神奇公式可以让它发挥作用.在理论和通过理论,它不可能用一个正则表达式匹配的地址.

USPS出版物28记录了许多可能的地址格式,包括所有关键字和变量.最糟糕的是,地址通常含糊不清.单词可能意味着不止一件事("St"可以是"圣徒"或"街头")并且有些词我非常肯定他们发明了.(谁知道"Stravenue"是街道后缀？)

您需要一些真正了解地址的代码,如果该代码确实存在,那么这是一个商业秘密.但是,如果你真的喜欢它,你可能会自己动手.

地址有意想不到的形状和大小

以下是一些人为的(但是完整的)地址:

1)  102 main street
    Anytown, state

2)  400n 600e #2, 52173

3)  p.o. #104 60203

即使这些也可能有效:

4)  829 LKSDFJlkjsdflkjsdljf Bkpw 12345

5)  205 1105 14 90210

显然,这些都不是标准化的.标点符号和换行符无法保证.这是发生了什么:

1. 1号已完成,因为它包含街道地址以及城市和州.有了这些信息,就足以识别地址,并且可以将其视为"可交付的"(通过一些标准化).

2. 数字2已完成,因为它还包含一个街道地址(带有二级/单元号)和一个5位数的邮政编码,足以识别一个地址.

3. 3号是完整的邮政信箱格式,因为它包含邮政编码.

4. 编号4也是完整的,因为邮政编码是唯一的,这意味着私人实体或公司购买了该地址空间.独特的邮政编码适用于大批量或集中的交付空间.发往邮政编码12345的任何内容都发送给位于纽约斯克内克塔迪的通用电气公司.这个例子不会特别到达任何人,但USPS仍然能够提供它.

5. 5号也是完整的,信不信由你.只有这些数字,可以在针对所有可能地址的数据库进行解析时发现完整地址.当您将每个数字视为一个组件时,填写缺少的方向,辅助指示符和ZIP + 4代码是微不足道的.这是它的样子,完全扩展和标准化:

205 N 1105 W Apt 14

比佛利山庄CA 90210-5221

地址数据不是您自己的

在向许可供应商提供官方地址数据的大多数国家/地区,地址数据本身属于管理机构.在美国,USPS拥有地址.加拿大邮政,皇家邮政和其他国家也是如此,尽管每个国家执行或定义所有权的方式略有不同.知道这一点很重要,因为它通常禁止对地址数据库进行逆向工程.您必须小心如何获取,存储和使用数据.

谷歌地图是快速修复地址的常见方法,但TOS相当令人望而却步; 例如,如果不显示Google地图,则不能使用他们的数据或API,仅用于非商业目的(除非您付费),并且您无法存储数据(临时缓存除外).说得通.谷歌的数据是世界上最好的数据之一.然而,谷歌地图并没有验证地址.如果地址不存在,它仍然会显示你所在地址会如果它是没有存在(尝试在自己的街道;用你知道不存在的门牌号码).这有时很有用,但请注意这一点.

Nominatim的使用政策同样受到限制,特别是对于大批量和商业用途,数据主要来自免费来源,因此维护得不好(这是开放项目的性质) - 但是,这仍然适合您的需求.它得到了一个伟大的社区的支持.

USPS本身有一个API,但它下降很多,没有任何保证也没有支持.它也可能很难使用.有些人在没有问题的情况下谨慎使用它.但很容易错过USPS要求您仅使用其API来确认通过它们发送的地址.

人们期望地址很难

不幸的是,我们的社会习惯于期望地址变得复杂.关于这一点,互联网上有很多好的用户体验文章,但事实是,如果你有一个包含单个字段的地址表单,那就是用户期望的内容,即使它使得边缘案例地址更难以适应表单的格式是期望的,或者表单可能需要一个不应该的字段.或者用户不知道在哪里放置他们的地址的某个部分.

我现在可以继续谈论结帐表单的糟糕用户体验,但我只是说将地址组合到一个字段中将是一个值得欢迎的变化 - 人们将能够输入他们认为合适的地址而不是试图找出你冗长的形式.但是,此更改将是意外的,用户可能会发现它有点不和谐.请注意这一点.

通过将国家字段放在前面的地址之前,可以缓解部分痛苦.当他们首先填写国家/地区字段时,您知道如何使表单显示.也许您有一个很好的方法来处理单字段美国地址,因此如果他们选择美国,您可以将表单缩减为单个字段,否则显示组件字段.只是要考虑的事情!

现在我们知道为什么它很难; 你能为这个做什么？

USPS通过名为CASS™认证的流程向供应商授权,以向客户提供经过验证的地址.这些供应商可以访问每月更新的USPS数据库.他们的软件必须符合严格的标准才能获得认证,并且他们通常不需要同意上述限制条款.

有许多CASS认证的公司可以处理列表或拥有API:Melissa Data,Experian QAS和SmartyStreets等等.

(由于"广告"得到了批评,我此时已经截断了我的答案.您可以找到适合您的解决方案.)

真相:真的,伙计们,我不会在这些公司工作.这不是广告.

Answer 2

libpostal:一个开源库,用于解析地址,使用OpenStreetMap,OpenAddresses和OpenCage中的数据进行训练.

https://github.com/openvenues/libpostal (有关它的更多信息)

其他工具/服务:

• http://www.gisgraphy.com 免费,开源,随时可用的地理编码器和地理定位网络服务,集成了OpenStreetMap,GeoNames和Quattroshapes.

• https://github.com/kodapan/osm-common 用于访问OpenStreetMap服务,解析和处理数据的库.

• http://wiki.openstreetmap.org/wiki/Nominatim

• http://address-parser.net/

• http://geoservices.tamu.edu/Services/AddressNormalization/

Answer 3

有许多街道地址解析器.它们有两种基本风格 - 具有地名和街道名称数据库,以及没有地名和数据库的数据库.

正则表达式街道地址解析器可以获得高达约95%的成功率,而不会有太多麻烦.然后你开始遇到不寻常的情况.CPAN中的Perl,"Geo :: StreetAddress :: US",就是那么好.这里有Python和Javascript端口,都是开源的.我在Python中有一个改进的版本,它通过处理更多的案例略微提高了成功率.但是,要获得最后3%的权利,您需要数据库来帮助消除歧义.

具有3位邮政编码和美国州名称和缩写的数据库是一个很大的帮助.当解析器看到一致的邮政编码和状态名称时,它可以开始锁定格式.这对美国和英国非常有效.

正确的街道地址解析从最后开始并向后工作.这就是USPS系统如何做到这一点.地址最不模糊,国家名称,城市名称和邮政编码相对容易识别.街道名称通常可以隔离.街道上的位置是解析最复杂的地方; 在那里你会遇到诸如"五楼"和"Staples Pavillion"之类的东西.那时数据库是一个很大的帮助.

Answer 4

更新:Geocode.xyz现在在全球范围内运作.有关示例,请参阅https://geocode.xyz

对于美国,墨西哥和加拿大,请参阅geocoder.ca.

例如:

输入:在主要和亚瑟杀死纽约的交叉点附近发生的事情

输出:

<geodata>
  <latt>40.5123510000</latt>
  <longt>-74.2500500000</longt>
  <AreaCode>347,718</AreaCode>
  <TimeZone>America/New_York</TimeZone>
  <standard>
    <street1>main</street1>
    <street2>arthur kill</street2>
    <stnumber/>
    <staddress/>
    <city>STATEN ISLAND</city>
    <prov>NY</prov>
    <postal>11385</postal>
    <confidence>0.9</confidence>
  </standard>
</geodata>

您还可以在Web界面中检查结果或以Json或Jsonp的形式输出结果.例如.我正在寻找纽约123 Main Street附近的餐馆

Answer 5

没有代码？耻辱！

这是一个简单的 JavaScript 地址解析器。马特在上面的论文中给出的每一个原因都非常糟糕（我几乎 100% 同意：地址是复杂类型，人类会犯错误；最好将其外包和自动化 - 当你负担得起时）。

但我没有哭泣，而是决定尝试：

此代码可以正常解析大多数 Esri 结果，findAddressCandidate也可以与其他一些（反向）地理编码器一起使用，这些地理编码器返回单行地址，其中街道/城市/州以逗号分隔。如果您想要或编写特定于国家/地区的解析器，您可以扩展。或者只是用这个作为案例研究，说明这个练习有多么具有挑战性，或者我在 JavaScript 方面有多糟糕。我承认我只花了大约三十分钟（未来的迭代可以添加缓存、zip 验证和状态查找以及用户位置上下文），但它适用于我的用例：最终用户看到将地理编码搜索响应解析为 4 的表单文本框。如果地址解析错误（除非源数据很差，否则这种情况很少见），这没什么大不了的 - 用户可以验证并修复它！（但对于自动化解决方案，可以丢弃/忽略或标记为错误，以便开发人员可以支持新格式或修复源数据。）

/* 
address assumptions:
- US addresses only (probably want separate parser for different countries)
- No country code expected.
- if last token is a number it is probably a postal code
-- 5 digit number means more likely
- if last token is a hyphenated string it might be a postal code
-- if both sides are numeric, and in form #####-#### it is more likely
- if city is supplied, state will also be supplied (city names not unique)
- zip/postal code may be omitted even if has city & state
- state may be two-char code or may be full state name.
- commas: 
-- last comma is usually city/state separator
-- second-to-last comma is possibly street/city separator
-- other commas are building-specific stuff that I don't care about right now.
- token count:
-- because units, street names, and city names may contain spaces token count highly variable.
-- simplest address has at least two tokens: 714 OAK
-- common simple address has at least four tokens: 714 S OAK ST
-- common full (mailing) address has at least 5-7:
--- 714 OAK, RUMTOWN, VA 59201
--- 714 S OAK ST, RUMTOWN, VA 59201
-- complex address may have a dozen or more:
--- MAGICICIAN SUPPLY, LLC, UNIT 213A, MAGIC TOWN MALL, 13 MAGIC CIRCLE DRIVE, LAND OF MAGIC, MA 73122-3412
*/

var rawtext = $("textarea").val();
var rawlist = rawtext.split("\n");

function ParseAddressEsri(singleLineaddressString) {
  var address = {
    street: "",
    city: "",
    state: "",
    postalCode: ""
  };

  // tokenize by space (retain commas in tokens)
  var tokens = singleLineaddressString.split(/[\s]+/);
  var tokenCount = tokens.length;
  var lastToken = tokens.pop();
  if (
    // if numeric assume postal code (ignore length, for now)
    !isNaN(lastToken) ||
    // if hyphenated assume long zip code, ignore whether numeric, for now
    lastToken.split("-").length - 1 === 1) {
    address.postalCode = lastToken;
    lastToken = tokens.pop();
  }

  if (lastToken && isNaN(lastToken)) {
    if (address.postalCode.length && lastToken.length === 2) {
      // assume state/province code ONLY if had postal code
      // otherwise it could be a simple address like "714 S OAK ST"
      // where "ST" for "street" looks like two-letter state code
      // possibly this could be resolved with registry of known state codes, but meh. (and may collide anyway)
      address.state = lastToken;
      lastToken = tokens.pop();
    }
    if (address.state.length === 0) {
      // check for special case: might have State name instead of State Code.
      var stateNameParts = [lastToken.endsWith(",") ? lastToken.substring(0, lastToken.length - 1) : lastToken];

      // check remaining tokens from right-to-left for the first comma
      while (2 + 2 != 5) {
        lastToken = tokens.pop();
        if (!lastToken) break;
        else if (lastToken.endsWith(",")) {
          // found separator, ignore stuff on left side
          tokens.push(lastToken); // put it back
          break;
        } else {
          stateNameParts.unshift(lastToken);
        }
      }
      address.state = stateNameParts.join(' ');
      lastToken = tokens.pop();
    }
  }

  if (lastToken) {
    // here is where it gets trickier:
    if (address.state.length) {
      // if there is a state, then assume there is also a city and street.
      // PROBLEM: city may be multiple words (spaces)
      // but we can pretty safely assume next-from-last token is at least PART of the city name
      // most cities are single-name. It would be very helpful if we knew more context, like
      // the name of the city user is in. But ignore that for now.
      // ideally would have zip code service or lookup to give city name for the zip code.
      var cityNameParts = [lastToken.endsWith(",") ? lastToken.substring(0, lastToken.length - 1) : lastToken];

      // assumption / RULE: street and city must have comma delimiter
      // addresses that do not follow this rule will be wrong only if city has space
      // but don't care because Esri formats put comma before City
      var streetNameParts = [];

      // check remaining tokens from right-to-left for the first comma
      while (2 + 2 != 5) {
        lastToken = tokens.pop();
        if (!lastToken) break;
        else if (lastToken.endsWith(",")) {
          // found end of street address (may include building, etc. - don't care right now)
          // add token back to end, but remove trailing comma (it did its job)
          tokens.push(lastToken.endsWith(",") ? lastToken.substring(0, lastToken.length - 1) : lastToken);
          streetNameParts = tokens;
          break;
        } else {
          cityNameParts.unshift(lastToken);
        }
      }
      address.city = cityNameParts.join(' ');
      address.street = streetNameParts.join(' ');
    } else {
      // if there is NO state, then assume there is NO city also, just street! (easy)
      // reasoning: city names are not very original (Portland, OR and Portland, ME) so if user wants city they need to store state also (but if you are only ever in Portlan, OR, you don't care about city/state)
      // put last token back in list, then rejoin on space
      tokens.push(lastToken);
      address.street = tokens.join(' ');
    }
  }
  // when parsing right-to-left hard to know if street only vs street + city/state
  // hack fix for now is to shift stuff around.
  // assumption/requirement: will always have at least street part; you will never just get "city, state"  
  // could possibly tweak this with options or more intelligent parsing&sniffing
  if (!address.city && address.state) {
    address.city = address.state;
    address.state = '';
  }
  if (!address.street) {
    address.street = address.city;
    address.city = '';
  }

  return address;
}

// get list of objects with discrete address properties
var addresses = rawlist
  .filter(function(o) {
    return o.length > 0
  })
  .map(ParseAddressEsri);
$("#output").text(JSON.stringify(addresses));
console.log(addresses);

<script src="https://ajax.googleapis.com/ajax/libs/jquery/2.1.1/jquery.min.js"></script>
<textarea>
27488 Stanford Ave, Bowden, North Dakota
380 New York St, Redlands, CA 92373
13212 E SPRAGUE AVE, FAIR VALLEY, MD 99201
1005 N Gravenstein Highway, Sebastopol CA 95472
A. P. Croll &amp; Son 2299 Lewes-Georgetown Hwy, Georgetown, DE 19947
11522 Shawnee Road, Greenwood, DE 19950
144 Kings Highway, S.W. Dover, DE 19901
Intergrated Const. Services 2 Penns Way Suite 405, New Castle, DE 19720
Humes Realty 33 Bridle Ridge Court, Lewes, DE 19958
Nichols Excavation 2742 Pulaski Hwy, Newark, DE 19711
2284 Bryn Zion Road, Smyrna, DE 19904
VEI Dover Crossroads, LLC 1500 Serpentine Road, Suite 100 Baltimore MD 21
580 North Dupont Highway, Dover, DE 19901
P.O. Box 778, Dover, DE 19903
714 S OAK ST
714 S OAK ST, RUM TOWN, VA, 99201
3142 E SPRAGUE AVE, WHISKEY VALLEY, WA 99281
27488 Stanford Ave, Bowden, North Dakota
380 New York St, Redlands, CA 92373
</textarea>
<div id="output">
</div>